首先，您应该明确您的立场。如果双方在合同中约定了支付定金的条款，并且按照约定的时间和金额支付了定金，那么您可以拒绝退还剩余款项并要求对方承担违约责任。 其次，如果您认为自己的行为并未构成违约，可以尝试与对方协商解决。如果双方无法达成一致，您可以考虑聘请律师介入，以维护您的合法权益。 最后，建议您保留所有相关的证据，包括合同原件、付款凭证等，以便于将来可能需要时进行证明或申诉。