在您的情况中，您与对方签订了一份包含违约责任条款的合同，这表明您有权要求对方按照合同约定履行义务，包括支付剩余贷款和返还定金。然而，在您已支付定金的情况下，如果对方未履行其还款义务，您可以依法要求对方赔偿因未能按时偿还贷款而造成的损失，包括但不限于利息和其他相关费用。 在这种情况下，您可能需要收集证据证明您已经支付了定金以及对方未按时履行还款义务的事实。此外，您还可以考虑通过诉讼途径解决这个问题，以获得法院的支持来保护自己的权益。请注意，具体的法律适用可能会根据您所在的地区和国家的法律规定有所不同，因此建议您寻求当地法律专业人士的意见。