根据您提供的信息，您和对方签订了一份买卖房屋的合同，但是合同中未明确说明如果对方未能按时支付剩余贷款，则是否需要赔偿您的定金。在这种情况下，如果您认为对方违约，您可以要求对方退还定金。 然而，在合同中未明确规定的条款下，您有权选择按照双方之前的约定处理。根据您的描述，您和对方同意在对方无法按时偿还剩余贷款时，将定金视为对方的赔偿。因此，如果对方确实无法按时还款，那么您可以要求对方退还您的定金。 请注意，这仅是一个一般性的建议，具体的情况可能因各种因素而有所不同。如果您有任何疑问或需要更详细的指导，请咨询专业的法律顾问。