在这种情况下，首先需要查看双方之间是否有书面的租赁合同或协议，以及定金的性质和用途。如果双方有书面协议，并且协议中明确规定了定金的性质、用途以及违约责任，那么可以根据协议的条款来处理。 如果协议中规定了定金是作为租赁合同的保证，并且对方违约不租了，那么在没有特殊情况下，定金是不予退还的。如果对方要求退还定金，你可以依据协议条款拒绝退还。 如果双方之间没有书面协议，或者协议中没有明确规定，那么处理起来可能会比较复杂。根据《中华人民共和国合同法》的相关规定，定金通常是作为合同履行的保证，如果一方违约，另一方有权不退还定金。但具体情况还需根据双方的沟通记录、交易习惯等因素来判断。 如果对方坚持要求退还定金，并且你们之间没有明确的书面协议，你可以尝试与对方协商解决。如果协商无果，可能需要通过法律途径来解决争议，比如向法院提起诉讼。在这种情况下，建议咨询专业律师，以便获得更具体的法律建议和帮助。