在购买二手房时，您有权根据合同条款和法律规定要求退还定金。首先，您需要确认买卖双方是否已经签署了有效的购房协议，并且是否有明确的约定关于定金的处理方式。 其次，您应该查看合同中关于定金的规定。一般来说，如果合同中有明确规定，如“定金为XX元”，并且该金额已经被扣除或支付给卖方，则您可以要求退回剩余部分或全额退款。 此外，您还可以考虑向当地房地产管理部门查询有关买卖行为的相关文件，以确保您的权益得到保障。如果您发现有欺诈行为或者合同存在瑕疵，可以向相关部门投诉并寻求解决。 总之，如果您坚持不购买房屋，可以通过上述途径要求中介退还定金。但请注意，这可能涉及到法律程序，建议您先与中介沟通协商，了解他们的立场和解决方案。如果无法达成一致，您可以在必要时选择采取进一步行动，比如报警或者起诉等。