根据《中华人民共和国民法典》的规定，如果合同双方同意解除合同，并且没有约定违约责任，则无需承担违约责任。因此，在这种情况下，您不需要赔偿中介公司的定金损失。 但是，如果您决定不履行合同并要求退款，那么需要按照合同中的规定进行处理。具体来说，您可以向中介公司说明您的情况，并请求退还已支付的定金和相关的中介费用。同时，您也需要考虑是否需要支付相应的违约金给中介公司。 请注意，具体的法律条款可能会因地区和国家的不同而有所不同。建议您咨询当地的法律专家或律师以获得更准确的信息。