你好，我和中介定了一个买房的三方合同，当然卖方的代理人也在场，定金也给了一万，中介费要了12200,让了500,但合同上表明的还是12200,当时钱不够给了8000,现在房子不想买了，但还要赔付对方的中介费一万，请问有什么方法把损失降到最低吗？