你好！在吗？我签了一份购房合同书，已交了5000元押金，我之前有一套房子，我们两个都是外地户口，中介所说可以做二变一，我今天去房产交易中心问了，我们外地户口更本就没发买第二套房，我要毁约，中介所让我付4万违约金，请问我现在怎么办