您好，我是合同中的乙方，购房之前外地人可以买房，当时下了五万元定金给房东，中途中介办理贷款及过户手续时武汉出现新政策，外地人不能在武汉买房。于是一直过不了户，当时我们已经给了房东四十万元，中介让我们凑齐全款让房东做公证，把房子公证到我们名下。我们凑齐了全款，房东不肯做公证。现在户也过不了，房东也不肯退全款给我们，说是我方违约。要我们付五万元的违约金，合同上并没有写明什么时间前一定要过户，而且合同上也明确写明中途如有政策改变或是不可抗力。三方都不承担责任。现在房东拿着我们的四十万元首付款不退，也不肯公证。请问我们现在该怎么办？