我打算买一个房子，但是业主催促着我尽快付费，他说他需要这些钱买另外一套房子，中介说下周就可以过户，但业主要求我们提前支付10万元，不然他就单方面违约，还我们定金两万和给违约金一万，但是我们前期已经付了钱给中介，包括各种费用，差不多七万。并且已经贷款，只是银行还没有下款，我觉得这样太不合理。我们这样来来回回的倒腾，也投入了不少精力，请问这种情况怎么办，可以告业主赔偿我们精神损失费吗？