我买了一套二手房，以贷款方式买的，卖方同意，贷款审核通过后，通知我们2月24号办理了过户手续，办完过户后，就等银行放款了，由于政策收紧银行放款慢，已经有一段时间了，都慢。卖方说着急用钱，要我把剩余房款给他，我说还没放款，要等等！卖方在3月26号给我寄了通知，让我在31号前把剩余房款给他，不然就解除合同，撤销转移登记，我没有钱，只能等放款，卖房4月1号给我寄来了解除合同通知书，4月1号银行通知我说放款了，合同没有写剩余房款什么时候给他，没写日期。放款之后我找他联系了，他还要解除，说我给他造成了损失，他说在别处已经定了房子了，等着我的钱交首付，现在钱没到，他的定金白交了，现在我应该怎么办呢？