16年6月买了套二手房，没有房本，不能过户。我交的首付，银行贷款的卡对方不给，说做生意用，协商后我给他打款，房贷半年一付，当时付了下半年房贷。半年后在付房贷时，他说不卖了，不给卡号，我说只要他赔偿我损失（我装修了），就按现价卖给他，然后一直商量不成。导致至今没还贷款，他扬言要去换锁，还说钱也不给了。我儿子马上要结婚了，我也不想退给他了，我该怎么办