有关于房产交易的问题，本人前段时间委托一房产中介准备卖掉一套房子。中介找了一买家，当时签了一份房产买卖合同，合同上买家只支付了几万块定金，但其它的首付款都埋了零，银行贷款那栏也没写只注明了以银行实际放款为准。现在银行同贷书下来了，贷款金额是除了定金的数量相当于买家现在只付了定金就想我把房子过户到他名下，等过完户之后贷款银行再把余下的款项打到我的银行卡上。这样子我觉得没保障，现在我想取消这笔交易。请问这样我要赔偿给买家吗？