9月1我收了中介代收买家的购房订金，约定买家原因不买了，卖家没收订金。卖家原因不卖了双倍返还订金。9月10前办理。可是半月过去了，因买家没时间过来办理，没有办理任何手续。追问下被告知买家5次逾期可能下不了款，要求我过户当天交房给买家，如果下不了款，买家再把户过回给我，我没收定金和成交价10%或全款给我，我不同意中介说再协商，协商不成视为交易不成要把订金退回买家。收订金前我有问过中介我收了钱，买家的下不了款怎么办？中介说买家的征信批过了没问题，下不了款全款给我，我才收的订金。全微信沟通，有记录证明。现在中介拖我时间，不肯再约定时间办理。我想终止合约，中介说要赔双倍订金。如果谈不成我是否该退订金？