我在卖房，已签合同，收定金5万，过户前收首付15万（含5万定金）现在中介以贷款交首付要求一笔交易完成为由，要求我先退还定金再一笔转给我。我担心退还定金他们再反悔不买了。我能不能坚持先让他付完款再退定金？中介说我们必须先退定金，他们再交首付，否则完不成过户就是我的责任。我该怎么办？