我在卖房，已签合同收定金，现在房屋买方交首付一笔交易完成为由，要求我先退还定金再一笔转给我。我担心退还定金他们再反悔不买了。我能不能坚持先让他付完款再退定金？我有理由怀疑中介和买家是一伙的