我老公是房产中介，因为近期的一笔买卖！对方要买一套别墅，打算全款，当时交定金的时候，对方交了四十几万！为了促成这笔买卖，我老公给了买家四万佣金返利！写了佣金返利的收条！过了两天，买家因为儿子在国外钱无法及时汇回，无法贷款想退房！但是因为买家原因退房，是要收百分之五的违约金！现在买家也不愿意退我老公这四万，说要等到房子退掉再还给我们！我担心买家要是不退怎么办！我们可以要求买家先退我们钱吗