我前几天想买房子，已经交了定金，签的合同是半个月交首付，但是快到半个月了，中介说房主出差了，回来再办理，现在房主回来了，中介说房主可能不想卖了，但是中介费要让我们出，我们应该出吗