你好，我是买家，通过中介买了一套二手房，三方签订了一个居间合同和佣金确认书，房子总价是120万，当时给了卖家五万的定金，中介的佣金没有给，然后我又不想买了，与卖方协商，卖方同意解除合约，也愿意归还定金，但是中介不愿意了，要我付中介费18000，我没同意，他说要起诉我，请问我需要付中介费吗？如果要赔，赔多少，我跟房东能直接解除合同吗？怎么解决，请具体答复一下，非常感谢，