我在房租托管公司租了一套房子，从2016年7月24日租到2017年7月23日，在要到租期日提前一个月我就打电话问过托管公司是否能续签，他说房东还没谈好，所以一直没给我答复。房子要期前几日房东直接来找我，说直接和我签，我们达成一致后并签了合同。到期志气我去找托管公司退房，他要求房东付中介费，说因为3月内不能租给原租客，如果租给原租客要收中介费。房东不同意支付，我就必须搬房走人。请问我该怎么处理呢？