在签订房屋买卖合同时，双方应当明确各自的权利和义务，并对违约责任进行约定。根据您的描述，您已经支付了20000元作为购房定金给中介公司，并且合同中明确约定中介费为18000元由买方承担。因此，如果您认为中介公司的行为不合理或违反了合同规定，您可以要求中介公司将该笔定金返还给您。 在实践中，如果中介公司确实没有按照合同约定将中介费用转交给您，那么您有权要求其退还该部分款项。当然，这需要您能够提供相应的证据证明中介公司的行为不符合合同约定。 建议您尽快与中介公司沟通，了解具体情况并收集相关证据，以便更好地维护自己的合法权益。