根据《中华人民共和国劳动法》的规定，劳动者在用人单位提供服务期间，因个人原因离职的，应当按照双方约定承担相应的违约责任。如果您的合同中明确了您需要支付中介费用的情况，并且您已经按照约定履行了相关义务，那么您可以要求中介公司退还这部分费用。 但是，如果您在入职后不久就被单位解除劳动合同，这可能意味着您违反了与雇主签订的任何协议或条款。在这种情况下，您可能还需要向雇主提出赔偿请求，以补偿您的损失。 因此，在处理此类争议时，建议您详细阅读您和雇主之间的合同，并寻求专业的法律意见。这样可以帮助您更好地了解自己的权利和义务，并为解决争议提供有力的支持。