您好！根据法律规定，如果双方当事人之间存在合法有效的合同关系，并且合同中约定了违约责任，则对方违反合同约定的行为应承担相应的法律责任。在您提供的案例中，如果您与中介公司之间的贷款合同已经成立并有效，而中介公司在未履行合同义务的情况下要求退还款项，这属于违约行为。因此，您可以考虑通过法律途径解决此事，以维护自己的合法权益。 请注意，在处理此类纠纷时，请务必收集和保存好相关证据，以便于在诉讼过程中使用。同时，建议您寻求专业的法律意见，以便更好地保护自己的权益。