根据法律规定，民间借贷应当遵循自愿、公平的原则，不得高利放贷。在本案例中，如果您的对象与中间人之间的约定违反了上述原则，并且损害了您的合法权益，您可以向人民法院提起诉讼，要求确认合同无效或者请求返还借款。 同时，如果您认为您已经支付了全部或部分款项，建议您尽快收集证据，如转账记录、聊天记录等，以便在必要时使用法律手段维护自己的权益。