首先，你需要确认对方是否真的利用了你的贷款。如果他们确实使用了你的资金，并且你同意了较高的利率（如3%到6%），那么这可能被视为一种非法的行为。 在某些国家和地区，这种行为是不合法的，可能会受到罚款或监禁。然而，在其他国家，情况则有所不同，因此建议你先咨询一位法律顾问，以确定当地的法律规定。 此外，如果你已经采取了行动来讨回你的款项，例如发送催款信件或向法院提起诉讼，那么你可以考虑通过法律途径来解决这个问题。但是，请记住，这个过程可能会非常复杂和耗时，需要耐心和专业知识。 最后，重要的是要确保你在处理任何法律事务之前，都已充分了解相关的法律法规和程序。