首先，根据您提供的信息，您可以确定的是您的借款行为是合法的，并且已经按时归还本金和利息。然而，在借贷过程中，借款人确实可能会遇到一些困难或问题。 在这种情况下，您有权要求退款，这是法律规定的基本权利之一。如果对方拒绝退还这些款项，这可能违反了相关法律法规，包括但不限于《消费者权益保护法》等。 建议您与对方进行沟通，尝试协商解决这个问题。如果无法达成一致，可以考虑向当地消费者协会或其他相关部门投诉，以维护自己的合法权益。同时，也可以考虑聘请专业的法律顾问帮助处理此事。