首先，您需要了解贷款合同中的条款和条件，以确定是否有可能避免支付剩余款项。如果您已经按照约定还款计划进行还款，并且没有违反任何协议，那么您应该有权要求对方归还借款。 在您的情况下，如果贷款合同中有关于违约金或滞纳金的规定，您可以考虑协商解决，或者寻求法律帮助来维护自己的权益。此外，您还可以向当地的消费者保护组织或法律援助机构咨询，他们可能会提供一些指导和支持。 请注意，如果您发现有违法行为，请及时报警并寻求专业的法律建议。同时，也建议您保留所有与贷款相关的证据，以便在必要时使用。