根据法律规定，如果双方在借贷合同中明确约定了利息和违约金，并且这些条款没有违反法律法规的规定，那么按照约定执行是合理的。但是，需要注意的是，如果您的行为导致了对第三方权益的侵害或者给对方造成了损失，您可能需要承担相应的法律责任。 建议您与对方协商解决，看看是否可以达成一致意见。如果您认为自己的利益受到了损害，您可以考虑通过法律途径维权，例如起诉对方要求返还剩余款项并赔偿损失。同时，也可以寻求专业的法律帮助来维护自己的合法权益。