你好，根据《中华人民共和国民法典》的相关规定，如果贷款人未按约定的用途使用贷款，则借款人有权要求借款人返还剩余款项。因此，在你的情况下，你可以向对方提出要求归还剩余款项，并要求其承担违约责任。同时，你也可以考虑收集相关证据，如借款协议、转账记录等，以便在必要时提起诉讼或仲裁。最后，建议你与对方进行沟通，了解对方的真实想法和需求，寻找一个双方都能接受的解决方案。