根据我国《民法典》第634条的规定，借款人未按照约定的借款用途使用借款的，贷款人可以停止发放借款、提前收回借款或者解除合同。因此，在借款人未按约定用途使用借款的情况下，贷款人有权要求借款人归还剩余款项，并且在必要时可采取措施收回借款。同时，贷款人在行使上述权利时应当注意保护自身的合法权益不受损害。