关于您的案件，根据我国《民法典》第66条的规定，债务人应当按照约定履行债务。如果债务人在约定期限内未履行债务，则债权人有权主张权利。因此，在本案中，即使债务人没有按照协议偿还借款，债权人仍然可以要求债务人履行债务。 然而，需要注意的是，债务人是否需要将剩余的款项返还给债权人是另一个问题。根据法律规定，只有当债务人明确表示愿意履行债务时，债权人才有权要求债务人履行义务。如果债务人拒绝履行债务或者无法履行债务，债权人只能通过其他途径解决纠纷。 此外，根据最高人民法院关于审理民间借贷案件适用法律若干问题的规定，出借人起诉请求借款人按照合同约定返还借款本金及利息的诉讼时效期间为二年，自借款人最后一次收到借款之日起计算。在此期间内，债权人可以提起诉讼，但最长不得超过二十年。 综上所述，如果您认为债务人有义务偿还剩余的款项，您可以考虑采取法律手段解决问题。同时，建议您咨询专业的法律顾问以获取更详细的法律意见。