首先，您需要明确一点，根据法律规定，只有合法债务才能要求偿还。如果您与对方之间的借贷行为不符合法律规定的条件（例如，借款合同中未约定利息或违约责任），那么该借款可能属于非法债务。 其次，关于是否应该偿还剩余的款项，这取决于您与对方之间是否存在有效的借贷合同以及合同中的具体条款。如果存在有效合同，并且您已经按照合同约定履行了部分义务，那么您有权要求对方按照合同规定履行全部义务或者支付相应的赔偿金。 再次，对于对方的行为，您可以考虑采取法律手段来维护自己的权益。比如，您可以向法院提起诉讼，要求对方按照合同约定归还剩余的款项。同时，您也可以收集证据证明您的权利主张，如转账记录、通话录音等。 最后，建议您在处理此事时保持冷静和理智，避免冲动行事。同时，可以寻求专业的法律帮助，以确保自己的合法权益得到保护。