您有权拒绝偿还剩余的债务。根据法律规定，债权人不得强迫债务人履行未到期的债务。因此，您可以选择与借款人协商，要求其停止催讨行为，并在双方达成一致的情况下，重新商定还款计划或提前还款事宜。如果对方不听劝告，您可以考虑通过法律途径解决纠纷，比如向法院提起诉讼以保护自己的权益。