您好，根据您描述的情况，如果您已经偿还了本金和部分利息，而对方要求您继续偿还剩余的利息，您可以拒绝。在法律上，借款合同中通常会规定还款期限以及利息计算方式。如果您的贷款没有明确约定还款日期或者未支付过利息，那么您有权拒绝继续支付利息。建议您与对方协商解决，争取达成一致意见。