您的问题涉及到债务纠纷和法律适用。首先，根据您所描述的情况，您与被告之间存在借贷关系，并且双方就利息进行了约定。如果双方没有明确约定如何支付利息，则按照《中华人民共和国民法典》的规定，利息应当按照同期同类贷款市场报价利率（LPR）进行计算。 其次，在这种情况下，您可以向法院提起诉讼，要求被告偿还剩余的利息。如果您有证据证明被告已经收到了相应的利息，那么您可以提交该证据作为证据支持您的主张。此外，由于您提到被告声称他将不偿还剩余的利息，这可能构成违约行为，因此您可以考虑采取其他法律措施来保护自己的权益。 最后，请注意，为了更好地维护自己的权益，建议您寻求专业的法律帮助，以便制定最佳的解决方案并确保您的合法权益得到保障。