根据法律规定，如果借款人已经偿还部分本金，债权人有权按照还款情况和协议约定进行处理。因此，在您已偿还400万元的情况下，剩余的100万元（即500万元减去已经偿还的部分）应视为未偿还的金额。 建议您与债权人协商解决剩余款项的问题，并尽可能地达成一个双方都能接受的解决方案。如果无法通过协商解决问题，您可以考虑向法院提起诉讼，以维护自己的权益。在任何情况下，请确保您的行为符合当地的法律法规，避免因不当行为导致不必要的纠纷和损失。