您好！根据我国相关法律规定，您有权要求银行返还您的贷款。在离婚协议中写明房产归您所有，并约定由您还贷，这表明您对还款义务的承担有明确的书面承诺。如果您已经按照协议履行了还款义务，银行无权再向您追讨剩余款项。 如果银行坚持要继续向您索要剩余款项，您可以考虑通过诉讼途径解决，例如提起民事诉讼或申请强制执行。同时，建议您收集好相关的证据材料，如支付凭证、转账记录等，以便在诉讼过程中更好地维护自己的权益。 最后，为了保护自己的合法权益，请务必谨慎处理涉及金融借贷和房产交易的相关事宜，及时咨询专业人士以获取更专业的意见和指导。