根据法律规定，夫妻在离婚时应当对财产进行分割，并且应当公平合理。如果双方同意协议离婚并达成一致意见，那么房产归属和还款责任应该按照协商结果来处理。 如果您认为剩余房贷属于您方的债务，您可以向法院提起诉讼要求变更贷款合同，以明确剩余房贷的归属。同时，您也可以考虑与前夫沟通，尝试通过协商解决这个问题，或者寻求第三方调解机构的帮助。 请注意，这些建议仅供参考，具体情况需要结合您的实际情况和法律专业知识来决定。建议您尽快联系专业的律师或法律顾问，以便获得更具体的法律指导和帮助。