根据您提供的信息，如果双方已经就房产的归属问题达成协议，并且在离婚协议中明确约定男方应负担房屋贷款，而女方则负责将该房屋过户给孩子，那么这种情况下的房产归还应该是按照协议进行的。 然而，在这种情况下，如果男方不愿意继续履行协议并要求女方承担房贷，则可能需要通过诉讼来解决这个问题。在这种情况下，建议您与律师详细讨论您的情况，以便获得更专业的意见和指导。律师可以审查协议中的条款，评估是否有可能采取法律行动以确保协议得到遵守。同时，律师还可以帮助您了解可能存在的其他法律选项，例如请求法院命令男方履行协议等。最终的解决方案可能会因具体情况的不同而有所不同，因此建议寻求专业法律人士的帮助。