根据我国相关法律规定，夫妻双方在婚姻关系存续期间所取得的财产应当视为夫妻共同财产，除非有明确约定或法律规定属于一方个人财产。如果离婚协议中明确了房产归属和子女抚养费支付等问题，并且没有违反法律法规的规定，则该协议应当得到执行。 在这种情况下，如果男方未能按照离婚协议履行其义务，例如不支付子女抚养费，或者存在其他违约行为，那么女方有权要求法院判决男方返还房屋以及相应权益。但是，在处理此类案件时，需要考虑多种因素，如房产价值、市场情况等因素，因此建议您寻求专业的法律意见以获得更准确的指导。 此外，需要注意的是，离婚后，子女随母方生活，但父母双方都有探望子女的权利。因此，即使孩子已经独立生活，父亲仍有权利探望孩子。具体操作应依据当地的相关规定进行。