您好！根据法律规定，夫妻双方对共有财产的约定应当具有真实性、合法性。如果您和前夫离婚时已经就房屋归属达成了一致意见，并且该约定得到了法院的认可，那么您有权保留房屋的所有权。然而，关于抚养费的问题，法律规定父母与子女之间的抚养关系由其婚姻法规定的抚养义务人承担，而不是通过买卖房屋的方式解决。 建议您直接联系男方，明确告知他您的意愿并提供相关证据证明你们之间的离婚协议的真实性。如果对方仍然坚持要求您将房产过户给他，您可以考虑寻求法律帮助来维护自己的权益。同时，也可以考虑协商解决抚养费的问题，以避免不必要的纠纷和争议。