根据中国法律规定，婚姻关系是基于双方自愿、平等协商的原则建立的，任何一方不得强迫另一方同意离婚或改变婚姻状况。如果女方存在智力障碍，且在婚前已经告知男方其情况，并且在婚后一直以照顾家庭为重，没有给男方带来重大伤害或者负担，则可以认为婚姻关系具有稳定性。 关于抚养子女的问题，法律并不禁止男方要求离婚。但是，在这种情况下，男方需要证明自己有能力承担抚养孩子的责任，并且需要考虑到女方的情况以及孩子的利益。同时，男方也应当尊重女方的意见，尽量达成有利于双方和孩子的协议。 建议男方与女方进行深入沟通，了解对方的真实想法和需求，共同寻找解决办法，尽可能地维护双方的关系和平稳过渡。如果无法达成一致，也可以考虑寻求专业的调解或者法律援助，以便更好地保护自己的合法权益。