根据我国《民法典》规定，如果夫妻双方因感情破裂而协议离婚，并且子女未满两周岁或者不满八周岁的，则法院应当尊重其意愿，判决子女随母亲生活。但是，如果一方有证据证明对方存在家庭暴力等严重过错行为的，法院可能会判决子女随非直接抚养方生活。 此外，在特殊情况下，比如女方因疾病或意外导致丧失生育能力时，法院也有权判决子女随男方生活。 因此，建议您与您的丈夫沟通，共同协商处理这个问题。同时，如果您有任何疑问或需要进一步的帮助，请及时联系专业的法律顾问。