在您的情况下，我建议您尽快与男方沟通，了解他的诉求和理由，并寻求专业的法律意见。如果您决定离婚，可以考虑聘请一位经验丰富的律师来帮助您处理相关事宜。同时，考虑到孩子的利益，您可以考虑寻找双方都可以接受的解决方案，如共同抚养孩子或者将孩子交给一方抚养一段时间，以便让另一方有机会重新评估家庭环境并做出决定。