面对这种情况，首先建议尝试通过家庭咨询或婚姻指导来解决问题。专业的咨询师可以帮助双方更好地沟通，找到问题的根源，并提供解决策略。如果沟通无效，考虑到孩子还很小，需要一个稳定和健康的家庭环境，你可以考虑寻求法律帮助。根据《婚姻法》，家庭暴力或虐待家庭成员是离婚的法定理由之一。如果你的丈夫的行为对你或孩子造成了精神或身体上的伤害，你有权提出离婚，并要求获得孩子的抚养权和相应的经济补偿。 同时，如果你的丈夫经常晚归的行为严重影响了你的生活和心理健康，你也可以考虑根据《民法典》中关于婚姻家庭的规定，要求法院判决他履行家庭责任，包括按时回家和参与家庭生活。在采取任何法律行动之前，建议收集相关证据，如通讯记录、证人证言等，以支持你的主张。如果需要，可以咨询专业律师，获取更具体的法律建议和帮助。