在处理此类案件时，需要综合考虑多个因素。首先，需要确认孩子的实际居住地和抚养权归属，这可能涉及到法院的判决。其次，在评估双方家庭的情况时，应考虑到孩子的情感需求以及长期生活稳定性的影响。 根据法律规定，如果一方存在虐待、遗弃或者其他对子女明显不利的行为，另一方有权申请变更抚养权。因此，如果男方存在上述行为，那么他可能面临被要求改变抚养权的风险。 此外，即使男方没有虐待行为，但其家庭暴力也会影响孩子的安全和心理健康。在这种情况下，法院可能会倾向于将孩子归于更有利于孩子成长的家庭，并且可能会考虑男方是否具备足够的能力和资源来照顾孩子。 综上所述，具体决定抚养权归属需要由法官依据具体情况做出公正裁决。在任何情况下，孩子的最佳利益是首要考虑的因素。同时，双方都有责任尽力为孩子提供一个安全、健康的生活环境。