您好！根据我国法律规定，如果双方未办理结婚登记手续而共同生活，可以视为事实婚姻。在没有明确约定的情况下，一般情况下子女的抚养权应归一方。但考虑到孩子的情况和男方的情况，可能需要综合考虑多个因素来决定抚养权归属。 首先，从孩子的角度出发，4岁的孩子正处于成长的关键时期，父母双方都有责任提供适当的照顾和支持。因此，在抚养权分配上，应该以有利于孩子健康成长为原则，尽可能给予更多的关注和关爱。 其次，从经济条件来看，女方作为家庭的主要收入来源方，可能会更倾向于抚养权。但是，这并不意味着男方就没有权利争取抚养权，而是需要根据实际情况进行评估。 再次，从双方的性格和教育方式上看，也可能是影响抚养权的一个重要因素。如果双方性格相近，教育方式一致，可能更容易形成良好的亲子关系，对孩子的成长有利。 最后，考虑到男方这几年没有尽到抚养义务，女方已经结婚的事实，以及孩子目前跟随女方生活的现状，可能法院会偏向于女方，判决由女方继续抚养。 总之，对于抚养权的分配，需要综合考虑多个因素，具体情况还需要依据相关法律法规及实际调查结果来进行判断。希望我的解答能对您有所帮助。