孩子已满3岁，一直跟着女方生活，女方有固定收入和工作，男方目前从事快递工作，离婚时，孩子抚养权归男方。但是婚前他并未尽义务照顾孩子，离婚后也未尽义务照顾孩子，且有不良信用记录，一直是女方单独负担孩子所有，请问这样的情况要回孩子抚养权可以吗？