根据法律规定，夫妻双方有平等的权利和义务，在婚姻关系存续期间共同对子女的教育、生活等进行照顾。如果一方无故长期不履行抚养义务，另一方有权向法院申请变更或解除抚养关系，并请求对方支付相应的抚养费用。在本案中，由于您提到的女方已经离开了家五年，且至今未返回家中，可以推断出女方确实存在长时间不履行抚养义务的情况。在这种情况下，您可以考虑通过诉讼手段争取孩子的抚养权，并要求对方支付抚养费用。同时，建议您与妻子沟通，了解她的想法和意愿，以便更好地解决问题。