您好！根据法律规定，如果双方协议离婚并达成一致意见时，子女随父方或母方生活，另一方有探视权。在您提到的情况中，男方未履行其抚养义务，可能影响到孩子的教育和成长。您可以考虑与对方协商解决这一问题，或者向人民法院提起诉讼要求变更子女的监护权。但需要注意的是，在任何情况下，都应尽可能避免对未成年人造成伤害或不利的影响。