您好！根据《中华人民共和国民法典》的规定，夫妻双方可以自愿协商决定孩子的抚养权归属。如果协议离婚时，双方同意孩子由男方抚养，并且女方一直在抚养孩子的情况下，那么男方有权要求女方支付相应的抚养费和探视权等费用。 然而，在实际操作中，可能会遇到一些特殊情况，比如女方存在一定的经济困难或特殊需求，导致其难以承担全部的抚养责任。在这种情况下，男方可能需要考虑是否继续履行抚养义务，或者寻求其他途径解决。 总之，关于孩子抚养权的问题，最好通过合法有效的协议来明确约定，以避免日后产生不必要的纠纷。如果您有具体的情况，建议及时与专业的法律顾问进行咨询，以便得到更具体的解答和帮助。