根据法律规定，在离婚诉讼中，父母对子女的抚养权由双方协商一致决定，如果一方不同意将子女抚养权给另一方，则需要通过法院判决来确定抚养权归属。 在你的情况中，由于你们当时在离婚协议中约定孩子的抚养权归男方所有，并且男方也未履行抚养义务，因此你可以考虑申请变更抚养权。你需要提供证据证明你的行为导致男方未能尽到抚养义务，以及孩子的身心健康状况等，以便支持你的请求。 请注意，这些建议并不适合所有人，具体情况可能因地区差异和法律法规而有所不同，请务必咨询专业的法律顾问以获得最准确的信息。同时，处理这类案件可能会涉及到复杂的程序和时间要求，建议尽早采取行动。