根据法律规定，父母有抚养教育未成年子女的义务。如果夫妻双方协议离婚，孩子归女方抚养，并且男方未履行抚养义务，可能会构成不作为犯罪，即遗弃罪。遗弃罪是指以抛弃的态度对待自己的配偶和子女的行为。这种行为不仅违反了道德准则，还可能触犯刑法。 在实际操作中，您应该及时与对方沟通并协商解决相关问题，以便保护自己和孩子的权益。如果您认为对方存在违法行为，可以考虑寻求法律援助或报警处理。同时，也要注意维护自身的人身安全和财产安全，避免受到不必要的伤害。