您好！根据我国法律规定，夫妻双方对子女的抚养权可以协议约定。在没有特别约定的情况下，一般情况下孩子的抚养权归母亲。如果男方不愿意继续抚养孩子，建议双方协商解决或向法院起诉要求变更抚养权。同时，考虑到孩子的成长和发展，建议双方积极沟通，寻找有利于孩子健康成长的解决方案。