在协议离婚时约定不生育子女是双方自愿的，但一旦发生变更意愿的情况，需要重新协商和达成新的协议。如果您与前配偶对孩子的抚养权、探视权等方面有争议，建议您尽快联系专业的家庭律师或婚姻家庭法专家进行咨询，以了解您的具体权益和可能的解决方案。同时，在处理此类问题时，确保所有沟通都是公开和透明的，并且遵守当地的法律规定和程序。