您有权要求女方按照离婚协议中的约定来抚养您的孩子。如果女方拒绝履行这一义务，您可以考虑采取法律手段解决这个问题，例如申请法院判决或寻求法律援助。在处理这类纠纷时，建议您咨询专业的家庭法律师以获取更详细的法律建议和指导。