根据法律规定，如果您和您的丈夫已经协议离婚，并且在离婚协议中明确了孩子的抚养权归属，则该协议将对双方具有约束力。因此，您需要与您的丈夫协商并达成一致意见，以确定孩子的抚养权归属。 如果你们无法通过协商解决这个问题，您可以考虑向法院提起诉讼，请求法院判决孩子的抚养权归属。在诉讼过程中，您可以通过提供证据证明自己有抚养孩子的能力，以及对方没有履行抚养义务的情况来支持自己的主张。 请注意，在任何情况下，保护孩子的利益应该是首要考虑的因素。如果您决定离婚，建议您尽早寻求专业的法律帮助，以便更好地维护自己的权益。同时，也建议您考虑聘请一位经验丰富的家庭法律师，以确保您的合法权益得到充分保障。