根据中国法律规定，父母对子女有抚养教育的权利和义务。在您与前夫协议离婚时，双方约定孩子由一方抚养，这是基于双方同意和协商的结果。 如果您认为孩子的健康成长受到严重威胁，建议您尽快采取行动。您可以考虑向当地法院提起诉讼，请求撤销或变更原判决中的抚养权归属。同时，也可以寻求法律援助机构的帮助，以便更好地维护自己的权益。 请注意，在处理此类案件时，应遵守相关法律法规，确保您的行为符合道德和法律规范，并避免因情绪激动而导致的行为不当。