根据您提供的信息，您的情况可能涉及多个方面的问题。首先，关于孩子的抚养权问题，如果您和对方在离婚时已经签订了书面协议并得到了法院的认可，那么按照法律规定，该协议应当被视为有效。不过，由于没有具体的协议文本，建议您先与对方进行沟通，了解具体的情况，并收集相关证据。 其次，关于您提到的男方的行为，如威胁、侮辱等，这可能构成侵权行为，您可以考虑寻求法律援助，向有关机构或部门举报。同时，您也可以考虑聘请专业的律师帮助您处理此事。 最后，关于孩子健康成长的问题，建议您尽快联系专业人士，如儿童心理医生或教育专家，以获取更详细的指导和建议。 总之，在处理此类案件时，最重要的是保持冷静和理性，尽量避免情绪化，及时采取行动保护自己的合法权益。希望我的回答能够帮到您。