根据《中华人民共和国义务教育法》的规定，适龄儿童和少年应当按照规定接受并完成九年制义务教育。对于智力发育迟缓的儿童来说，如果他们能够适应学校的学习环境，并且有接受教育的能力，那么他们是有权利继续上学的。 因此，您应该与学校的教师和教育部门沟通，了解他们的意见和建议，看看是否可以采取一些措施来帮助您的弟弟更好地融入学校生活。例如，提供额外的支持和资源，或者寻求特殊教育课程的帮助。同时，也可以考虑与其他家庭或社区成员合作，共同为孩子的成长和发展提供支持和鼓励。在任何情况下，都应该尊重孩子的权利和尊严，确保他们在安全和尊重的情况下接受教育。