我哥哥有一个非婚生的儿子是智障，跟女方分手两年了，智障儿子一直是男方在抚养，女方不愿意给抚养费，也不要孩子，哥哥再婚，又生了一个女儿，因为智障儿子的事情，又离婚了，。可以起诉要求法官判智障儿的抚养权吗？