您好！请问离婚抚养权给了男方！但男方一直对小孩不管不顾，现在小孩上幼儿园了。男方连小孩平时衣食住行包括现在上学报名都不管！都是由孩子爷爷奶奶和姑姑姑父在管理！这种情况我可以起诉要回抚养权吗？