我是男方，之前娃儿一直是外婆再带，现在协议离婚抚养权在女方，但是女方一直把娃儿放在外婆家，每周只有周末能回去陪娃儿，现在娃儿上小学了，作业都是舅舅在检查，我怎样才能要回抚养权，需要哪些材料，