我是2015年离婚，我们协议离婚女儿由我抚养，他爸爸那抚养费，给我五万，一分钱都没给我们，孩子抚养费也不拿，2017年让爷爷接到身边照顾，我女儿现在7周岁了，我想把她接到我身边我照顾，他爸爸不同意，我该怎么办，