父母是协议离婚，有两个女儿。离婚协议姐姐由母亲抚养，妹妹由父亲抚养。但是因为当时离婚时妹妹只有两岁，母亲放心不下所以母亲就带着妹妹走了，姐姐在读初中所以跟着父亲了。现在离婚近十年了，期间父亲没有给妹妹拿过抚养费。姐姐在2013年结婚经济独立了。如今父亲再婚有一儿子，但是按离婚协议上写的妹妹应该由父亲抚养。可是这几年还是母亲在抚养妹妹，父亲没有尽到责任。所以母亲能不能向父亲要回这些年孩子的抚养费？