我离婚后协议孩子归男方抚养，我不出抚养费，有探视权，但后来因为我探视孩子男方便叫我带走孩子自己抚养，至今五年了孩子已经15岁半了，他没有给过抚养费，现在他又想叫孩子回他那里合法吗？如果我同意孩子回去我可以起诉向他要这几年孩子的抚养费吗？如果我不同意孩子回去他有权强行带走孩子吗？如果我不同意孩子回去还可以起诉向他要这几年的抚养费以及以后孩子到成年的抚养费吗？