我离婚后协议孩子归男方抚养，我不出抚养费，有探视权，但后来因为我探视孩子男方便叫我带走孩子自己抚养，至今五年了他没有给过抚养费，现在他又想叫孩子回他那里合法吗？如果我同意孩子回去我可以起诉向他要这几年孩子的抚养费吗？如果我不同意孩子回去他有权强行带走孩子吗？