我俩分开快四年了，因为不想孩子分开一直没离婚，刚刚开始他们家不让我带孩子，说之后我可以去看，可是每次回去要么不让见，要么每次见面她们都跟我吵架，有时候还动手，所以每次回去我都担惊受怕，我想问一下如果我带孩子离开并且通知他们我会不会承担法律责任