我08年跟他在一起生了两个孩子，一直没办结婚证。2015年可是由于有点小矛盾导致我们分开了，儿子跟了前夫，女儿跟着我，我带着女儿跟了别人结婚了，领了结婚证，男方有个儿子，就是因为他有他的儿子我有我的女儿，导致结婚后一直有矛盾老是吵架，我想跟他离婚，他不同意离婚，由于我太想我的亲儿子，我偷偷的带着我女儿回到了我前夫这里，我这样做会不会犯罪，我该怎么办