我前夫在我们家这边借了差不多有20万，离婚后离婚协议有写他还，到没有规定期限，孩子抚养权在他那里，他家是福建的，我是贵州的，在我们离婚后的那一个月我才知道他和另外的一个女人已经生了小孩，我是3月1号离婚的，他3月27号就生小孩。我现在想去福建看我孩子。孩子现在是和他爷爷奶奶一起生活，他和那个女人还有他们的小孩一起生活，我想去把孩子接到贵州，他如果不同意，我悄悄的把孩子带走违法吗？