我的姐夫是入赘到我们家的，结婚后不就就有了两个孩子，然后两个一起出去打工了，这两个孩子一直是我的父母在带，几年后我姐夫给着一个女人跑了，他明白的告诉我们家人他不可能和我姐姐过下去了，就这样失踪了三四年，没办法，我姐姐只有起诉离婚，两个孩子都判给了我姐姐，离婚后才听人说他被抓入狱了，而已判了六年，我姐姐也改嫁并且有了小孩，出狱后他要搬回来和我父母住，我们该怎么办呢