我的是婚姻问题，但我这好像比正常的婚姻麻烦好多，我在婚姻中是二奶，没有登记手续，他老婆生有三个儿子，老婆也还在一起生活，我也跟他们一家共同生活，这个主角我当了十多年了，同时生了一儿一女，但我现在想要离开了，跟他当面谈过，他也同意了！他就提要求让我不能打扰小孩，也不能见面，我都答应了！可现在他不停的打扰我家人，还发信息来恐吓我！请问这要怎样处理啊？