我和我前夫离婚以后，写了一个协议，上面写着双方住宅双方都有居住权，双方共同住房原则上归女儿所有，双方不得另作他用，现在我前夫已经找了一个女朋友，并且带给他家人见过了，基本算定下来了，他时不时来家里住几天，让我在邻居面试很没面子，也影响了我跟女儿的正常生活，今天早上我让他搬走，他说他有居住权，我后来我跟他吵起来了，我女儿也跟我一起说他，他就说要跟我女儿断绝关系，并且房子不给我女儿，要拿去卖了