你好，我于2016年7月4日与妻子协议离婚，共育有一个女儿，离婚时夫妻名下共同有两套房子，一个车位，一张车。协议的是妻子一套房子，女儿一套房子儿我得到车。女儿抚养权归我，离婚后对方一直占用我女儿的房子不肯搬离并一直拿有钥匙，还扬言如果我再婚不得进住我女儿的这套房子（协议上没有写），要等女儿十八岁后才可以去住，而目前我们并没有其他住所。我想问问？他们这样的做法是否合法，我是否可以起诉影响我和女儿的正常生活。谢谢