是关于离婚纠纷，我父母于2007年经法院调解离婚，当时我未满18岁，我归母亲抚育。当时的法院调解书上写明住房由我和母亲居住，但是父亲也有居住使用。一直到今天父亲又要赶母亲走，他说房子是他的，现在户口本上户主也是父亲的名，请问他有权利赶我们走么？