我父母于2007年经法院调解离婚，当时我未满18岁，我归母亲抚育。当时的法院调解书上写明住房由我和母亲居住，但是但是父亲说没钱搬出去，后面调解也写明父亲也有居住使用权。一直到今天父亲又要赶母亲走，他说房子是他的，现在户主和房产证上也是父亲的名，请问他有权利赶我们走么？如果我们想给他一笔钱让他搬出去的可能性大么？