父母离婚，协议上写着房子属于孩子，父亲还外债，孩子随父亲住房子里，母亲每个月支付生活费，但是孩子问母亲就给，没有每月固定给，所有费用都是父亲承担，过了好多年，现在母亲想回来，然后把父亲赶出去，说两个人都不能住这个房子，只能两个孩子居住，现在还需要抚养的孩子也是父亲抚养，父亲供上学和生活费，母亲有权利让父亲出去住吗，如果没有权利让父亲出去，母亲还能回这个家住吗