家中有母亲留下的遗产（房产）因为我们一家一直和母亲生活在一起呢，所以家中四个孩在母亲去世后子口头上约定将房产给我，但没有签协议，由于我和我丈夫在外工作，妹妹一家在家中住，孩子寒暑假回家和妹妹一家一起生活，住在不同的屋，一天半夜妹妹的丈夫对孩子意图不轨，被孩子及时发现，没有任何实质性损失，当时也没留下证据，妹妹和她丈夫大吵了一架后，妹妹的丈夫离开了家，孩子和妹妹一起在家直到孩子开学，孩子开学后，妹妹的丈夫和妹妹又一起在我家生活，现在孩子要放假回家了，不想和妹妹的丈夫住在一个屋檐下，可妹妹和妹夫确以无法搬走为由拒绝离开，请问法律上有理由让妹夫离开我家吗