我们找中介租了一个房子，但是后来房管局过来了，说违规部分要拆除。房东知道后，以房东和中介签订的合同无效，单方面收回了房子。现在我们还住在房子里，但是房东叫我们要么交钱要么搬走。但是我们交给中介的钱还没住完。中介交给房东的钱，房东也没还。我们要怎么办呢