您好，我们的老房子一开始是允许翻修，但要我们保留原来的一面墙，但在施工过程中，为了安全和房屋构造问题，我们私自推倒了那面墙，但墙角没动，后来，就不允许我们建了，所以我们现在一家人都没有地方住，我们该怎么办