您好，首先要确认你家围墙是不是建外自家宅基地上，如果是自家宅基地范围内，没有超越合法建筑范围内，政府是不允许拆除村民的合法建筑。如果是因政府统一规划，该围墙需要拆除，需要和你家协商好，双方达成补偿协议，才能进行拆除。否则强行拆除就是违法。您可向上一级部门反映情况。