根据我国《城乡规划法》的规定，对于违法建设的建筑物，如未办理规划审批手续擅自施工或虽经批准但未经依法验收擅自投入使用等情形，应当由城市、县人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施影响的，限期改正，并处建设工程造价百分之五以上百分之十以下罚款。 因此，在您的情况下，如果泥砖屋是违法建筑并且已造成严重影响，则可能需要进行拆除。但是，具体是否可以被强制拆除以及如何处理，还需要结合具体情况和当地的法律法规来判断。建议您与专业的法律顾问沟通以获得更详细的解答。