违章建筑是由规划部门来认定的，一幢建筑在被规划部门确认为违章建筑之前应该推定为合法建筑，除非有显而易见的违章情形，如在耕地上搭建永久建筑物或既没有土地使用权证也没有其他任何审批手续以及房屋产权证的建筑等。即使最后被认定为违章建筑，也可以依据和厂方之间的租赁协议追究厂方的违约责任，并要求赔偿损失。