《城乡规划法》第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设;尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款;无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。据此，城乡规划主管部门具有认定违法建筑的职权。城乡规划主管部门虽然具有认定违法建筑的职权，但实施行政处罚时必须根据法定程序。规划局没有作出拆除的行政处罚决定并送达，也没有听取利害关系人的陈述和申辩，拆除房屋的程序违法。