《北京市城市绿化条例》第三十条规定，运输车辆应当按照指定线路行驶，并遵守交通信号灯、标志和标线的规定。违反该规定的，由城市管理综合执法部门责令改正，处以罚款。 因此，如果渣土车没有按照规定的线路行驶，那么它可能会被视为违规行为。然而，具体的处罚措施会根据违法行为的具体情况而定，可能包括罚款、警告等。建议您详细咨询当地的城管部门或查阅相关的法规文件以获取更准确的信息。