在某些情况下，自行清除违法建筑物可能被视为违法行为。例如，在非法建筑被拆除后，如果业主或承租人继续占用该土地并进行相关活动（如种植农作物），则可能构成“违法使用”行为。 此外，如果违法建筑位于公共道路或公共场所的边缘，且对周围环境造成影响时，清理这些违法建筑物也可能会涉及违反城市规划法或其他相关法律法规。 因此，具体情况需要根据当地的法律规定和实际情况来判断是否构成违法行为。建议咨询当地法律专家以获得准确的法律意见。