在墙上随意张贴小广告是违法的，违反了《城市市容和环境卫生管理条例》。
根据《城市市容和环境卫生管理条例》第十七条　一切单位和个人，都不得在城市建筑物、设施以及树木上涂写、刻画。单位和个人在城市建筑物、设施上张挂、张贴宣传品等，须经城市人民政府市容环境卫生行政主管部门或者其他有关部门批准。在城市中设置户外广告、标语牌、画廊、橱窗等，应当内容健康、外型美观，并定期维修、油饰或者拆除。大型户外广告的设置必须征得城市人民政府市容环境卫生行政主管部门同意后，按照有关规定办理审批手续。