根据相关法律法规规定，对于非法建设的违法建筑，行政机关有权予以拆除。如果您在当地的养殖场存在违法用地行为，那么当地行政机关有权依据法律规定对您的违法行为进行查处，并采取必要的行政强制措施，包括但不限于拆除违法建筑等。在此情况下，建议您积极配合行政机关的工作，以便尽快解决相关问题。同时，如果存在争议或疑问，您可以向有关行政部门咨询，以获得更详细的解答和指导。