根据中国法律法规，如果您的行为是在自己的土地上进行，并且没有违反任何法律规定的情况下，则通常不会被视为违法行为。然而，具体到您所描述的情况，如果您建造的简易房屋或围栏对周围环境造成了不良影响，例如对交通便利性造成阻碍、对周边居民生活造成干扰等，可能需要考虑是否需要采取适当的措施来减少这些影响。 此外，您提到的“偷牛”问题与建设本身并无直接关系，因此这可能不是解决当前问题的最佳途径。如果您认为建设活动存在不当之处，建议您联系相关部门，如当地规划局或环保部门，以便他们能够提供专业的意见和指导。在寻求帮助时，请确保所有信息都是准确无误的，并遵守当地的法律法规。