您好！根据我国相关法律法规，任何单位和个人不得非法限制公民的人身自由。在您的情况下，乡政府为了控制违法建筑而设置岗亭和检查建筑材料的行为可能涉嫌侵犯公民的人身自由权。 此外，根据《治安管理处罚法》的相关规定，对违法行为进行查处时应当依法进行，并且应当遵守程序公正的原则。如果保安公司的人员使用了暴力或者威胁手段，那么他们可能会面临相应的法律责任。 因此，建议您与当地政府或相关部门沟通，了解是否存在其他更合适的方式来控制违法建筑，以避免对公民的人身自由造成不必要的侵犯。同时，也请您保留好证据，以便日后维权之用。