《中华人民共和国村民委员会组织法》第二十六条明确规定。“村民会议或者村民代表会议认为有必要时，可以提议召开村民代表大会。”同时，《中华人民共和国民事诉讼法》第一百一十九条规定。“起诉必须符合下列条件。（一）原告是与本案有直接利害关系的公民、法人和其他组织；（二）有明确的被告；（三）有具体的诉讼请求和事实、理由；（四）属于人民法院受理民事诉讼的范围和受诉人民法院管辖。” 在上述情况下，如果村主任强行收取各屯的公章而不予退还，这可能构成非法扣押或侵占他人财物的行为。这种行为可能会侵犯到个人财产权益，并且违反了法律规定。 因此，根据我国相关法律法规的规定，村主任的行为已经构成了违法行为，需要承担相应的法律责任。建议您向当地司法机关进行举报，并寻求法律援助，以保护自己的合法权益不受侵害。