根据中华人民共和国《村民委员会组织法》的规定，村民委员会的选举应当由本村全体成年村民或者本集体经济组织成员（包括农村承包经营户）直接提名候选人，并进行公开选举。在实践中，如果只有少数社员参加选举，则可能违反法律规定。 因此，在这种情况下，建议您与当地的基层政府或相关机构联系，了解具体的法律规定和程序要求。同时，也可以考虑通过调解等方式解决争议，以维护您的合法权益。