在处理此类纠纷时，首先需要明确的是，如果您认为您与仲裁员之间存在劳动关系，且存在违反法律法规的行为导致您的权益受损，那么您可以根据《中华人民共和国劳动民法典》及相关法律规定来维权。具体来说。 您可以依据相关劳动法规，向当地的劳动争议调解委员会或者人民法院提起劳动争议诉讼。 在劳动争议中，如果存在双方约定的“劳务协议”，并且该协议涉及了损害劳动者利益的情形，您可以据此请求法院判决确认该协议无效，并要求雇主支付双倍赔偿金。 请注意，上述建议仅供参考，具体情况需根据案件的具体情况和当地的相关法律法规进行分析和判断。在采取任何行动之前，请务必咨询专业的法律顾问或律师以获得准确的法律意见。