首先，根据我国《中华人民共和国刑法》第二百六十六条的规定，“以非法占有为目的，使用诈骗方法非法集资，数额较大的，处三年以下有期徒刑或者拘役，并处二万元以上二十万元以下罚金；数额巨大或者有其他严重情节的，处三年以上七年以下有期徒刑，并处罚金”，因此，如果政府工作人员参与其中，利用职务便利，采取诈骗等非法手段获取利益，可能构成犯罪。 其次，根据最高人民法院、最高人民检察院《关于办理非法集资刑事案件适用法律若干问题的意见》的相关规定，对于非法集资案件中的“被害人”的认定，应当考虑被害人是否具有完全民事行为能力，是否属于老年人、残疾人等特殊群体，以及其经济状况和接受教育的程度等因素。如果存在上述情况，且被害人能够提供有效证据证明自己是“被害人”，则可以将其列为“被害人”。 综上所述，如果你认为你的乡镇政府工作人员在没有得到你同意的情况下，将扶贫资金用于非法集资，那么你可以向当地公安机关报案，要求追究相关人员的刑事责任，并请求相关部门对相关资金进行追回。同时，你也可以寻求律师的帮助，了解相关的法律法规，以便更好地维护自己的权益。