我在一家公司工作了三个多月，当初进去的时候是一个中介给我介绍的另一个中介，然后当时那个中介给我了厂里人事的电话然后我去厂里上的班，因为不想干了，我在厂里辞的职，当时厂里给我批的十一月二十二号当天离职，离职当天厂里人事告诉我我是劳动派遣I需要给我那边中介联系，我跟那个中介打电话说我准备离职，然后他说离职要提前一个月，但是因为我没有跟厂里和中介签订任何劳务合同，现在中介那边说要扣我工资，我该怎么办