我在一个小工厂干了六天，通过中介进去的，后来不想干了，就直接给厂里管事的人口头说不干了，管事的说让我跟中介老板说，我也给中介说了，但是厂里老板说我不去干了就得扣我三天工资，这合法吗