你好，我想问问，我在一个工厂做临时工，因为我前面一道工序人做的不合格，我提醒老板说那个不能做下去，他非要我做下去，后面他去交货的时候不过关，要返工，由于做之前工序的人也是临时工当时结账走了，我的没结，他现在要把责任怪我身上扣我的钱，我该怎么办