我在广东省清远市一家工厂打工，9月7号老板跟我说好的9月15号结工资让我走，9月10号我老婆和小孩发高烧无人照顾，所以请了假，老板说11号不上班就算旷工，之后主管给我打电话说不要来上班了，月底来拿工资，13号我老婆和小孩好的差不多了，15号我就在另外一个厂里去上班了，20号之前那老板知道了，很生气，打电话又让我年底再去拿工资，因为他开的是小厂，没有劳动合同，请问我该怎么办？？