您好，按劳动合同约定时间上班，如果约定周六日是休息时间，对方是无权处罚的，协商不成，可以搜集证据，建议向单位所在地劳动监察大队投诉。

算是旷工，工厂不放假休班，不上班就是旷工，还要看你们签订的合同，一般对上班时间和请假都有约定，有约定依照约定。如果单位违反合同约定，可以去劳动局仲裁。