在您未与工厂签订书面劳动合同的情况下，确实存在可能因口头约定而产生纠纷的风险。根据《中华人民共和国劳动法》及相关法律法规的规定，用人单位应当自用工之日起一个月内与劳动者签订书面劳动合同。否则，劳动者可以主张解除合同，并要求支付经济补偿金。 关于您的情况，如果工厂确实在口头承诺了提供一定时期的工作保障或福利（如加班费），并且您已经接受了这些条件，则可能构成一种特殊形式的劳动合同关系，即所谓的“事实上的劳动合同”。在这种情况下，如果工厂单方面解除了这种关系并要求扣除部分工资，这可能被视为违反法律规定。 然而，具体是否属于违法行为需要结合实际情况和相关法规进行判断。如果您认为自己的权益受到了损害，建议及时向当地劳动监察部门或者法院提起诉讼，以维护自身合法权益。同时，也可以寻求法律专业人士的帮助，以便更准确地了解和处理相关的法律问题。