在您的情况下，工厂可能需要对您的损失进行赔偿。如果工厂连续三天没有安排您工作，这可能被视为解雇或歧视行为。根据我国劳动法的规定，雇主必须按照法律规定支付工资和福利，并且不得无故辞退员工。如果您认为自己的权益受到了侵害，建议立即与工厂协商解决，或者向当地劳动监察部门投诉，以获得公正的处理结果。同时，您可以考虑寻求专业的法律帮助，以维护自己的合法权益。