您好！关于您在工厂工作期间遇到的问题，首先需要明确的是，您的行为并不违法。根据《中华人民共和国消费者权益保护法》规定，经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或者接受服务的费用的三倍；增加赔偿的金额不足五百元的，为五百元。因此，如果您已经对客户进行了换货，并且损失了数千元，您可以要求工厂进行相应的赔偿。同时，建议您与工厂协商解决，以达成双方都能接受的解决方案。如果协商不成，可以考虑通过法律途径来维护自己的合法权益。