我提前跟客户说好了一件6000个袋子，不拆散，客户当时只要4000个，但是跟他说不拆散他也同意了，但他付了4000的，100元押金说另外两千等要货再给我，然后我给他先送去了4000个，他用了将近1000然后就说破了七八个还是十来个的样子，跟我说有质量问题，这4000他端了，剩下的2000他不要了，让我把押金退给他，我不同意，他就去工商告我了，这种情况我会收到处罚吗