我在红星美凯龙订一家窗帘店里订了窗帘，没有选款颜色，上门设计量尺什么服务都没有，只是交了钱，全款，一周后去店面退款，商家同意了，但是一直都是回复说，钱已经打到厂家，等厂家给他们退款完了给我退，过了半年了还是这样，我打了315投诉后，给我说4月底退款，结果还是没有退，5月后又联系刚开始说退，后面又说是让我付20%的违约金，沟通后又变成10%，当时退单的时候没有提到，半年内在此之间的交流过程中一直没有提到过违约金的事，微信和店员交流的时候提到的退款金额也一直全款，我现在是不接受让我付违约金，想问一下在这件事我有责任吗，要付违约金吗？