根据《中华人民共和国民法典》的规定，如果在订立合同后，由于对方违约导致合同无法履行或者部分无法履行，买方有权要求对方退还已支付的款项，并且可以要求对方承担相应的违约责任。然而，在本案中，你提到的工厂已经将货物交付给了买家，而买家也收到了这些货物。因此，从逻辑上来说，卖家不应该退款。 但是，这并不意味着卖家没有义务。如果卖方能够证明货物存在质量问题或不符合合同约定的标准，那么买家可能需要承担一部分责任。例如，如果货物是按照特定标准生产的，但买家收到的货物与该标准不符，买家可能需要为此承担责任。 此外，如果你认为卖家未能按照合同规定的时间和方式交付货物，那么你也应该追究其责任。例如，如果你在约定时间内没有收到货物，你应该向卖家提出索赔。 总之，这个问题需要仔细考虑并寻求专业的法律意见，以便确定最佳解决方案。