我是个体工商户，主营农作物种子。我买了52号辣椒种300包，子弹头辣椒种200包，和卖家口头约定，销售后剩余的种子由卖家统一返还公司处理，并与我多退少补，我前面通过微信与卖家确定了退货，到今日卖家告诉我已经退不了了，其他的已经退回公司了，这些种子留着对我也是损失，这个损失应该由谁来负责？