我在天猫上买了一个浴室柜，卖家没按约定时间48小时内发货，因为急着要我就退款了，然后实体店买了浴室柜，回来之后发现卖家拒绝退款又把货给发了，他说之前跟我有约定时间（卖家说的是这两天发货），请问应该是谁的责任