我在闲鱼出售了两张专辑小卡，寄出六天后没有物流，联系快递公司48小时后快递公司确认丢件，让我签署赔付协议后赔偿了专辑原价金额后我将小卡钱退还给买家。距离快递寄出十天后物流突然恢复正常，买家签收了快递。现在快递公司联系我将赔偿款退回，应该吗？