我的快递被退回且被人签收，在此之前快递已经到达了我这个地方的快递站点。且显示一直配送中，快递员称，在他们寄回快递前曾联系我去收件，可是本人实质上未接到电话。在这种情况下，该谁负责