我们县有个快递总代理，我从他那里签合同做的我们县的快递分代理，当时签的是一年时间，押金五千，说好押金到不做的时候会退。一年过后因为彼此比较熟悉了，他没有提出续签合同的事情，就这样没签合同又做了两年。现在我需要用钱，不想做了，他也同意退，但是说要等明年再给，而且时间不确定，说到明年再看。我感觉他有点故意拖时间，而且他的快递现在一直在转让，我比较着急把我之前的押金要回来。想问下这种情况是全部是他的责任还是也有我的责任？