请了一个律师代理处理一个民间借贷的官司，我们赢了，律师费4000元，然后被告又上访了，我们继续清这个律师继续代理，但是因为那边没有交诉讼费，法院不受理，就把这个案子给撤销了，我们还是给律师4000元，这种情况下律师费应该退我们多少？只和律师办了个委托协议，别的什么都没有做