本人有一辆货车，雇请了一位驾驶员，他用我的车子去拉私活，结到了运费不上交，运费金额已经大于了他的工资，因此扣除了他的工资，扣除了之后还有剩余运费应该上交，太但是他拒绝，且多次不按要求做，就解雇了他，但是他以我不付他的工资为理由把车钥匙给扣留拒不归还，导致了我的车辆无法运营，停了23天时间，这23天的损失我可以让他赔偿吗