您好，我是一名联合割麦子司机，去外地割麦子，但是车需要大车运输，再去外地的路上大车遇上交警，罚款600元扣6分。但是司机让我们赔给他，但是我们付着运费了，所以我们拒绝赔偿，司机一直扣着我们的车五天不能让我们割麦子工作，今天司机偷偷开车拉车回来了，我们不知道司机跑哪里了？请问我们该怎么办？