我们几个劳务工在一个小区给一个老板安装门窗，最后扣下我们五百多块钱找各种理由不给我们，我们去了两次都给他维修了，他还是不给，当时我们第一天去给他干活的时候他无意中跟我们说的他用的门窗配件是高仿的不是正品，有的胶也是以次充好的，一直不给我们钱，我同事一气之下就在我们干活小区的微信群里面说他用的门窗配件不是正品胶也是以次充好，结果有几个找那个老板做窗子的业主交了定金的就都要回去了给他造成了一定的损失，他说要起诉我们，我们该怎么办谢谢