我是个包工头，去年用一批人，其中一个人品非常差，在工期间挑拨离间还让我损失不少，就被我赶走了，完工后，我给工人们打了欠条，到现在都还完钱了，欠条也没了，昨天那个被赶走的拿着录音上诉法庭了，录音内容是我答应说等上面给钱就给你 我该怎么反回来呢