我家的一处房子卖给了乙方，昨天把房钥匙给乙方后乙方硬要说我家把原本车库里的壁挂式空调偷换了，现在吵着要把剩余的钱扣掉不付给我们（大概2万元），在房产中介、我们原本的小区里到处说我家人坏话。事实我们没有换过空调（在没卖给乙方之前车库的空调是从小房间拆过去的，所以安装的螺丝什么是新的，小房间里的空调是新的，是不是可以找下当时帮我们安装空调的师傅或纪录来证明我家没换过）。想问下这个能告他们诽谤罪吗？如果可以要如何操作？证据要怎么收集？