您好，我的老公年轻的时候有一些不三不四的朋友，当时他们还合伙骗了我老公一笔钱，后来我老公知道真相以后找了一个表哥逼着他们给我老公谢了欠条，后来那些不三不四的人因为合同诈骗，抢劫等罪过做监狱了，现在他们刑满释放了，又反咬我们一口说我老公欠他钱，并且找一些不认识的人来家里敲门试探我们在不在家，像这种无赖我们应该怎么对付