我妈的弟弟赌徒，一直在我家，在外面还有高利贷，家里有一个鸭脖店，前几天还把营业执照给偷走抵押了，我家还为了给他还高利贷借了很多钱。高利贷说了，如果他弟弟走了，遭罪的就是我们家。我们家就是想和我妈弟弟断绝关系，怎么办啊？