离婚前男方在我不知情的情况下借了很多钱，离婚后男方的债主经常给我打电话向我追问男方的联系方式，有时还有点威胁我，向我要钱，离婚时在离婚书上明确表明男方的一切债务与我无关，由男方自己承担，对于男方的债主我该怎么办？