结婚三年多，没有孩子，基本没进行过夫妻生活，他家人还各种借口问我家借了几万块，不换还，女方现在也半年没在我家住了，我现在想离婚，但她两个哥哥都有黑社会背景，恐吓过我家里人，我要怎么办