我是靠打工吃饭的，丈夫也是工厂的工人。去年，他单位效益不怎么好，他出去开始借钱赌博，买彩票，我劝他好好找份工作，他不听我说，越搞越大，借钱成了习惯，天天就想靠买彩票中奖，每天几乎就是研究彩票。现在他没地方借了，前债要还，逼着我去借了几万块钱。我被他搞糊涂了，现在，我的几万也还进去了，还是有人要债。现在，我想问的问题是，我现在要和他离婚，他也不离，我想离开解脱出来，离开他给我带来的钱财和精神上的伤害。我改怎么办？