我和老公发生矛盾一气之下便出门打工，出来没多久，谣言四起，说他找小三，我没有确凿的证据，此事就这样不了了之。后来他以婆婆即将离世为由把我骗回家，得知他行为后，做完秋收后，我便又到市里打工，期间我每个月假期都回家看孩子，他便说我是在伤害孩子，回到家还对我不理不睬，间接性的不准我去看孩子。慢慢的我也就很少回去了，后来没多久，谣言再次传出，他又找了个女朋友，传得沸沸扬扬，我四处打听，找到了那女的照片。他把女人带回家还有个小孩，还让我小孩叫那女的妈妈，大儿子懂事了不肯叫，小儿子还小叫了，这事我儿子告诉我的。因为我证据不足所以离婚一事也只能一拖再拖，在此请求律师能给我出出主意，我该怎么办？我要离婚。