我是男方，女方与我结婚1个月就离家出走不与我共同生活，而且女方婚前怀孕婚后做了人流并不是怀的男方的，女方离家出走时卷走男方的钱财造成男方家庭非常困难。后来男方起诉离婚并要求女方返还彩礼，但是地方法院判决不准离婚，女方逃走卷走了钱财法院还不准离婚，该怎么办？