律师，您好！我和我老公结婚13年。婚后由于两次宫外孕导致我无法正常怀孕。08年年底我们去领养了一个女婴，今年9岁。婚后我发现他大男子主义，以自己和他的父母为中心，别人一概不放在眼里。一年到头看不到他一分钱，即使你生病也是如此。他哥打工一年赚的钱还不够他哥还赌债，他嫂子在外打工还要从家里寄钱去给她用。我想离婚。和他渉商，他答应离婚，但前提是我离婚后不允许来看望小孩。律师，我该怎么办？