你好，我和老公结婚十八年多了。当初什么都没有，可以说连饭都吃不起可我们一起走过来了。最近有一件闹心的事：就是当初我们修房的老屋基地是我老公他们三弟兄的，但当时我们要到外面（自已的地里）修，老人和小兄弟不让，要我们修在老屋基里，小兄弟说只要你们两个和和气气的修，我（小兄弟）的都不要了（没有开发之前那些房子不值钱），可事隔几年（六年），现在说我们家有可能要被国家征地，所以要我们各家分两间给他，他也没有与我和大婚说，天天就我老公一个人说，我真的很烦。我要和他离婚，这样的男人不要也吧。如果他不离我该怎么办