结婚半年老公在外有外遇了一直不回家要跟我离婚，有证据，到现在快一年时间了，目前他们村拆迁了，按人头47万，双方都想离婚，一家人一天什么事都不干就等拆迁款，公公找各种借口不想给我那份钱，还要扣结婚时的彩礼，真的是对他家这种人无语，我现在想离婚要回属于我那份拆迁款尽快跟他们脱离关系，应该怎么办呀？