中介公司提出两个解决方案，第一个方案是取消交易，第二方案是车房砌上墙，隔开来。购房如此不愉快，因此今天8月2我们决定取消交易，但是中介公司说卖家没有错，取消交易2万定金不退回，还说怪我们买家不够精明。取消交易是中介提出来的，怎么变成我单方违约呢？尊敬的律师，请问我这时该怎么办，我不想买这房了，请问我该怎样拿回2万定金？十分感谢！