房产中介带我们坐车去看楼，去到给他们煽动下定金买了一间公寓，他当时说公寓跟商品房是一模一样的就是叫法不同，回来才知道公寓买卖税差很远，当时下的定金是他借我的，签了房屋买卖认定书，现在我想不买了会负法律责任吗