通过中介买一套二手房，交了2万押金给中介暂存。第一次签协议时，就把卖方家里要留的家电写进合同里了。约好2月5号交首付，当日签合同时，中介告知卖方按其中介公司流程要交5千元房管押金，保证过户时要留的家电数量对无损坏。卖家却拒不交。理由是第一次协议时中介没提这5千。要交只交5百。中介却让我们买家让步，那些家电起码要值几万，500我们肯定不同意。僵持不下，中介调节不好，之后双方情绪比较激动。我家人就说卖方如果不交这部分押金我们就不要房子，然后卖方却把所有合同都撕了走了。过后我们问中介退2万押金，中介却说已经产生费用，而且卖方是因买方先说不要才不卖，让我们交齐费用才退回2万押金。请告我们应该怎样处理。