你好！我们在中介的带领下买了一套二手房，当时交了一万元买房定金，中介全部收下，称替卖方保管，中间不到一星期，正准备去银行进行面签，中介打来电话，卖方不卖了，这时我们想着不卖就不买了，只要要回来定金就行，可是中介以要起诉卖方为由，不退我们定金，卖方和我们已经达成自愿解除合同的协议，并承诺双方不会再有交易，中介一直压着我们的定金，说合同到期以后起诉卖方了，再退我们定金，我的定金能要回来吗?