我通过中介卖房，买家付了1万定金，1万我只拿了5000，还有5000压在中介那里。可是因为买家没有按照合同约定的时间进行，而且一直拖。所以现在我不卖给他了，但是我想把中介压的5000要回来，可是中介不愿意给我了。中介的意思他也不知道是谁违约了，中介还说无论谁违约他都有权扣这5000块钱