您好我是11月3号通过中介购买了一套130万的二手房，合同上违约金是25万，明年1月15号付他全款。我当时只交了两万的定金，我现在不要这个房子了，定金我也不要了，但房东不给我们解除合同，还要求我们给他一些违约金，不然就让我们去告他，请问我该怎么做