我买了一套房子。对方有贷款。现在中介竟然让我拿钱给他解押。我交了一万元定金。当时签的是贷款买房合同。中介说如果贷款你交了首付，他就拿这笔钱给房主解押了。现在我想付全款。中介说可以，但是先给房主解押。我不同意怎么办。我想问我有义务给他解押吗？如果我不给他解押，他说算我违约。