二手房居间合同纠纷，代父亲与买家在中介签订卖房合约（无书面授权协议），收2万定金，约定两月内一次性付款，现一个月过去，买家没钱，父亲急等卖房筹钱，有第三方愿意买，现和原买家商议后，定金双倍返回，解除协议，但中介要我们付双方的中介费用。能否以我无权代理为由声明合同无效，不付中介费用