通过中介买了一手楼，当时中介写了承诺书（开发商结佣金后以转账方式给我**元）。但是从头到尾都没有提起过开发票的税额由谁承担。现在中介赖帐，说开发票税太高了，做我这笔单没钱挣。要求我自己承担开票税额。要不然拿不到当时承诺的佣金。请问我该怎么拿回这笔钱？我必须要缴纳开票税吗？