老师您好！首先感谢您对我的帮助!我经过房屋中介买了一套房，经中介介绍，我与卖方达成了一个房屋购买合同，大概意思就是:这套楼房114平方，成交价六十六万，先付给卖方十八万，剩余款等房产证下来后，我再贷款全部付给他，结果房产证按预算时间一直没能办理，现在，还没时候，对方让中介公司传给我话说，让我把余款全付给他，我不愿意，按我们合同是什么时候房产证能办什么时候我给他付余下的钱，他不愿意，要不，就不卖了，请问老师，我该如何是好?