买二手房，卖房者是贷款房。两家商议帮他先走还贷款拿房产证程序。卖房者和买房者合同规定首付款34.6万，于7月10号之前过户。其中20万用于还卖房者的房贷，另外的14.6万放在国家规定的银行托管。过户当天，卖房者不同意将14.6万元放于银行托管系统，要自己得到，要么就要求买家额外再拿14.6万出来。买房者不同意。过了一天，买房者筹够了14.6万，卖房者说过了日子，不去过去，并且要追究买房者违约责任。请问哪方违约？资金托管的14万6部分算首付款么？