我现在买房是跟产权人的代理人签的合同，产权人跟代理人之间还没有签代理授权书。然后我签完合同后发现首付款在约定的时间无法凑齐。现在在产权人跟代理人签代理授权书之前正式通知代理人因为首付不够希望取消合同。请问这样我是否要负法律责任？