小王买了小李的房子，总价35万，小王先支付了20万，结果小李一直不过户，因为小李欠银行贷款12万，现在小王同意支付这12万银行贷款，小李也同意支付后过户，但在这个过程中，小王不断辱骂小李，小李想终止交易，请问这样合法么？