我在异地买了两套房，第二套房，卖当人答应给我每平米少一百我才买的，付首付款时，对方已高出给我的价格80元一平米，让我付了首付款，说以后以现金形式返还给我，并且写了个欠条，刚好一个月，我过来办理合同并交契税，我出示欠条，让他付钱给我，他说银行免签通过再给我(银行面签我还少一个证明)搞得我也没交契税，请问卖房人合理吗？我又应该怎样维权？