我在西双版纳自己村里的土地因要盖房需要钱就把一部分土地卖给了他人签了合同但后来得知土地是不能变卖的，就双方口头答应，土地就当给他使用十年时间，有钱就把土地拿回来，期间他们自己盖了仓库租与他人收了租金，可是十年前两万元卖与他，现在要拿回来他要十几万，他说按合同办事，意思就是想拿回来就相当于从他手里买回来价钱他自己想定多少定多少，那口头约定都不做数了，该怎么办呢？