您好！请问我和邻居互换土地纠纷，当时只口头协议没立字据，现在他家把我的土地全霸占不给，而且离我家墙壁只有二十公分左右，我家是泥墙房，对方现在建房地势浮得比我家高，村干部调解无效，请问我该么办。