我帮我哥哥管理我哥哥的土地，然后某王姓村民主动上门让我跟他交换我正在管理的我哥哥的土地，土地交换之后，王姓村民拒不承认交换土地的事实，并且强占我哥哥的土地并收回他自己已交换的土地，我该怎么办？