我老爸在十年和本村村民交换人口土地农作，有手拟合同双方都有签名按手指紋，十年之间双方当事人都相继去世，然后土地交换农作已经到期向对方索要回人口土地，对方借为由双方当事人已经去世为由罢占人口土地不还，向本村大队反应也不给于处理，请问这一种情况下要怎么办