你好，我家的土地十几年前卖给同村人盖房子（但土地产权仍是我家的）第二年政府征地（但未使用到这块土地，因此他们仍有十几年的使用）有一笔五万多赔偿款，但对方因为是村官，扣留这笔补偿款十几年，认为这笔补偿款应归他们所有。现在提出要解决，表示愿意将补偿款给我们，但我们需要归还当初他向我们购买土地的两万多块。 所以，这笔补偿款到底应该归谁所有？