你好， 96年我姨夫把一个八亩的鱼塘给我们，让我们把老家地和房都丢了（口头协议以后不要回鱼塘了）这两年因经济发展，地址靠近市区，有了升值空间，他今年又想要回。地是村里的，当时是租包鱼塘性质，合同是他和村里签的，他要强势要回。我们这些年在鱼塘边经营，种了些树和盖了几间房（当时是养鸭了的）。还有把鱼塘四周做了硬化护坡。现在他想要回，不想陪偿，我们应该怎么办，想咨询一下