村里因工程破坏耕地未恢复，每年按300一亩赔偿青苗费，现又因公用地，未经我同意就在此地建五保居住点，本人找村里要求赔偿，但他以我每年领取的青苗费为由说我没有管理权了，拒不赔偿。此地我有土地证，请问村里这种说法合理吗.