我于2006年和所在村组全体村民以及村委会签订了一份协议1:购买村组70年代建成的，我1996就租赁的仓库3间、2:租赁仓库周围非农地非耕地（建设用地）700平米。用于建房生产经营、费用一次性付清。村委会收取5000管理费。2019年、几个村民举报我到国土局、国土局去村委会了解情况、和我们面谈要求罚款了事、罚款后、却下达裁定书、没收我所有房产（国土局知道3间仓库是我买的集体仓库）。由于我们疏忽没有及时行政复议、要求处罚中剔除我买的集体仓库。导致今年国土局裁定书送至法院、法院移交城建局要求拆除。现在我怎么样减少损失、以及可不可以起诉村委会、寻求赔偿？国土局是不是存在失职行为？谢谢