您好！首先，根据《中华人民共和国土地管理法》规定，任何单位和个人未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地；对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；对擅自改变土地用途的，限期改正；逾期不改正的，由县级以上人民政府无偿收回土地使用权；该法还规定了非法占地行为的法律责任。 其次，《最高人民法院关于审理涉及农村集体土地行政案件若干问题的规定》中也明确指出，对于因征收、征用、占用等国家行为导致农村集体经济组织成员的合法权益受损提起诉讼的，人民法院应当依法受理。因此，在您的情况下，如果村里的干部声称您非法占地，并且拒绝给您赔偿，您可以向当地的国土资源管理部门申请进行实地调查，以确定是否存在非法占地的情况。同时，您也可以寻求法律援助，通过法院提起民事诉讼，要求村委会或政府赔偿您的损失。