您好！根据我国《土地管理法》的规定，如果您是该地区的合法土地使用者，并且持有有效的土地使用证，则您有权在此地进行建设活动。如果您的土地使用权已经被收回，那么您需要向政府申请重新获得土地使用权。 另外，由于您已经居住了二十年，您可以考虑通过诉讼方式解决与土地管理局之间的争议。具体而言，您可以请求法院确认您的土地使用权，并要求土地管理局停止对您的干涉。 最后，建议您咨询专业的律师，以获取更具体的法律意见和帮助。