您的情况涉及宅基地使用权的问题。根据中国法律规定，宅基地使用权是基于农村集体经济组织成员的身份而产生的土地使用权利。如果您在二十年前未取得合法的宅基地使用权，那么您可能不具备对被占用土地的使用权。 关于是否需要退让以及如何处理这个问题，具体取决于当地的具体法律法规和政策规定。一般来说，在不违反国家土地管理法的前提下，如果对方主张的权利有法律依据，您可以考虑协商解决或者通过诉讼等方式维护自己的权益。同时，也建议您咨询当地的法律专业人士以获取更准确的法律意见。