《中华人民共和国土地管理法》规定，农村和城市郊区的土地，除由法律规定属于国家所有的以外，属于农民集体所有；宅基地和自留地、自留山，也属于农民集体所有。农民集体所有的土地依法用于非农业建设的，由县级人民政府登记造册，核发证书，确认所有权。 集体土地流转是指集体土地使用权在集体经济组织内部进行转移的过程，包括土地承包经营权流转、家庭承包方式转包、互换、转让、出租等。根据《中华人民共和国农村土地承包法》的规定，任何单位和个人不得强迫或者阻碍承包方进行土地承包经营权的流转。 因此，如果村民委员会干部以“集体荒地”为由要求村民退出荒地并参与退耕还林工作，这可能涉及非法占用耕地的问题，违反了相关法律法规。同时，如果该行为与村民利益不符，也可能侵犯到村民的合法权益。建议您向当地相关部门了解情况，并寻求专业的法律帮助来解决这一问题。