根据《中华人民共和国土地管理法》规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状；对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；对不符合土地利用总体规划的，限期拆除，在非法占用的土地上新建的建筑物和其他设施不得享受国家政策扶持。因此，如果村民与村委会签订的口头协议没有得到相关部门的认可，村委会无权擅自改变其用途，且未经审批的违法占地行为应被依法处理。 关于收回耕地的问题，首先需要确认是否已经取得合法的使用许可。若未取得许可，则属于违法行为，村委会有权要求停止侵权行为，并申请相关部门进行查处。若已取得许可，村委会应当遵守相关法律规定，按照规定程序办理变更手续后，才能要求收回耕地。 建议您及时联系当地自然资源管理部门或村委会，详细了解具体情况，并寻求专业的法律意见，以确保您的权益得到有效保护。同时，注意保存好相关的证据材料，以便后续维权时提供支持。