根据我国《土地管理法》的规定，任何单位和个人不得侵占或者非法占用耕地。在您的情况下，如果修路过程中确实造成了您祖上茶园的损失，您可以向相关部门反映情况，申请赔偿或补偿。同时，如果您认为村委和乡政府的行为侵犯了您的合法权益，也可以寻求法律援助，维护自己的权益。建议您及时与律师沟通，以获取更专业的法律意见和帮助。