果树的归属取决于多种因素，包括但不限于土地使用权的性质、是否存在书面合同以及是否有约定或法律规定等。 在您提供的案例中，由于口头协议并没有形成正式的书面合同，因此果园的所有权可能仍然归您所有。然而，如果该果园的土地使用权是通过合法途径取得的，并且有相应的权利证书或其他证明文件支持，那么果园的使用权也可能属于承包方。 此外，根据《中华人民共和国农村土地承包法》的规定，承包期内，发包方不得收回承包地。除非存在法定情形，如土地承包经营权流转、承包人死亡或者丧失民事行为能力等原因导致承包关系终止，否则承包方有权继续使用承包地直至期限届满。 关于是否需要向法院提起诉讼以确认果园的所有权和使用权的问题，建议您与相关法律专家进行详细咨询，以便了解具体情况并作出最佳决策。同时，您可以考虑收集能够证明果园所有权和使用权的相关证据材料，以便在必要时提供有力的证据支持您的主张。