首先，需要明确的是，如果在没有得到允许的情况下，在他人所有或控制的土地上进行任何活动，都可能构成侵权行为。 在这种情况下，如果你和你的家人无意中损坏了别人的荔枝树，那么根据法律规定，你们可能会被要求赔偿损失。不过，具体情况需要依据当地的法律法规来确定。通常来说，如果对方能够证明他们的荔枝树受到了损害，并且该损害是由于你和其他人的行为导致的，那么他们有权要求赔偿。 然而，需要注意的是，如果有人故意破坏他人的财产，或者使用暴力或其他非法手段获取财物，则这种行为不仅不道德，而且违反法律，应当受到相应的惩罚。因此，在处理这类纠纷时，一定要确保自己的行为符合法律的规定。 最后，建议你在处理此类问题之前，先仔细阅读当地的相关法规，了解具体的法律责任和赔偿标准。同时，也可以考虑寻求专业的法律帮助，以获得更好的解决方案。