您好，根据我国相关法律规定，土地所有权是不可转移的。因此，您之前与对方达成的关于土地使用权交换的协议并不成立。如果该树已经长大并被他人合法购买，则您的权益将无法得到保障。 如果您认为自己有权要求对方赔偿损失或采取其他救济措施，请尽快联系当地人民法院提起诉讼，以维护自己的合法权益。同时，建议您收集好相关的证据材料，并尽量避免因纠纷导致的财产损失或其他不利影响。希望这些建议对您有所帮助。