根据法律规定，土地被征收后，应当按照国家规定的标准给予相应的补偿。如果土地上的附属物（如树木）因非故意行为而受到损害，有权要求赔偿。因此，在这种情况下，您可以要求负责单位赔偿您因为附属物的损失所造成的经济损失。 如果您认为对方的行为是非法的或不道德的，可以考虑向当地人民法院提起诉讼，以维护您的合法权益。同时，建议您保留与赔偿相关的所有证据，包括但不限于照片、视频等，以便于证明自己的主张和要求得到合理的赔偿。