去年在老家交谈和别人对换土地，但是因为我们也要和别人去对换，才能和他换，当时是和他说了，如果我们和别人对成了，然后再换给他，但是后工人和邻居没对成，只是没及时告和他，当时我们没有签字合同之类的，前几天他没有经过我们的同意，在我家的土地里栽了树，我还是通过我的亲戚才知道他在我家土里种了树，我打电话和他沟通，要他去把树扯掉，他竟然要我赔偿他400块钱的损失，像这种情况，我该怎么维护自己的利益？