你好，一位施工队老板租我家房子，租期到了。利用与我家属认识的关系开玩笑找我家要两根红桔树。没有通知我当家人。我现在桔子树不能给他。没有经过我允许。要求归还树木，因为是经济树，也可以说是风景树，结的果子是可以吃的，挖树人不愿意归还。怎么办？