我爸在1996年在桂平岭头村从当地村民买了一块140多平方的地，当时是和另外一个人卢某，一起买的，总面积260多平，其中140平是我爸爸买的，我们两家当时买这块地都是用来酿酒和养猪，1999年由于经营不善，我爸就带我们全家人去了广东打工，那房子就一直空置着了！到了今年我爸想回来养老了，却发现房子被这个卢某人出租给了别人做生意，我们上个星期有和这个卢某人交涉，让其归还房子的使用权，这个卢某人表示20年来帮忙管理了我家的房子和装修，要我们补偿20万才可以归还，我现在想咨询怎么处理！