我家是农村的，房子当时是从别人那里买来的，同时旁边还有菜园一块，但是土地使用权这一块当时没有买来，房子到现在使用已经超过20年了。现在有人想要拿菜园做房子，说土地是他们的，我家人不同意，事情怎么办？