农村自用地交换，我们还补偿了1000块钱，我们房子修建十年了，四年前拿到房产证和土地使用证，挑换的土地他也一直用着，现在国家要占用土地，现在他说土地属于他，由于没有纸质协定，法律怎么判别这件事，土地属于我们嘛？