您好，我家情况是这样的，在我三岁的时候我爸妈带着我和我哥就给别人（现在村里的爷爷）当儿子了，姓了人家的姓了，也在本村批下了宅基地盖了房子，但是当时我爸妈给了爷爷2000块，当时爷爷什么也没管，也没花钱也没帮忙，在我19岁的时候爸爸意外去世了，本村的爷爷还要了两万块钱（当时是说认儿子就是为了养老但是我爸不在了，还问我妈要了两万块养老钱），后来因为我爸也不在了，关系也不是特别亲走动的就少了。可是现在他找到我哥说要求赡养（他有亲生女儿），如果不管他就说就会要回房子，说这个村也不要我们了（村里过节会发福利），像这种情况我们应该怎么做？