您好，事情是这样的:现在我们村里给了一批扶贫项目，国家盖房子给村里人搬迁到镇上，全村抽了几家贫困户，其中有我家。可当时家里只有我爸爸一个人在家（我妈妈早年就不在了），我和姐姐的外出打工了，当时村干部说每家要出一万块钱，我爸也联系不上我们，他拿不出来着急。这个时候我堂叔诱偏我爸爸说:“你家拿不出钱来房子将不属于你们，我们是一个村的又是亲戚关系，被村干部他们转给别人可惜了，不如就给我，那一万块钱我去交，然后又给了我爸爸一千块钱，结果我爸爸答应了”。（房子的所有手续但是我爸爸办的，）可是这个事情后来我知道了，我就回来跟我堂叔要回房子，我答应堂叔退还他交的一万块钱，堂叔死活不乐意，请问这个事情该怎么办