公公是我对象的继父，房子是我公公的，当时村里拆迁，公证处在我们村里集体办的，我老公当时还签了一个纸条，上面说的是我老公要以后给他养老送终，这个条件，才把房子过户给我老公的，已经六年了，要是现在我公公反悔想把房子要回去，我们是不是就要还回去？