我几年前卖了一套房，当时因为这个房子的政府搬迁户，这个房子房产证没有办下来，我们在政府只是更改了一下名字。现在政府要退当时我交的契税，以后办理房产证的时候让个人交。我想问一下，这部分钱应该退给我，还是退给后来的买主？