8年前，买房人来买我家房子，交了一部分房款，后来他说自己没钱买了，之前交的钱也不要了，8年了，前几天买房人去世了，她媳妇昨天联系我说要要回之前给我的房款，问一下，这个钱我应该退回么？