根据法律规定，遗产继承一般遵循的原则是“法定继承”，即按照被继承人的遗嘱或法律规定来确定继承人。在您的情况下，您爷爷遗留下来的房屋应当由他的法定继承人继承。 由于您和您的家人已经明确表示不愿意购买该房屋，并且该房屋在您父亲去世后已经由他名下登记为您的家庭成员所有，因此这应该被视为一种有效的放弃继承权的行为。这意味着您有权要求将房屋归还给您或者您的家庭成员，而不必担心任何法律纠纷。 当然，在实际操作中，您可能需要考虑一些额外的因素，例如是否还有其他继承人存在，以及是否有其他的法律规定或其他因素影响到这个问题。但是，从法律的角度来看，您有权利要求将该房屋归还给您或者您的家庭成员，而无需担心任何争议。