我的父亲在我6岁时候死了，留下我妈妈.我和妹妹还有当时我们一家住的房子，我有个伯伯，父亲没死的时候分家让我爷爷轮流每家住10年。我父亲死后我妈改嫁到同村，因为要给父亲留下血脉，没让我改姓。但由于我当时还小，妈妈把我带在身边抚养，户口跟着我爷爷。我父亲死了23年，爷爷一直住在我家。我嫁人户口迁到老公家里，房子要确权，爷爷要把我家当时住的房给我伯伯，请问这样合理吗？我可以要回房子吗？