根据您提供的情况，您的母亲没有将您和妹妹随她一起改嫁给她的丈夫，而是让她们跟随自己的父亲。因此，按照法律规定，您有权要求继承父亲留下的遗产，包括房屋等财产。 关于您提到的伯伯要求爷爷把房子转给他，这种行为是不合理的。由于您是父亲唯一的合法继承人，而且您的母亲也没有将您带走，因此您有权要求保留您父亲留下的所有遗产，并且这些遗产应该属于您一个人。如果您的伯伯坚持要改变现状，您可以考虑通过法律途径解决这个问题，例如申请法院判决或者仲裁等方式来保护自己的权益。