爸妈离婚后我被判给我爸，后来我属于亲生父母的家每个地方偶尔住一段时间的，我妈家也有我的房间，现在妈妈和继父结婚，继父有权利把我赶出妈妈的家吗，他说法院判给我爸了我就不是这个家的人了，还说这个家跟我没关系，请问他有这样的权利吗？他说的话在法律上是不是真的是对的