在交通事故中，如果驾驶员没有得到受害人家属的书面同意就将车辆扣留，这可能违反了相关法律规定。在这种情况下，受害人有权要求赔偿损失，并且有权要求驾驶员归还车辆。 首先，根据《道路交通安全法》第76条的规定，机动车发生交通事故造成人身伤亡或者财产损失的，驾驶人应当依法承担赔偿责任。这意味着，即使受害者家属拒绝签字，也不能免除驾驶员的赔偿责任。 其次，根据《道路交通事故处理程序规定》第39条规定，当事人对损害赔偿有争议的，可以请求公安机关交通管理部门调解，也可以直接向人民法院提起民事诉讼。因此，在事故处理过程中，受害人有权通过调解或诉讼方式要求赔偿。 最后，根据《中华人民共和国道路交通安全法》第一百一十条的规定，驾驶人在道路上醉酒驾驶机动车的，由公安机关交通管理部门约束至酒醒，吊销机动车驾驶证，依法追究刑事责任；五年内不得重新取得机动车驾驶证。这说明，如果驾驶员在事故发生后饮酒驾车，不仅需要承担相应的法律责任，还可能会面临刑事处罚。 综上所述，除非受害者家属明确表示放弃赔偿请求，否则驾驶员应尽快将车辆交还给受害者，以避免进一步的纠纷和法律风险。