在处理交通事故时，通常需要由相关人员（如交警）参与。如果家属希望司机不参加协商或调解，那么他们应该与相关的交通管理部门联系，并按照相关程序进行。在这种情况下，司机可能无法参与，因为这可能违反了交通安全法的规定。 如果您遇到类似的情况，请务必遵循当地的法律规定和程序，以确保安全和公正的处理。同时，也请考虑其他可能的解决方案，例如通过法律途径寻求赔偿或其他解决方法。