交通事故责任认定书下来以后调解不成的，可以直接起诉。交通事故责任认定书下来以后，如果不服事故责任认定，在收到认定书的三日内，可以申请复核。 交通事故人身损害赔偿的诉讼时效是一年，应该从接到事故认定书次日开始计算，但是如果申请了交通队调解或者对方一直在支付费用，处在协商解决过程中时效可以中断，但是要有证据，如果掌握不好，很可能超过诉讼时效。而且从执行方面考虑，还是应该治疗终结后尽快起诉。