对的，根据道路交通安全法第七十三条的规定，公安机关交通管理部门制作的交通事故认定书，作为处理交通事故案件的证据使用。因此，交通事故责任认定行为不属于具体行政行为，不能向人民法院提起行政诉讼。可以自道路交通事故认定书送达之日起三日内，向上一级公安机关交通管理部门提出书面复核申请。如果当事人对交通事故认定书牵连的民事赔偿不服的，可以向人民法院提起民事诉讼。