根据法律规定，如果您与对方就交通事故达成赔偿协议，并且该协议得到了交警部门的认可，您可以依据协议要求对方履行赔偿义务。然而，在您没有得到对方的书面同意的情况下，您不能直接将事故责任单作为诉讼依据来起诉对方。此外，即使您已与保险公司签订了保险合同并完成了车辆定损，也不意味着保险公司会自动承担您的全部损失。因此，建议您先与对方协商解决赔偿事宜，或者寻求其他途径解决问题。在任何情况下，都应确保所有行动均符合当地的法律法规。