根据您的描述，您已经进行了事故处理，并且已经与对方达成协议并支付了相应的赔偿款。在这种情况下，保险公司通常不会基于缺乏交通事故责任认定书作为拒赔理由。 然而，在某些情况下，如果保险公司认为存在欺诈行为或者违反合同约定的行为，他们有权拒绝赔偿。例如，如果您在事故中故意逃避责任或者试图隐瞒事实，这可能会导致保险公司拒绝赔偿。此外，如果事故中的车辆是租借或抵押的，保险公司可能也会要求提供租赁合同或其他证明文件。 因此，建议您保留所有与事故相关的证据和沟通记录，以便将来应对任何潜在的纠纷。同时，您可以考虑聘请一位经验丰富的法律顾问，以确保您的权益得到保护。