在交通事故中，责任认定书是由公安机关交通管理部门根据现场勘查和调查取证结果作出的。这一步骤通常是在事故发生后由交警队进行的，并且需要受害者本人（即受害人）签字确认。 如果受害者不同意责任认定书的内容或认为其不公正，他们有权拒绝签字并要求重新评估或复议。然而，在这种情况下，他们无法自行将车辆移走，因为这是基于警方的决定，而他们没有实际的权利去移动车辆。 在遇到这种情况时，受害者应该寻求法律援助，以便了解他们的权利和可能采取的行动。此外，如果双方未能达成协议，则可以考虑通过法院诉讼来解决争议。在这种情况下，受害者应首先与对方协商，以确定是否愿意调解，或者是否有足够的证据支持他们对事故的责任。 请注意，上述信息仅供参考，具体情况应在专业人士指导下做出决策。