您有权要求对方赔偿因车辆损坏所造成的损失，并且在您的情况下，您可以选择立即离开现场并通知保险公司处理后续事宜。如果对方坚持要您先将车开走，建议您保留证据（如照片或视频），并与对方进行沟通以了解其计划，同时考虑是否可以寻求第三方调解或仲裁机构的帮助来解决纠纷。请注意，在任何情况下，应确保安全，并遵循当地的交通法规和规定。