26年6月来自北大、厦门大学、韩国KAIST、台大、武汉大学、武汉理工、清华和福建厦门集美大学的论文“OMNIDRIVE: An LLM-choreographed Multi-agent World Model With Unified Latent Co-compression For Multi-view Driving Video Generation”。
面向自动驾驶的生成式世界模型面临两大未解难题：一是异构控制输入问题，即自由形式语言、高精地图、轨迹和相机位姿处于互不兼容的表征空间中；二是事后跨视角融合问题，即各相机的潜表征（latents）无法有效编码全局三维几何结构。这两者归结为同一根源：缺乏一种能在潜Token（latent-token）层面将语言、几何与像素对齐的共享符号化中间语言。为此，提出 OMNIDRIVE，这是一个由大语言模型（LLM）协同调度的多智体世界模型，它将可控多视角视频生成重新定义为一种“潜空间编排”过程。该模型由三个 Qwen2.5-VL 智体协同构建一个具备位置-觉察能力的单一 Token 序列：架构师（ARCHITECT）负责将用户意图解析为结构化的世界脚本（WORLDSCRIPT）；制图师（CARTOGRAPHER）将其映射为具有空间锚定属性的布局 Token；审计员（AUDITOR）则提供跨视角评估反馈作为辅助监督信号。该序列与多视角视频数据通过一种“视角-时间”置换机制进行联合压缩，从而在 3D 变分自编码器（VAE）的卷积感受野内强制建立相机间的几何约束。
如图1 所示OMNIDRIVE 架构概览。(a) 多智体主管（Multi-Agent Director）：架构师（ARCHITECT）将提示词解析为结构化的 WORLDSCRIPT；制图师（CARTOGRAPHER）渲染多相机布局；审核师（AUDITOR）生成跨视图评估意见。(b) 联合潜空间压缩（Latent Co-Compression）：利用具备“视图-块-觉察填充”（view-block-aware padding）特性的 3D VAE，对 RGB 帧与布局进行联合编码。© 协同编排的 MM-DiT：将联合压缩后的潜表示切分为图块（patch），并与由智体生成的语义、几何、时序及评估流拼接，构成驱动 MM-DiT 的统一 Token 序列。底部条形图展示位置 Token 的编码方案。生成过程通过修正流（rectified-flow）ODE 求解。
OMNIDRIVE 摒弃传统的“提示词（prompt）→ 编码器（encoder）”单体流水线，转而采用由三个紧密耦合的 Qwen2.5-VL 智体组成的系统，共同构建条件序列。至关重要的是，每个智体的输出都位于与视觉潜变量相同的空间位置网格中，这意味着这些智体不仅是在生成过程之前发挥作用，而是直接参与到生成过程之中。
智体 A —— ARCHITECT。给定自由形式的用户提示p_usr（以及可选的多视图参考图像），ARCHITECT 执行结构化信息提取 [28, 58]，生成长度受限的 WORLDSCRIPT JSON。
ARCHITECT 模型在元提示（meta-prompt）m 的约束下运行，该提示固定 JSON 键（keys）及值（values）的词汇表，从而确保 Token 边界的确定性。利用冻结参数的 Qwen2.5-VL 文本头（text head）对渲染后的文本进行嵌入，随后通过线性投影 W_txt 处理，得到 C^sem。
智体 B —— 制图器（CARTOGRAPHER）。制图器将WORLDSCRIPT转化为几何形式。针对每一对 (n, t)，它会以程序化方式渲染出一张稀疏布局图像 Igeo_n,t，其中包含：(a) 基于相机 n 的外参，利用固定的类别颜色表（即车道、可行驶区域、人行横道等）将高精地图（HD-map）栅格化；(b) 利用投影函数 π(K_n, R_n, t_n, b_k) 将每个 3D 边框 b_k 投影到图像上，并绘制带有类别编码轮廓线的边框；© 绘制自车轨迹带 E_ego。完整的图像集合 {Igeo_n,t} 经历与 RGB 视频流相同的“视角-时间”排列变换，并生成几何 Token 序列 Cgeo，其索引方式与视觉 Token 序列 X 一致。相机外参 (R_n, t_n) 被表征为 6 维 Plücker 射线，经由双层 MLP 嵌入为每个相机对应的一个单一 Token ccam_n，并最终与 Csem拼接在一起。
智体 C —— 评估器（AUDITOR）。在训练阶段，每生成一个扩散样本后，评估者会接收解码后的多视角裁剪图像以及WORLD-SCRIPT，并输出结构化评估结果 R = {(r_ij, a_ij)}_i<j；其中 r_ij 表示同一物理时刻下相机 i 与 j 之间的感知一致性得分，a_ij 标注主要的失效模式（例如：色彩漂移、重影、拓扑错位）。将 R 嵌入为评估token Crev，并增加一个辅助目标，引导 v_θ 向评估器的建议靠拢。在推理阶段，评估器可选择性地参与测试时校正：它对中间样本进行评分，若 r̄_ij < τ，则触发单次精修步骤。
这三个智体在 Token 坐标层面与扩散模型（diffuser）相绑定：C^geo 与 X 共享位置索引；C^rev 提供可微分的监督信号，该信号反向传播至 v_theta；而 C^sem 则位于同一坐标系下的偏移位置区域。移除其中任何一个智体，都会导致可控性或跨视图一致性显著下降。
潜联合压缩
表征基础的核心在于对 RGB 立方体和 CARTOGRAPHER 几何立方体联合施加的一种视点级（view-time）置换操作Π。置换的张量被输入到一个在通用视频 [23] 上预训练过的单一 3D VAE 编码器 E_phi 中（无需修改网络架构）；其中，仅对最后的残差块进行微调，而所有其他权重均直接迁移使用，因为置换操作 Π 仅仅改变索引的顺序。为了利用物理同步性，还在同一时刻捕获的不同视点间共享噪声终点，即 z^(n,t)_1 = z^(n’,t)_1；这在 s ≈1 时将跨视点光度方差降低一半，且不会限制渐近分布。
针对伪时间栈的三个常见理论问题，总结一下。(i) 感受野正确性：在最高分辨率下，宽度为 r_t = 3 的时间核始终小于 N = 6 个摄像头，并且通过可学习的、视图-块-觉察的填充算子 VBP(·) 来屏蔽跨越视图边界的权重。(ii) 方差缩减：当核触及 k ≤ r_t 个同一时刻的视图时，沿伪时间轴的平均池化会减少方差；(iii) Lipschitz 不变性：由于 Π是正交置换，因此 Lip(E_phi) 以及流形 M_z 上的修正流（rectified-flow）ODE 均得以保持。综合来看，这些特性使得 Π 在最差情况（视图不相关）下表现为恒等变换（no-op），而在典型情况（同一时刻视图共享全局语义）下则充当正则化项——这正是期望的行为。
MM-DiT 中的协同生成
协同压缩后的潜变量 z_0 经由 3D 卷积被切分为 Token 序列 X = {x_l}，其中每个 Token 均携带一个 3D RoPE 索引π(t, i, j)。随后，所有由智体（agent）生成的条件被拼接成一个单一的确定性序列 S。
在 MM-DiT 中，多模态注意机制通过引入可控偏置进行增强，该偏置仅应用于 X 与 Cgeo之间的跨模态模块（cross-block）。
通过将各种模态投影至统一的 Token 网格，并将几何 Token 绑定到像素坐标，将 K 分支交叉注意机制转化为具有显式位置对齐特性的单一自注意机制；该方法在 mIoU 指标上较 ControlNet 变体提升 5.6，较加性交叉注意提升 3.1。
训练与推理
训练过程结合条件流匹配（CFM）损失 L_CFM 与两个正则化项，即平滑项 L_sm 和审计损失 L_rev。
基于 SD3 [7] 进行初始化，并在 nuScenes [3] 数据集上进行训练，输入分辨率为 1280×880，序列长度为 32 帧，使用 32 块 H200 GPU。训练采用三阶段课程学习策略（仅语义 → +几何 → +审计，总计 800k 次迭代），逐步激活各条件输入流。在推理阶段，用 K=2 步 Heun 方法（预测-校正）对修正流（rectified-flow）ODE 进行积分（从 s=1 到 0）。“图像到视频”的条件生成任务被视为基于首帧多视图图像预测后续帧的过程——该模型并非自回归模型，也不采用流式 Token 处理方式。此外，采用一次性光度匹配（one-shot photometric matching）[41] 将重叠视场与 nuScenes 数据集中已标定的传感器偏移量进行对齐。
设置
仅使用 nuScenes [3] 数据集的 700 场景训练集（包含 6 个摄像头、12 Hz 插值、填补间隙后约 3 万个片段）进行训练，并在 150 场景验证集上进行评估。图像和视频层面的保真度评估遵循 VBench/VBench++/VBench-2.0 协议 [17, 18, 68]；多视图一致性按视图评分，并在对应时间戳处取平均值。
此外，引入两个位姿-觉察的指标：EPC（基于真值外参计算的对极光度误差）和 OFC（对极对应点上的 DINOv2 余弦相似度），并通过 BEVFormer [27] 的 mAP/mIoU 以及 VBench-2.0 的 Scene/AS [68] 指标来评估可控性。所有三个智体共用一个 Qwen2.5-VL-7B-Instruct [2] 服务器，分摊计算成本为 0.07 秒/样本。将本方法与 12 个已发表的基线模型 [4, 10, 11, 20, 21, 25, 34, 42, 51, 53, 56, 65] 进行了比较，并仅报告了在各基线模型既定分辨率和帧数设置下针对 6 摄像头的评估结果。
实现细节
ARCHITECT 将自由形式的用户提示词 p_usr（可选择搭配多视图参考图像）转换为长度受限的 WORLDSCRIPT JSON，以此驱动后续所有的生成过程。该组件具体实现为一个冻结参数的 Qwen2.5-VL-7B-Instruct [2] 模型，通过 vLLM 部署并采用严格确定性的解码策略（temperature=0、top_p=1、固定随机种子），从而确保相同的提示词始终生成相同的 WORLDSCRIPT，以保证结果的可复现性。
CARTOGRAPHER 负责将符号化表征 WORLDSCRIPT 转化为像素对齐的几何形态。针对每一组相机-时间对 (n,t)（其中 n {1, . . . , N} 且 t {1, . . . T}），它会渲染出一幅稀疏布局图像 I^geo_n,t。
AUDITOR 通过在训练期间提供跨视图的评估反馈信号，以及在推理阶段提供可选的修正操作，从而闭合智体交互回路。在每次扩散采样完成后，它会接收解码后的多视图裁剪图像及 WORLDSCRIPT，并生成结构化的评估结果 R = {(r_ij, a_ij)_i<j。
