ERMV：面向具身智能的 4D 多视角机器人世界模型

Wed, 23 Jul 2025 12:41:11 +0000

示范数据很贵，可我们手里已经有了

视觉-语言-动作（Vision-Language-Action，VLA）模型在多视角图像序列上训练，每一帧都对应产生它的那个动作。采这类数据又慢又贵，而且扩不起来：一段操作序列就可能包含上千张图像，高质量专家示范的稀缺，是这些策略能否泛化到开放世界场景的主要限制之一。

这项工作的起点是一个观察：数据早就存在了，缺的是多样性。一段抓起盒子的示范教会了策略该怎么做，却只给出了这件事发生的那一个世界版本。如果策略见过的盒子永远只在那张桌子上、那个房间里，它没有任何理由迁移过去。

为了突破这一数据孤岛，具身智能亟需一个能够理解物理交互、保持多视角时空一致性、且严格遵循机器人动作规律的机器人世界模型（Robotic World Model）。如果世界模型能够以已有的高质量动作为条件，在保持物理交互过程绝对保真的前提下，推演生成不同场景外观、光照、背景的反事实世界状态，海量高价值的 VLA 训练数据就能够被成倍激活。

这正是 ERMV 的核心定位：构建一个动作与状态条件化的 4D 多视角机器人具身世界模型。它不仅仅是在做静态的画面编辑，而是把整条 4D 时空物理交互轨迹当作一个可控的状态转移流来建模。

这其中的核心挑战在于物理动作配对。一段真实的机器人示范不是普通的单视角视频，它是若干同步的高频相机视图，加上高精度的机械臂位姿状态和控制指令。一旦世界模型在生成推演时产生空间漂移、改变了相机的几何投影关系，或者破坏了机械臂与操作物体之间的物理接触因果，整段轨迹就变成了违背物理规律的错误示范。这种生成数据比数据稀缺更加致命。

查看原图 ↗

视觉变化在同步视图之间传播，而记录下来的动作保持不变。

现有生成式模型为什么建不好机器人世界

近年来，基于大算力的通用视频生成模型（如 Sora 等）展现出了惊人的视觉合成能力，也有不少研究尝试将其引入具身领域构建世界模型。然而，在机器人精细操作领域，通用的非条件视频生成或者自动驾驶环视世界模型根本无法直接迁移：

自动驾驶世界模型的刚性先验在机械臂操作中彻底失效：为自动驾驶设计的环视世界模型依赖于固定的车规相机阵列以及扁平的鸟瞰图（BEV）投影先验，跨视角注意力被硬编码在相邻相机的已知相对位置上。但机器人操作场景通常配备动态运动的腕部相机（Eye-in-Hand）与多路自由视角的第三人称相机，相机的相对位姿在毫秒级快速变化，刚性空间拓扑先验根本不复存在。
缺乏严格动作条件化（Action-Conditioning）的视频模型会发生物理幻觉：通用视频模型虽然能生成连贯画面，但无法把机器人末端执行器的物理位姿、关节转角和夹爪动作严格作为动力学控制条件。画面里的物体可能无缘无故位移、形变，甚至机械臂穿模或凭空抓起物体——这种生成视频对于端到端策略训练而言是致命的“毒药”。
逐帧单图修复（Inpainting）破坏 4D 时空连续性：单图增强方法虽然能换背景，但它完全丧失了时间维度与相机间的约束，生成出来的物体在不同视角之间“穿帮”，连续播放时剧烈闪烁。
静态 3D 重建难以表达高动态接触物理：基于 NeRF 或 3DGS 的静态重建虽然保住了多视角几何，但很难建模机械臂与非刚体、流体、小物体之间复杂的瞬态接触力学与遮挡关系，更无法应对高速运动产生的运动模糊。

具身智能真正需要的世界模型，必须是在机器人动作与运动状态强约束下、保证多相机视角几何一致、且能稳定进行长时程 4D 物理推演的生成系统。

难在哪里

相机阵列不是固定的。操作数据来自一个不断运动的、以自我为中心的多相机系统，任何依赖已知静态相机间几何的一致性机制到这里就失效了。

运动模糊破坏了我们本来可以依赖的几何。相机和物体同时在动，于是在一张模糊图像里沿精确极线采到的特征，未必对应真实的像素位置。让多视角注意力成立的那个约束，在运动条件下反而是错的。

误差会累积。编辑后的帧要作为历史喂回下一个窗口，小误差不会一直小下去。放到长时程上看，它表现为语义漂移和细节模糊。这个领域对误差的容忍度格外低，因为机械臂和被操作的物体必须在整段序列里保持一致。一旦不一致，这段序列不只是看上去不对，它不再是有效的训练数据。

算力上的矛盾是结构性的，不是偶发的小麻烦。长程记忆想要大一点的工作窗口，而在 L 个时间步、N 路视角的窗口上做密集注意力，又要吃掉一大块显存。我们希望它在一块消费级 GPU 上就能训练。

保住真正要紧的物体，没有便宜的解法。为被操作物体训练一个通用分割器不可行，因为这类物体种类繁杂，常常是从未见过的，还被以自我为中心的刁钻角度拍摄。对上万张图像逐帧人工标注，同样负担不起。

文本提示也缺少这个任务需要的粒度。让模型把背景换成办公室，颜色、房间类型、朝向全都没有定义，出来的结果还可能和机器人正在做的事情相冲突。

用机器人数据自带的结构

机器人数据的结构化程度好得少见。它自带标定过的相机、记录下来的相机位姿、记录下来的机器人状态，以及一个共享的时钟。我们的想法是，别再为编辑另造一套描述规范，直接把这套结构用起来，再加一张手工编辑的关键帧。

主相机的第一帧由图像修复模型或人工编辑，这张编辑后的图像就是视觉层面的规范。论文里叫它 blueprint（蓝图），这个词用得很准。颜色、布局、朝向它都表达得毫不含糊，一句话做不到这一点，而人只需要改一帧，不是上千帧。

从这套结构里引出两个设计决定，它们都在放宽约束，而不是去满足约束。

第一个关于极线几何。一个正在运动的夹爪被运动模糊在像素上抹开，由位姿算出的极线指向的是夹爪静止时应该在的位置。严格施加这个约束，匹配到的是错误的像素。所以我们把极线几何留作搜索结构，同时让模型去学那个偏移。一个小网络根据局部图像特征和运动条件预测运动造成的偏移，注意力沿着平移后的直线进行。约束是被放宽了，但没有被丢掉。

第二个关于注意力。密集时空注意力是维持序列一致性的默认做法，代价很高。支持我们不做它的那个领域观察是：在很多操作场景里背景基本静止，图像变化缓慢，需要靠密集机制去捕捉的帧间差异并不多。所以我们采样。

查看原图 ↗

固定预算的观测为整个窗口提供长程上下文。

稀疏上下文，以及把稀疏拿掉的东西还回去

稀疏时空上下文（Sparse Spatio-Temporal context）在一个滑动时间窗口上采样固定数量的一组图像，规模远小于完整的时间×视角网格。采样是随机的，这一点值得直说，不必往它身上安一个本来没有的智能。

真正起作用的在后半段。每张被采样的图像都带着自己原本的时间索引和相机索引，这些身份被显式编码成条件。下采样破坏了时空结构，于是我们把结构重新注入进去。三秒前的一帧仍然被标记为三秒前，它因此能贡献外观证据，又不会被误当成当前状态。这个想法很小，适用范围却很宽：对结构化数据做下采样时，把结构放回去。

还有第二个决定，把它和常见的自回归方案区分开来。采样得到的历史不只是作为条件注入网络，它还会和未来帧一起被生成出来。未来帧因此能在生成过程中从历史里提取几何结构，而不是仅仅以历史为条件。

在窗口大小固定的前提下，稀疏采样省下的显存大约是两倍。正是这个倍数，让单卡训练成为可能。

运动条件放在哪里

每张目标图像都以相机位姿、机器人状态，以及这两者的时间差为条件。静态项为每个视角提供几何上的落点，时间差项才让模型有能力渲染出运动模糊。这件事比听上去更要紧。去掉运动条件之后，图像看上去反而更锐利，毕竟模糊也是一种“不锐利”，可它们不再具备真实相机会拍到的那些物理特征。感知上的锐利不等于物理上的真实，而在一批不可能锐利的图像上训练出来的策略，学到的是一个并不存在的分布。

训练的前提是同步的位姿与状态记录确实存在。对机器人示范来说这个前提成立，这也是方法在这里行得通、换到任意视频上就行的原因。

查看原图 ↗

极线是搜索结构，一个学到的偏移量负责解释运动模糊。

把人力花在真正需要的地方

生成的帧会作为历史反馈回去，而历史恰恰是误差累积的地方。与其去指望一个更好的生成器，我们在系统层面处理它，引入一个验证器。

一个多模态大模型充当自动检查器，用思维链（chain-of-thought）提示把每张生成图像与原始图像做比较。它按十分制给核心物体的退化程度打分，并给出一致性判断。检查不通过时，系统向专家索取核心物体的分割掩码，这个掩码成为一次纠错式重生成的额外条件。

我们把它描述为 MLLM 审核加专家纠正，并且把它当作一条务实的中间路线，而不是一个已经解决的问题。两个显而易见的极端都走不通：为被操作物体训练通用分割器训不出来，逐帧标注又负担不起。这个环节把人工标注限制在模型失手的少数情况上，而这些地方正是专家时间真正值得花的地方。

关于这条流水线究竟有多自动，应该讲清楚。它不是全自动的。引导帧由人来产出，也可能有人被要求提供掩码。让这条边界往后推属于未来工作，我们提到语义分割和目标检测是可能替代当前部分人工干预的工具。

查看原图 ↗

自动检查捕捉退化，只在它失败的地方请求人工纠正。

我们从中学到什么

被违反的物理约束应该被放宽，而不是被丢弃。模糊破坏了极线几何，有用的应对是学出偏移，同时把几何留在那里当骨架。丢掉约束，等于丢掉了让跨视角注意力得以成立的那套结构。

稀疏化的理由应该来自领域统计，而不是泛泛的效率论证。背景基本静止是操作场景的真实性质，正是它让稀疏注意力站得住脚，而不只是便宜。

对结构化数据下采样时，把被采掉的结构重新注入。每个样本多带两个索引，代价很小，换来的是模型能正确解读它们。

误差累积可以在系统层面处理，不必塞进生成器内部。一个便宜的外部验证器是更好的模型之外的合理选项，它还有个附带好处：把模型的薄弱处定位出来。

还有一点，去做增强，而不是重新采集。这是最实际的主张，也是为什么即使它需要一张引导帧、偶尔还需要人工搭把手，这个方法依然值得做。

系统边界与物理约束

作为面向真实机器人操作的 4D 世界模型，我们也需要诚实界定 ERMV 的系统边界：

轻量表征与隐式几何：ERMV 目前采用多视角 2D 扩散机制结合极线注意力来隐式维持 4D 几何，尚未显式引入深度图、点云或 3D 高斯泼溅（3DGS）等显式三维表征。引入显式 3D 几何先验有望进一步抑制极端大位移下的几何畸变，这是未来架构升级的自然方向。
人机协同的纠错闭环：当前的 MLLM 验证器虽然极大减轻了人工负担，但在遇到高度透明物体或极端复杂流体时，其多模态审视仍可能漏判。目前的设计务实地保留了极少数关键掩码的人工介入通道，实现无人值守的全自主闭环验证仍需更强的高精度大模型支持。
物理保真度与动力学遵循：ERMV 是基于示教动作与运动学先验驱动的生成式世界模型。它能高保真地渲染出光影、材质、背景和遮挡关系的真实时空演变，但它不是通用力学解析器。当动作导致未建模的剧烈破碎或复杂刚体碰撞动力学突变时，世界模型依然依赖于训练分布中记录的物理线索。

通向哪里：可控具身世界模型的未来

ERMV 的核心贡献，在于证明了构建高保真、可控的 4D 多视角机器人具身世界模型不必依赖不可控的黑盒通用视频模型，而是可以深度结合机器人本体的运动学状态与相机几何约束，以极具算力性价比的方式实现物理环境的推演与反事实生成。

作为机器人具身世界模型，ERMV 展现出几个极具变革性的应用图景：

反事实世界推演引擎（Counterfactual World Engine）：给定一段真实示范的物理动作与状态流，世界模型可以推演该动作在无数个平行物理世界中的多视角展开（不同桌面材质、不同光影环境、杂乱背景与反光表面），直接为端到端 VLA 具身大模型提供几乎无限的泛化训练数据。
动作条件化未来推演与安全验证：给定任务初始环境与一段规划动作，世界模型可以前向 rollout 出未来的连续 4D 视频流，作为策略部署前的离线安全评测环境，在不损坏真实机械臂的前提下预警可能的碰撞与操作失误。
打通仿真到真实（Sim-to-Real）的全新范式：在低成本物理仿真器中大规模生成交互动作轨迹，再借助 ERMV 动作对齐的世界模型，将其推演为具备真实相机传感器物理特性（包括镜头噪点、动态运动模糊与真实材质响应）的多视角逼真视频流，以生成式世界模型大幅缩小 Sim-to-Real 的视知觉鸿沟。

具身世界模型 | 聂畅

ERMV：面向具身智能的 4D 多视角机器人世界模型

示范数据很贵，可我们手里已经有了

现有生成式模型为什么建不好机器人世界

难在哪里

用机器人数据自带的结构

稀疏上下文，以及把稀疏拿掉的东西还回去

运动条件放在哪里

把人力花在真正需要的地方

我们从中学到什么

系统边界与物理约束

通向哪里：可控具身世界模型的未来