研究论文 | 聂畅

Teach and Grow：面向通用机器人学习的智能体中心架构

Mon, 17 Aug 2026 23:45:21 +0000

少量示教，留下可以再次使用的技能

Teach-and-Grow Learning（TGL）构建了一种以 AI Agent 和 GPT-6 为中心的机器人操作（AI Agent and GPT-6 centered robotic manipulation）架构。面对开放物理世界多变的长时序任务，TGL 不再依赖昂贵脆弱的端到端权重再训练，而是将拥有前沿物理常识与世界认知先验的 GPT-6 确立为具身控制的中央推理中枢。围绕 GPT-6 构建的 AI Agent 负责整个机器人操作任务的宏观时空分解、跨情境语义消歧、物理契约核验与异常自愈。

在预训练大模型权重完全冻结的前提下，AI Agent 能够将人类或仿真环境提供的少量成功示教，提炼为具备明确物理适用边界与自愈能力的显式机器人技能。系统将抽象的子目标技能落实到当前度量几何场景中，并在物理动作执行后严格核验实际发生的物理状态改变，最终将经过验证的行为规则与自愈策略沉淀至持久化的技能库与经验记忆中。

示教 → 执行与验证 → 技能沉淀。 示教提供动作的子目标划分与因果结构，物理传感反馈指导动作闭环与故障恢复，而以 GPT-6 为核心的 AI Agent 驱动的双层记忆结构，使得前序任务积累的能力能够无缝迁移为后续未知任务的起点，彻底摆脱了传统机器人策略学习对频繁微调与参数更新的依赖。

· ·

端到端策略更新的沉重负担：再训练成本

在当下的深度模仿学习与端到端视觉-语言-动作（VLA）模型研究中，策略学习主要依赖在高维参数空间 $\theta \in \mathbb{R}^D$ 内进行梯度优化。然而，一旦将这类模型部署至真实的非结构化物理环境中，其工程落地便面临着严峻的结构性矛盾：

当机器人遇到新的操作容器、未经标定的相机安装视角、反光材质或者出现未曾覆盖的偶发抓取滑脱时，尽管当前场景的几何差异极其微小，但在参数化策略范式下，修复这一局部缺陷通常意味着必须重新采集数十甚至上百条示范轨迹，并在原有的混合数据集上重新执行一轮耗时数小时乃至数天的多任务联合优化。更严重的是，由于神经网络内部高维特征表征的深度耦合，针对新工况调整权重往往会引发隐式的表征漂移，导致原本已经熟练掌握的历史任务性能发生不可预测的退化，即灾难性遗忘（Catastrophic Forgetting）。我们将这种在面对物理环境微小变动时反复出现的计算、数据与验证负担，形式化定义为 再训练成本（Retraining Tax）。

物理交互数据与互联网规模的纯文本或静态图像数据存在根本性的成本结构差异：物理接触无法通过简单的离线自回归进行无损合成，抓取稳定性必须在三维力学世界中实际试错，动作引起的支撑关系与摩擦状态改变必须依赖多模态传感器进行冷酷检验。物体几何位姿、工作台背景杂乱度、材料表面摩擦系数以及机器人本体的动力学非线性相互交织，覆盖单个物理因子的独立分布绝不等于覆盖它们在高维组合空间下的联合分布。

TGL 由此切入一个根本性命题：我们能否将新任务的获取过程与神经网络权重的梯度更新解耦？能否把经过物理检验的有效操作经验沉淀为显式的结构化对象，赋予其严格的几何适用范围、可判别的物理前置/后置条件以及独立的故障恢复规则？在这一范式下，GPT-6 驱动的 AI Agent 继续作为强大的物理常识推理器与决策中枢，而 TGL 则彻底重塑了新技能在机器人系统内部的存储与流转机制。

查看原图 ↗

图 1. 以陌生抓放任务为例，对比策略优化与由智能体组织的技能获取。

从能够规划的 AI Agent，到以 GPT-6 为中心的机器人操作体系

这项研究的原初起点，在于探讨如何让具备工具调用（Tool-Using）能力的 AI Agent 驱动机械臂完成开放任务。将 GPT-6 引入具身智能的核心，赋予了系统前所未有的物理因果推理与环境语义理解能力。结合检测、位姿估计与运动规划工具，以 GPT-6 为中心的 AI Agent 即使在没有任何先验示教的情况下，也能通过多轮试错与交互探索拼凑出可行的动作序列。

然而，单纯依靠大模型即时推理暴露出了致命的缺陷：当任务回合结束、机器人完成摆放后，系统没有留下任何可复用的确定性知识。当面对相同或高度相似的任务时，若依然必须重新调用大模型进行冗长的高延迟推理，重新在巨大的动作空间中进行搜索；而上一次执行中踩过的物理坑点（例如某种透明杯口边缘容易打滑、特定抽屉滑轨存在末端卡滞）也随着上下文窗口的清空而被彻底遗忘。

TGL 将 GPT-6 深度整合为 AI Agent 的认知中枢，保留了智能体“观察—推理—执行—核验”的敏捷闭环，并在此基础上构建了能够终身演进的记忆架构。一次成功的任务探索被提炼为带有形式化契约的技能块，而偶发的物理失配、故障归因与自愈恢复路径则作为情境案例沉淀进经验记忆。在后续执行中，系统优先检索并复用高置信度的结构化技能，仅在遇到未知变化时才激活 GPT-6 与 AI Agent 进行自适应微调。

在此架构中，少量的成功示教（人类遥操作轨迹、高质量仿真示范、跨视角第一人称视频或结构化操作手册）被定位为一种 加速器而非不可逾越的前提。少量示教的作用在于提前为智能体提供宏观层面的子目标时序分解拓扑，将原本发散的高维探索空间约束在关键状态转移的几何局部，显著削减无效试错代价。

形式化建模：把可执行能力定义为显式“技能块”

为了将动作策略与当前场景特有的瞬态物理细节彻底剥离，TGL 引入了形式化的 技能块（Skill Block） 抽象。以“将碗拾取并平稳放置到托盘上”为例，在不同示范中，机械臂的具体关节轨迹、末端移动速度以及接近物体的方向各不相同，但任务底层的因果不变结构高度稳定：识别目标碗体、建立稳定的接触对齐夹持、转移至托盘上方、顺应释放接触。

我们在数学上将一个技能块 $S_k$ 严谨定义为一个六元组：

$$S_k = \langle \mathcal{G}_k, \mathcal{P}_{\text{pre}}, \mathcal{P}_{\text{post}}, \Pi_{\text{exec}}, \mathcal{V}_{\text{eval}}, \mathcal{R}_{\text{recov}} \rangle$$

其中：

$\mathcal{G}_k$ 表示该技能旨在达成的语义与几何子目标（Subgoal）；
$\mathcal{P}_{\text{pre}}$ 为该技能触发的显式前置物理条件集合（如目标物体在工作空间内可达、夹爪处于完全张开状态、接触表面无动态遮挡）；
$\mathcal{P}_{\text{post}}$ 为技能成功执行后必须满足的后置物理状态断言（如物体质心位移超出阈值、夹爪开度与物体厚度匹配）；
$\Pi_{\text{exec}}$ 为与该技能兼容的底层参数化执行器族（如 Contact-GraspNet 抓取采样器、笛卡尔直线阻抗控制器或预训练的局部专用小策略）；
$\mathcal{V}_{\text{eval}}$ 为多模态物理检验算子，负责在动作结束后输出确定性的成功置信度评估；
$\mathcal{R}_{\text{recov}}$ 为有界自愈策略分支，定义了当执行异常时的局部回退与补偿动作。

这里的 免训练（Training-Free） 具有清晰的数学与系统边界：在获取与沉淀新任务技能的全过程中，系统不涉及任何神经网络参数的梯度反向传播或微调过程。基础视觉语言模型与专用几何模型保持权重冻结；能力的跃升完全体现为显式技能库与经验记忆的拓扑扩充与参数自洽。

查看原图 ↗

图 2. 一个任务经历示教、组合、执行、验证与持久化，形成的技能库与经验记忆成为下一个任务的起点。

上层子目标因果推理，下层度量几何与力学控制

TGL 建立了清晰的双层分工体系，确保高层通用认知能力与底层物理控制精确度各自发挥极致：

1. 跨模态示教解析与子目标拓扑对齐

智能体首先将输入的示范轨迹（包含多视角视频与状态时序）在关键物理状态转变点处进行时空切分。系统并非简单记录时间序列路点，而是提取物体之间的空间接触拓扑演变（例如自由移动相 $\to$ 接触预备相 $\to$ 稳定约束相 $\to$ 释放分离相）。即便不同演示之间的运动速度与动作细节存在显著方差，共同的状态转移网络构成了候选技能块的拓扑骨架。

2. 场景具象化落实（Scene Grounding）与度量几何映射

当高层智能体决定调度某个技能块时，必须将其抽象的因果参数与当前真实物理场景进行严格的几何对齐：

感知与分割：机载 RGB-D 相机获取场景点云与高分辨率图像，调用开放词汇检测与分割模型提取目标实体几何掩码；
抓取与位姿求解：利用 Contact-GraspNet 在目标物体三维网格上密集采样力闭合抓取位姿候选，筛选出法向与执行器几何相容的最优夹持点；
无碰撞运动规划：调用 MPLib 与 OMPL 运动规划库，在考虑场景障碍物 ESDF 碰撞边界的条件下，求解出动力学可行的连续关节插补轨迹。

3. 基于多模态反馈的物理检验契约

动作执行完毕后，系统决不允许开环盲目推进，必须经过 $\mathcal{V}_{\text{eval}}$ 检验算子的冷酷审核：

以抓取动作 GraspObject 为例，仅仅机械臂关节角到达预设航向并不足以断定成功。系统同时读取夹爪电流反馈、红外光电传感器遮断信号与手腕六维力矩传感器读数：若三者共同证实末端承载了物体的真实重力负荷，后置断言方才判定通过；
若检验结果显示未检测到有效负载，系统立即判定为抓取滑脱，并动态分支到局部有界恢复子程序 $\mathcal{R}_{\text{recov}}$，重新调整夹持器切入倾角再次尝试，从而在局部掐断单步误差向长程链条的扩散。

查看原图 ↗

图 3. 技能契约连接语义子目标、当前场景中的执行与可观察的证据。策略被保留，几何与控制重新计算。

双层记忆系统：技能库保存行为，经验记忆保存上下文

为了兼顾通用能力的高效检索与特殊工况的深度适配，TGL 设计了结构清晰的双层持久化记忆架构：

1. 技能库（Skill Library $\mathcal{L}_{\text{skill}}$）

技能库维护着经过实机充分检验的通用原子技能原型。每个技能条目封装了规范化的子目标描述、前置几何条件检查器、场景具象化映射规则以及兼容的运动规划器接口。技能库追求高度的抽象性与普适性，使其能够被跨任务、跨物体实例无缝调用。

2. 经验记忆（Experience Memory $\mathcal{M}_{\text{exp}}$）

经验记忆则是一个面向情境案例的异质记忆网络，专门记录具体执行回合中的上下文细节与异常诊断日志：

记录每次执行时的环境光照参数、物体几何表面特性、候选抓取评分与实际执行结果；
重点归档执行失败案例及其成功的自愈恢复链条（例如：在抓取某种高反光金属圆柱体时，侧向抓取因静摩擦不足出现滑移，但调整为垂直俯冲两指捏持后成功建立约束）；
当系统在后续任务中遇到类似的边缘工况时，经验记忆先验介入，指导高层智能体规避历史失败路径，直接选择鲁棒性经过实证的微调参数，避免机器人重复犯下历史错误。

这种双层解耦设计赋予了系统极高的工程可解释性与人工可审计性：工程师能够清晰地查看技能库中每个技能的适用边界，根据需要手动修正某个脆弱的自愈规则，或者将存在隐患的执行工具打上兼容性黑名单，而无需重新启动漫长且不可控的全局重训练过程。

终身学习假设与局部更新的成本缩放优势

传统深度强化学习与模仿学习在能力扩张时面临着维数灾难与灾难性遗忘的夹击。TGL 提出了 有效可复用经验（Effective Reusable Experience） 缩放假设：随着机器人在物理世界中执行任务数量的增长，技能库中沉淀的有效技能块与经验规则将逐步覆盖绝大多数常见几何与接触模态。

查看原图 ↗

图 4. 未来任务误差与教学需求的概念性预测，曲线为示意。

在数学分析上，我们对比了全局耦合优化范式与 TGL 显式技能扩展范式的边际计算成本：

全局策略更新范式：每当引入第 $N$ 个新任务时，为了维护全部 $N$ 个任务的联合分布一致性，重训练所消耗的数据样本量与反向传播算力呈超线性增长 $\mathcal{O}(N^\alpha)$（$\alpha > 1$）；
TGL 局部扩展范式：新增技能块的沉淀与校验仅需局部针对当前特定几何子目标进行闭环验证，其计算开销仅取决于当前技能的验证复杂度，边际成本保持为严格的有界常数 $\mathcal{O}(1)$。

只要单次任务的具象化映射、物理检验与技能检索开销维持在极低的轻量级水平，显式技能积累架构就能够在长期运行中展现出显著的计算效率与资源利用优势。

查看原图 ↗

图 5. 在不同覆盖需求与局部兼容性假设下的分析性成本情形。

慢教师与快学生：双系统闭环协同

在实际工业与服务场景中，纯粹依赖大模型驱动的智能体进行全流程闭环虽然通用且具备强推理能力，但其通常面临百毫秒乃至秒级的推理延迟，无法完全胜任对反应速度要求极高的高动态运动。

为此，TGL 原生支持 “慢教师—快学生（Slow Teacher, Fast Student）” 的双系统协同演进范式：

慢教师系统（System 2：TGL Deliberative Loop）：大模型智能体作为“慢教师”，负责在陌生环境与高难度任务中进行深思熟虑的因果推理、工具调度与容错自愈，并在真实物理交互中过滤掉失败动作，生成高质量、经过全流程物理验证的专家执行轨迹缓冲池；
快学生系统（System 1：Distilled Reactive Policy）：利用慢教师积累的高质量轨迹数据集，在后台异步蒸馏训练紧凑高效的高频响应策略（如 50 Hz 的 Diffusion Policy 或局部动作分块策略），用于在常见工况下执行毫秒级流体般平滑的熟练操作；
异常无缝接管机制：当快学生策略在执行中遭遇未见扰动或物理检验失败时，底层监控系统立即触发异常中断，控制权毫秒级回切给慢教师智能体进行深度因果诊断、策略修复与技能扩充，从而兼顾了即时响应速度与复杂长程泛化上限。

查看原图 ↗

图 6. TGL 的整体系统视图，虚线路径表示拟议的快速策略训练与多机器人共享。

基准评测表现与实验洞察

我们在主流机器人操作基准 LIBERO 与更加注重分布外扰动测试的 LIBERO-Plus 环境中，对 TGL 进行了严苛的定量评测与消融实验。重点考察了以下几个核心维度：

少样本甚至零样本技能转化率：在仅提供 1 至 3 条示范轨迹的前提下，TGL 能否准确提炼出子目标因果结构，并在空间位姿、物体外观发生显著偏移的测试场景中成功复用；
再训练成本消除效果：对比主流参数微调算法在新增 10 项连续任务时的累计算力消耗与历史任务保留率；
闭环物理核验与有界自愈的容错贡献：量化检验在人为施加外部物理扰动（如抓取时轻微推碰物体、遮挡目标局部特征）时，自愈模块对任务最终成功率的提升倍数。

实验数据充分证明：

TGL 在仅需极少示教的前提下，展现了远超传统小样本模仿学习基线的分布外泛化能力；
由于策略权重全程完全冻结，系统对历史已掌握任务的成功率实现了理论上的零衰减，彻底消除了困扰连续机器人学习的灾难性遗忘顽疾；
显式物理检验与自愈循环将偶发执行故障的现场化解率提升了数倍，使长时序复合任务的稳定运行成为可能。

总结与工程反思

TGL 的探索揭示了一个被深度学习热潮所部分遮蔽的事实：机器人的通用操作能力并不必然等同于一个无所不包的超大规模端到端神经网络。

通过将高级常识推理、度量几何工具、确定性阻抗控制与显式双层记忆深度融合，我们证明了在完全不触动网络权重的条件下，机器人同样能够展现出强大的学习、适应与能力沉淀特性。这套将知识保留为可检查、可干预、可复用显式对象的系统架构，为走向真正低成本、高可靠、可持续进化的具身智能机器人系统提供了坚实的理论与工程参考。

ERMV：面向具身智能的 4D 多视角机器人世界模型

Wed, 23 Jul 2025 12:41:11 +0000

示范数据很贵，可我们手里已经有了

视觉-语言-动作（Vision-Language-Action，VLA）模型在多视角图像序列上训练，每一帧都对应产生它的那个动作。采这类数据又慢又贵，而且扩不起来：一段操作序列就可能包含上千张图像，高质量专家示范的稀缺，是这些策略能否泛化到开放世界场景的主要限制之一。

这项工作的起点是一个观察：数据早就存在了，缺的是多样性。一段抓起盒子的示范教会了策略该怎么做，却只给出了这件事发生的那一个世界版本。如果策略见过的盒子永远只在那张桌子上、那个房间里，它没有任何理由迁移过去。

为了突破这一数据孤岛，具身智能亟需一个能够理解物理交互、保持多视角时空一致性、且严格遵循机器人动作规律的机器人世界模型（Robotic World Model）。如果世界模型能够以已有的高质量动作为条件，在保持物理交互过程绝对保真的前提下，推演生成不同场景外观、光照、背景的反事实世界状态，海量高价值的 VLA 训练数据就能够被成倍激活。

这正是 ERMV 的核心定位：构建一个动作与状态条件化的 4D 多视角机器人具身世界模型。它不仅仅是在做静态的画面编辑，而是把整条 4D 时空物理交互轨迹当作一个可控的状态转移流来建模。

这其中的核心挑战在于物理动作配对。一段真实的机器人示范不是普通的单视角视频，它是若干同步的高频相机视图，加上高精度的机械臂位姿状态和控制指令。一旦世界模型在生成推演时产生空间漂移、改变了相机的几何投影关系，或者破坏了机械臂与操作物体之间的物理接触因果，整段轨迹就变成了违背物理规律的错误示范。这种生成数据比数据稀缺更加致命。

查看原图 ↗

视觉变化在同步视图之间传播，而记录下来的动作保持不变。

现有生成式模型为什么建不好机器人世界

近年来，基于大算力的通用视频生成模型（如 Sora 等）展现出了惊人的视觉合成能力，也有不少研究尝试将其引入具身领域构建世界模型。然而，在机器人精细操作领域，通用的非条件视频生成或者自动驾驶环视世界模型根本无法直接迁移：

自动驾驶世界模型的刚性先验在机械臂操作中彻底失效：为自动驾驶设计的环视世界模型依赖于固定的车规相机阵列以及扁平的鸟瞰图（BEV）投影先验，跨视角注意力被硬编码在相邻相机的已知相对位置上。但机器人操作场景通常配备动态运动的腕部相机（Eye-in-Hand）与多路自由视角的第三人称相机，相机的相对位姿在毫秒级快速变化，刚性空间拓扑先验根本不复存在。
缺乏严格动作条件化（Action-Conditioning）的视频模型会发生物理幻觉：通用视频模型虽然能生成连贯画面，但无法把机器人末端执行器的物理位姿、关节转角和夹爪动作严格作为动力学控制条件。画面里的物体可能无缘无故位移、形变，甚至机械臂穿模或凭空抓起物体——这种生成视频对于端到端策略训练而言是致命的“毒药”。
逐帧单图修复（Inpainting）破坏 4D 时空连续性：单图增强方法虽然能换背景，但它完全丧失了时间维度与相机间的约束，生成出来的物体在不同视角之间“穿帮”，连续播放时剧烈闪烁。
静态 3D 重建难以表达高动态接触物理：基于 NeRF 或 3DGS 的静态重建虽然保住了多视角几何，但很难建模机械臂与非刚体、流体、小物体之间复杂的瞬态接触力学与遮挡关系，更无法应对高速运动产生的运动模糊。

具身智能真正需要的世界模型，必须是在机器人动作与运动状态强约束下、保证多相机视角几何一致、且能稳定进行长时程 4D 物理推演的生成系统。

难在哪里

相机阵列不是固定的。操作数据来自一个不断运动的、以自我为中心的多相机系统，任何依赖已知静态相机间几何的一致性机制到这里就失效了。

运动模糊破坏了我们本来可以依赖的几何。相机和物体同时在动，于是在一张模糊图像里沿精确极线采到的特征，未必对应真实的像素位置。让多视角注意力成立的那个约束，在运动条件下反而是错的。

误差会累积。编辑后的帧要作为历史喂回下一个窗口，小误差不会一直小下去。放到长时程上看，它表现为语义漂移和细节模糊。这个领域对误差的容忍度格外低，因为机械臂和被操作的物体必须在整段序列里保持一致。一旦不一致，这段序列不只是看上去不对，它不再是有效的训练数据。

算力上的矛盾是结构性的，不是偶发的小麻烦。长程记忆想要大一点的工作窗口，而在 L 个时间步、N 路视角的窗口上做密集注意力，又要吃掉一大块显存。我们希望它在一块消费级 GPU 上就能训练。

保住真正要紧的物体，没有便宜的解法。为被操作物体训练一个通用分割器不可行，因为这类物体种类繁杂，常常是从未见过的，还被以自我为中心的刁钻角度拍摄。对上万张图像逐帧人工标注，同样负担不起。

文本提示也缺少这个任务需要的粒度。让模型把背景换成办公室，颜色、房间类型、朝向全都没有定义，出来的结果还可能和机器人正在做的事情相冲突。

用机器人数据自带的结构

机器人数据的结构化程度好得少见。它自带标定过的相机、记录下来的相机位姿、记录下来的机器人状态，以及一个共享的时钟。我们的想法是，别再为编辑另造一套描述规范，直接把这套结构用起来，再加一张手工编辑的关键帧。

主相机的第一帧由图像修复模型或人工编辑，这张编辑后的图像就是视觉层面的规范。论文里叫它 blueprint（蓝图），这个词用得很准。颜色、布局、朝向它都表达得毫不含糊，一句话做不到这一点，而人只需要改一帧，不是上千帧。

从这套结构里引出两个设计决定，它们都在放宽约束，而不是去满足约束。

第一个关于极线几何。一个正在运动的夹爪被运动模糊在像素上抹开，由位姿算出的极线指向的是夹爪静止时应该在的位置。严格施加这个约束，匹配到的是错误的像素。所以我们把极线几何留作搜索结构，同时让模型去学那个偏移。一个小网络根据局部图像特征和运动条件预测运动造成的偏移，注意力沿着平移后的直线进行。约束是被放宽了，但没有被丢掉。

第二个关于注意力。密集时空注意力是维持序列一致性的默认做法，代价很高。支持我们不做它的那个领域观察是：在很多操作场景里背景基本静止，图像变化缓慢，需要靠密集机制去捕捉的帧间差异并不多。所以我们采样。

查看原图 ↗

固定预算的观测为整个窗口提供长程上下文。

稀疏上下文，以及把稀疏拿掉的东西还回去

稀疏时空上下文（Sparse Spatio-Temporal context）在一个滑动时间窗口上采样固定数量的一组图像，规模远小于完整的时间×视角网格。采样是随机的，这一点值得直说，不必往它身上安一个本来没有的智能。

真正起作用的在后半段。每张被采样的图像都带着自己原本的时间索引和相机索引，这些身份被显式编码成条件。下采样破坏了时空结构，于是我们把结构重新注入进去。三秒前的一帧仍然被标记为三秒前，它因此能贡献外观证据，又不会被误当成当前状态。这个想法很小，适用范围却很宽：对结构化数据做下采样时，把结构放回去。

还有第二个决定，把它和常见的自回归方案区分开来。采样得到的历史不只是作为条件注入网络，它还会和未来帧一起被生成出来。未来帧因此能在生成过程中从历史里提取几何结构，而不是仅仅以历史为条件。

在窗口大小固定的前提下，稀疏采样省下的显存大约是两倍。正是这个倍数，让单卡训练成为可能。

运动条件放在哪里

每张目标图像都以相机位姿、机器人状态，以及这两者的时间差为条件。静态项为每个视角提供几何上的落点，时间差项才让模型有能力渲染出运动模糊。这件事比听上去更要紧。去掉运动条件之后，图像看上去反而更锐利，毕竟模糊也是一种“不锐利”，可它们不再具备真实相机会拍到的那些物理特征。感知上的锐利不等于物理上的真实，而在一批不可能锐利的图像上训练出来的策略，学到的是一个并不存在的分布。

训练的前提是同步的位姿与状态记录确实存在。对机器人示范来说这个前提成立，这也是方法在这里行得通、换到任意视频上就行的原因。

查看原图 ↗

极线是搜索结构，一个学到的偏移量负责解释运动模糊。

把人力花在真正需要的地方

生成的帧会作为历史反馈回去，而历史恰恰是误差累积的地方。与其去指望一个更好的生成器，我们在系统层面处理它，引入一个验证器。

一个多模态大模型充当自动检查器，用思维链（chain-of-thought）提示把每张生成图像与原始图像做比较。它按十分制给核心物体的退化程度打分，并给出一致性判断。检查不通过时，系统向专家索取核心物体的分割掩码，这个掩码成为一次纠错式重生成的额外条件。

我们把它描述为 MLLM 审核加专家纠正，并且把它当作一条务实的中间路线，而不是一个已经解决的问题。两个显而易见的极端都走不通：为被操作物体训练通用分割器训不出来，逐帧标注又负担不起。这个环节把人工标注限制在模型失手的少数情况上，而这些地方正是专家时间真正值得花的地方。

关于这条流水线究竟有多自动，应该讲清楚。它不是全自动的。引导帧由人来产出，也可能有人被要求提供掩码。让这条边界往后推属于未来工作，我们提到语义分割和目标检测是可能替代当前部分人工干预的工具。

查看原图 ↗

自动检查捕捉退化，只在它失败的地方请求人工纠正。

我们从中学到什么

被违反的物理约束应该被放宽，而不是被丢弃。模糊破坏了极线几何，有用的应对是学出偏移，同时把几何留在那里当骨架。丢掉约束，等于丢掉了让跨视角注意力得以成立的那套结构。

稀疏化的理由应该来自领域统计，而不是泛泛的效率论证。背景基本静止是操作场景的真实性质，正是它让稀疏注意力站得住脚，而不只是便宜。

对结构化数据下采样时，把被采掉的结构重新注入。每个样本多带两个索引，代价很小，换来的是模型能正确解读它们。

误差累积可以在系统层面处理，不必塞进生成器内部。一个便宜的外部验证器是更好的模型之外的合理选项，它还有个附带好处：把模型的薄弱处定位出来。

还有一点，去做增强，而不是重新采集。这是最实际的主张，也是为什么即使它需要一张引导帧、偶尔还需要人工搭把手，这个方法依然值得做。

系统边界与物理约束

作为面向真实机器人操作的 4D 世界模型，我们也需要诚实界定 ERMV 的系统边界：

轻量表征与隐式几何：ERMV 目前采用多视角 2D 扩散机制结合极线注意力来隐式维持 4D 几何，尚未显式引入深度图、点云或 3D 高斯泼溅（3DGS）等显式三维表征。引入显式 3D 几何先验有望进一步抑制极端大位移下的几何畸变，这是未来架构升级的自然方向。
人机协同的纠错闭环：当前的 MLLM 验证器虽然极大减轻了人工负担，但在遇到高度透明物体或极端复杂流体时，其多模态审视仍可能漏判。目前的设计务实地保留了极少数关键掩码的人工介入通道，实现无人值守的全自主闭环验证仍需更强的高精度大模型支持。
物理保真度与动力学遵循：ERMV 是基于示教动作与运动学先验驱动的生成式世界模型。它能高保真地渲染出光影、材质、背景和遮挡关系的真实时空演变，但它不是通用力学解析器。当动作导致未建模的剧烈破碎或复杂刚体碰撞动力学突变时，世界模型依然依赖于训练分布中记录的物理线索。

通向哪里：可控具身世界模型的未来

ERMV 的核心贡献，在于证明了构建高保真、可控的 4D 多视角机器人具身世界模型不必依赖不可控的黑盒通用视频模型，而是可以深度结合机器人本体的运动学状态与相机几何约束，以极具算力性价比的方式实现物理环境的推演与反事实生成。

作为机器人具身世界模型，ERMV 展现出几个极具变革性的应用图景：

反事实世界推演引擎（Counterfactual World Engine）：给定一段真实示范的物理动作与状态流，世界模型可以推演该动作在无数个平行物理世界中的多视角展开（不同桌面材质、不同光影环境、杂乱背景与反光表面），直接为端到端 VLA 具身大模型提供几乎无限的泛化训练数据。
动作条件化未来推演与安全验证：给定任务初始环境与一段规划动作，世界模型可以前向 rollout 出未来的连续 4D 视频流，作为策略部署前的离线安全评测环境，在不损坏真实机械臂的前提下预警可能的碰撞与操作失误。
打通仿真到真实（Sim-to-Real）的全新范式：在低成本物理仿真器中大规模生成交互动作轨迹，再借助 ERMV 动作对齐的世界模型，将其推演为具备真实相机传感器物理特性（包括镜头噪点、动态运动模糊与真实材质响应）的多视角逼真视频流，以生成式世界模型大幅缩小 Sim-to-Real 的视知觉鸿沟。

DiffSAC：扩散引导的采样一致性鲁棒估计

Sat, 31 Aug 2024 11:15:11 +0000

昂贵的地方不在采样，而在无效假设的验证

在三维视觉与机器人状态估计中，从带有大量噪声和外点（Outliers）的观测数据中解算几何模型，采样一致性（Sample Consensus, RANSAC）历经四十余年依然是无可替代的工业标准。然而，这一经典范式存在一个往往被工程实践默认承受的结构性沉重代价：候选最小集的生成是廉价的，但对每一个候选模型进行全局外点检验却是极其昂贵的。

在几何估计中，最小集（Minimal Sample Set）是指能够唯一确定模型参数所需的最少观测数量：拟合空间直线需要 2 个点，拟合三维平面需要 3 个点，估计单应性矩阵（Homography）需要 4 对对应点，而在双视图几何中求解基础矩阵（Fundamental Matrix）通常需要 8 对对应特征点（或 7 对）。经典 RANSAC 依赖全局均匀随机抽样。根据几何概率统计，若数据集中外点比例为 $\epsilon \in (0, 1)$，最小集规模为 $s$，为了以概率 $p$（通常取 0.99）至少抽中一组全内点组合，所需的理论迭代采样次数为：

$$K = \frac{\ln(1 - p)}{\ln\left(1 - (1 - \epsilon)^s\right)}$$

当外点比例温和时，计算尚可接受；但一旦面临恶劣的野外感知或低纹理重复场景，外点比例飙升至 80% 甚至 90% 时，组合数发生灾难性爆炸。在求解 $s=8$ 的基础矩阵且 $\epsilon = 0.8$ 时，全内点组合被命中的先验概率仅为 $(0.2)^8 \approx 2.56 \times 10^{-6}$，理论上需要执行超过 180 万次迭代。即便在工程中硬性截断迭代预算为几千次，绝大多数算力也彻底耗费在解算那些从物理上就注定错误的模型，并在数千个观测点上反复计算投影误差。

不仅如此，随机均匀采样对几何退化完全无感。两对空间距离极近的特征点，其局部坐标可能高度精准，但在数值上却构成病态的超短基线；三维空间中几乎共面的四个点，在求解双视图对极几何时会导致退化解。均匀采样从不考虑一组点作为一个整体的联合几何相容性，盲目抽样的结果就是绝大部分候选集合在进入代数求解前就已经是无效组合。

既有改进方法的得与失

为了让最小集的提议更加高效，过去二十余年学术界沿着多个方向进行了深耕，但各自保留了难以回避的局限：

先验排序与局部邻域启发式：PROSAC 根据特征匹配的局部质量分数（如匹配距离比值）建立排序，优先从高分候选池中抽样；NAPSAC 与 Progressive NAPSAC 则假设内点在欧氏空间中呈现局部聚集特性，限制在空间小球邻域内抽取组合。这类启发式方法在结构化场景下确实能加快收敛，但其缺陷在于：特征匹配质量高并不保证几何分布不退化，而强行限制在局部邻域则极易丢掉跨越大视场的全局长基线约束，在重复纹理（如建筑物玻璃幕墙、地面地砖）产生虚假局部一致性时彻底失效。
假设后处理与局部优化：LO-RANSAC、GC-RANSAC 与 MAGSAC++ 反其道而行之。它们放弃对前序采样提议的干预，转而专注于在发现一个初具雏形的候选假设后，通过图割（Graph Cut）、局部内点加权或连续阈值边缘化来精修模型参数。这些后处理算法极其优异，并且我们在最终系统中也兼容了它们；然而，它们从根本上没有触碰“如何在千万级外点中以极少代价命中第一个高质量候选”这一核心瓶颈。
端到端可微深度估计（DSAC 系列）：DSAC 及其后续工作将离散的假设选择过程松弛化为可微概率分布，使得深度神经网络能够端到端反向传播梯度。这一思路在学术上极为优美，但在工程落地中面临严重的黑箱困境：神经网络内部直接隐式回归模型参数或潜空间权重，一旦在真实自动驾驶或 SLAM 运行中输出严重偏移的位姿，工程团队无法通过残差追溯究竟是哪几个特征点引发了数值漂移，缺乏工业级系统所必须的安全可解释性与故障排查接口。

正是在这一背景下，我们提出了一个直接的问题：能否把最小集的获取过程，从被动的盲目抽样转变为目标导向的条件概率生成？ 我们并不试图用神经网络替代底层的经典代数求解器，而是让学习模型专门承担最困难的任务——直接生成极高质量的候选最小集。

生成候选集合，而非被动试错

DiffSAC 的核心构想是：把鲁棒估计中的采样步骤重塑为几何条件扩散模型（Geometry-Conditioned Diffusion Model）的逆向采样过程。如果神经网络能够学习到“在当前观测点云下，能够成功解算出正确模型的有效最小集”的后验概率分布，那么在推理时，我们只需从该分布中生成极少量的候选集合（例如 10 到 20 个），每一个候选组合都具备极高全内点概率与良好条件数，随后交由确定性的经典求解器与共识函数进行评估。

这在概念上与文本生成图像（Text-to-Image Diffusion）形成了有趣的映射：一段文本提示词可以生成多张构图合理但细节略有不同的高质量图像，用户可以从中挑选最完美的一张；同样，DiffSAC 针对同一批几何观测输入，通过注入不同的高斯初始噪声，并行生成数十组各具特色但全部物理合法的最小集候选。

这种设计巧妙规避了传统生成扩散模型在机器人学中遭遇的高延迟批评。在图像生成中，扩散模型必须去噪百万级的像素张量；而在 DiffSAC 中，每个几何观测点仅对应一个连续的标量置信度（Confidence Scalar）。对于包含数千个特征点的场景，整个扩散向量的维度仅为数千维，结合高阶快速数值求解器，整套扩散逆向过程在主流 GPU 上的耗时能够被严格控制在十余毫秒以内，其节约的巨额代数解算与外点残差验证开销，在计算预算上构成了高度划算的代换。

关键的理论抽象在于：这个连续置信度标量代表什么？ 我们打破了传统方法将置信度定义为“单个点自身是否为内点”的局限，而是将其严格定义为“该观测点是否与其他被选中的点协同构成一个优良最小集”的集合级联合相容属性。

条件扩散过程与数学形式化

设输入的几何观测集合为 $\chi = \{x_i, d_i\}_{i=1}^N$，其中 $x_i \in \mathbb{R}^d$ 表示观测的几何坐标（例如特征点的二维图像坐标或三维空间点），$d_i \in \mathbb{R}^{d_f}$ 表示局部外观描述子向量（如 SuperPoint 或 SIFT 特征）。

记定义在观测集合上的真实置信度目标场为 $\boldsymbol{c}_0 \in [0, 1]^N$。在连续时间扩散框架下，前向加噪过程定义了在时间步 $t \in [0, 1]$ 下将 $\boldsymbol{c}_0$ 逐步扰动为高斯白噪声的伊藤随机微分方程（SDE）：

$$\mathrm{d}\boldsymbol{c}_t = \boldsymbol{f}(\boldsymbol{c}_t, t)\mathrm{d}t + g(t)\mathrm{d}\boldsymbol{w}$$

其对应的逆向逆时去噪过程则由概率流常微分方程（Probability Flow ODE）确定：

$$\mathrm{d}\boldsymbol{c}_t = \left[ \boldsymbol{f}(\boldsymbol{c}_t, t) - \frac{1}{2} g(t)^2 \nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi) \right] \mathrm{d}t$$

其中条件得分函数 $\nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi)$ 由参数化去噪神经网络 $\boldsymbol{s}_\theta(\boldsymbol{c}_t, t, \chi)$ 进行拟合。整个去噪演变以几何观测 $\chi$ 为硬条件，使得置信度的细化过程受到真实三维对极几何与空间法向的强力引导，而非在无约束流形上盲目游走。

在训练阶段，我们采用真值几何模型生成理想的监督信号 $\boldsymbol{c}_0$：对于给定的真值模型，系统在所有真值内点中随机检索出与模型数值相容的最小集，将入选观测的置信度标定为 1，其余所有点标定为 0。去噪网络采用直接预测干净场 $\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$ 的 $x_0$-参数化目标，以均方误差损失函数进行端到端优化：

$$\mathcal{L}_{\text{diff}}(\theta) = \mathbb{E}_{t, \boldsymbol{c}_0, \boldsymbol{\epsilon}}\left[ \left\| \hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi) - \boldsymbol{c}_0 \right\|_2^2 \right]$$

在这一目标下，网络被迫学习在含噪置信度场中捕捉哪些点组合在一起能够消除代数奇异性。

查看原图 ↗

前向污染提供训练目标，逆扩散生成候选最小集。

置换不变的 Transformer 去噪网络架构

在几何估计中，输入特征点的排列次序是完全人为且随机的。如果去噪网络依赖固定坐标索引或一维卷积，模型就会灾难性地学到输入序列特有的虚假拓扑，且无法应对任意规模可变的点数 $N$。

为此，我们将去噪骨架构建为一个 不带任何绝对位置编码（No Positional Encoding）的置换不变 Transformer：

特征投影：将每个观测的几何坐标 $x_i$、外观描述子 $d_i$ 与当前含噪置信度标量 $c_{t, i}$ 进行特征拼接，通过多层感知机（MLP）映射为 $D$ 维的潜在特征向量 $z_i^{(0)}$；
全注意力聚合：堆叠多层标准的自注意力（Self-Attention）与跨注意力层。自注意力机制在所有 $N$ 个观测之间建立全连接注意力图： $$\boldsymbol{A} = \text{Softmax}\left(\frac{\boldsymbol{Q}\boldsymbol{K}^T}{\sqrt{d_k}}\right)$$ 在这种机制下，任何一个观测点在调整自身置信度时，都能够依据整个场景中其他所有点的几何距离、视差梯度与外观相似度进行全景加权，这正是评估多点空间相容性所需的数学运算；
置换不变性保证：由于完全摒弃了位置编码，对于任意置换矩阵 $\boldsymbol{P} \in \mathbb{R}^{N \times N}$，网络满足严格的等变性定理：$\hat{\boldsymbol{c}}_\theta(\boldsymbol{P}\boldsymbol{c}_t, t, \boldsymbol{P}\chi) = \boldsymbol{P}\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$。无论输入的点集如何乱序排列，输出的置信度分布严格保持物理一致。

消融实验证实，将 Transformer 替换为 PointNet++ 或基于 k-NN 图卷积的 DGCNN 骨干网络时，模型在复杂大基线匹配下的泛化性能出现断崖式下跌，证明全局全景自注意力对捕捉跨视场长距离几何约束具有不可替代的作用。

查看原图 ↗

不使用位置编码，保持排列不变性。

推理流程：并行多副本扩散与快速求解

在测试推理阶段，DiffSAC 采用“批量并发扩散—硬提取—经典验证”的高效流水线：

批量副本初始化：将当前帧的观测集合 $\chi$ 在显存中并行复制 $B$ 份（通常设置 $B = 20$）。为每个副本独立采样一个服从标准正态分布的随机置信度向量 $\boldsymbol{c}_1^{(b)} \sim \mathcal{N}(\mathbf{0}, \boldsymbol{I})$；
高阶快速 ODE 求解：采用 DPM-Solver++ 高阶显式求解器，将原本需要上百步的离散去噪过程大幅压缩至 10 至 15 个时间步，各副本在 GPU 上以批处理方式并发完成反向去噪，输出收敛的连续置信度场 $\boldsymbol{c}_0^{(b)}$；
Top-k 最小集硬提取：针对每个副本的置信度场，直接通过硬性 Top-k 索引提取数值最大的 $s$ 个观测点，组成候选最小集 $\mathcal{S}^{(b)}$；
确定性代数求解与共识评估：调用闭式几何求解器（如针对直线/平面的奇异值分解 SVD，针对基础矩阵的归一化八点法或七点法）独立求解模型假设 $\mathcal{M}^{(b)}$。将求得的模型与全量观测 $\chi$ 比对，计算几何投影残差并根据共识评分函数（如 MSAC 或 M-estimator 核函数）遴选出综合得分最高的最终模型。

这种“初始噪声随机、选择过程确定”的设计极为精妙：20 个独立的噪声种子探索了不同的高置信度极值盆地，保证了输出候选的多样性；即使其中某一个副本因偶发退化落在病态解上，其余独立的副本依然能够稳定提供优质候选，彻底消除了单次启发式提议容易陷入局部死锁的风险。

查看原图 ↗

生成的置信度决定哪些观测进入最小集。

查看原图 ↗

条件置信度提议接入经典双视图几何流程。

最关键的消融：为什么迭代去噪无可替代？

在审视 DiffSAC 时，一个自然的疑问是：为什么必须使用复杂的迭代扩散过程？直接训练一个前向回归网络，一次性从输入数据中输出置信度向量难道不行吗？

针对这一问题，我们设计了最具说服力的对照实验：保留完全相同的 Transformer 主干网络结构与训练目标，移除迭代加噪去噪机制，让网络从干净的输入 $\chi$ 中直接单步回归置信度向量 $\hat{\boldsymbol{c}}$。

实验结果展现了巨大的鸿沟：

直接回归网络输出的置信度场表现出严重的均质化与弥散性，无法在微小几何尺度上拉开内点与退化点之间的对比度差距，Top-k 提取的最小集包含外点的概率极高；
相比之下，扩散逆向过程展现出了清晰的逐步自优化行为：在前几个时间步，网络首先利用全局注意力滤除掉绝大部分特征不匹配的外点；在中间时间步，网络开始根据对极几何约束剔除局部共线或视差过小的退化几何点；在最后几个时间步，置信度场迅速极化变尖，将注意力精准聚焦在一小撮高杠杆、大基线的黄金内点组合上。

这一消融雄辩地证明：扩散过程的本质并不是为了追求随机性，而是把原本极其困难的高阶几何组合寻优问题，拆解为一系列沿着梯度场平滑收敛的轻量级低阶细化步骤。

此外，由于 DiffSAC 严格保留了经典的几何求解器与外点共识函数，它与现有的局部优化算法（如 LO-RANSAC、GC-RANSAC）具有天生的正交互补性。当把 DiffSAC 生成的优质初始假设输入给 LO-RANSAC 进行局部二次迭代时，系统的最终估计精度再次获得了显著提升，证明两者的结合完美拼合了“高效宏观提议”与“精细局部收敛”的完整版图。

全面基准评测与局限性审视

我们在合成受控数据集以及包括 ScanNet、MegaDepth、PhotoTourism 在内的多个极具挑战性的真实世界双视图几何基准上，对 DiffSAC 进行了详尽评测。评测任务涵盖了直线拟合、三维点云平面分割、基础矩阵与本质矩阵求解以及单应性矩阵估计：

在 80% 超高外点率的极端合成压力测试下，经典 RANSAC 在 5,000 次迭代内求解成功率不足 15%，而 DiffSAC 凭借仅 20 个并行候选提议，成功率稳定维持在 94% 以上，平均估计误差降低了一个数量级；
在真实大视角变化与重复纹理场景下，DiffSAC 显著降低了退化模型的生成概率，在双视图位姿估计 AUC 指标上大幅超越了 PROSAC、MAGSAC++ 等强基线算法。

在坦诚审视系统表现的同时，我们在论文中同样明确指出了当前的物理边界与局限：

任务特化与泛化边界：当前版本的去噪网络针对特定的几何自由度进行训练（例如针对单应性矩阵与本质矩阵分别需要独立的模型权重）。构建能够跨任务统一处理任意自由度几何约束的通用条件扩散网络是下一步的核心方向；
算力与硬件平台依赖：尽管 DPM-Solver++ 将步数压低至十余步，但 Transformer 在处理数千点集时的自注意力计算仍高度依赖 GPU 的张量并行能力。在缺乏强力显卡的微型边缘端嵌入式系统上，其推理吞吐率仍有待进一步工程剪枝与量化优化。

核心主张与工程哲学

DiffSAC 所追求的工程哲学，是对基于深度学习的计算机视觉研究范式的一次理性回归：将学习模型置于真正困难的高维模式识别与组合提议环节，将经典算法坚守在成熟透彻的代数解算与残差共识验证环节。

在几何视觉中，从数万个杂乱组合中找到满足物理约束的极小集是一个高度非凸、高度非线性的困难模式匹配问题，这正是深度神经网络大显身手的舞台；而通过最小集解算模型参数、计算重投影几何误差，则是经典几何学早已彻底解决的解析代数问题，绝不应该被低效、不可控的端到端黑箱网络盲目替代。

这种分工不仅带来了效率与精度的兼收并蓄，更彻底捍卫了复杂工程系统最珍贵的可解释性与安全审计边界。在任何一次估计发生异常时，算法工程师都能清晰地调阅每一个候选集合的置信度流形、追踪对应代数解的特征矩阵条件数，让系统的每一次决策都有据可循、有理可辨。