Zhe Liu | 聂畅

Teach and Grow：面向通用机器人学习的智能体中心架构

Mon, 17 Aug 2026 23:45:21 +0000

少量示教，留下可以再次使用的技能

Teach-and-Grow Learning（TGL）构建了一种以 AI Agent 和 GPT-6 为中心的机器人操作（AI Agent and GPT-6 centered robotic manipulation）架构。面对开放物理世界多变的长时序任务，TGL 不再依赖昂贵脆弱的端到端权重再训练，而是将拥有前沿物理常识与世界认知先验的 GPT-6 确立为具身控制的中央推理中枢。围绕 GPT-6 构建的 AI Agent 负责整个机器人操作任务的宏观时空分解、跨情境语义消歧、物理契约核验与异常自愈。

在预训练大模型权重完全冻结的前提下，AI Agent 能够将人类或仿真环境提供的少量成功示教，提炼为具备明确物理适用边界与自愈能力的显式机器人技能。系统将抽象的子目标技能落实到当前度量几何场景中，并在物理动作执行后严格核验实际发生的物理状态改变，最终将经过验证的行为规则与自愈策略沉淀至持久化的技能库与经验记忆中。

示教 → 执行与验证 → 技能沉淀。 示教提供动作的子目标划分与因果结构，物理传感反馈指导动作闭环与故障恢复，而以 GPT-6 为核心的 AI Agent 驱动的双层记忆结构，使得前序任务积累的能力能够无缝迁移为后续未知任务的起点，彻底摆脱了传统机器人策略学习对频繁微调与参数更新的依赖。

· ·

端到端策略更新的沉重负担：再训练成本

在当下的深度模仿学习与端到端视觉-语言-动作（VLA）模型研究中，策略学习主要依赖在高维参数空间 $\theta \in \mathbb{R}^D$ 内进行梯度优化。然而，一旦将这类模型部署至真实的非结构化物理环境中，其工程落地便面临着严峻的结构性矛盾：

当机器人遇到新的操作容器、未经标定的相机安装视角、反光材质或者出现未曾覆盖的偶发抓取滑脱时，尽管当前场景的几何差异极其微小，但在参数化策略范式下，修复这一局部缺陷通常意味着必须重新采集数十甚至上百条示范轨迹，并在原有的混合数据集上重新执行一轮耗时数小时乃至数天的多任务联合优化。更严重的是，由于神经网络内部高维特征表征的深度耦合，针对新工况调整权重往往会引发隐式的表征漂移，导致原本已经熟练掌握的历史任务性能发生不可预测的退化，即灾难性遗忘（Catastrophic Forgetting）。我们将这种在面对物理环境微小变动时反复出现的计算、数据与验证负担，形式化定义为 再训练成本（Retraining Tax）。

物理交互数据与互联网规模的纯文本或静态图像数据存在根本性的成本结构差异：物理接触无法通过简单的离线自回归进行无损合成，抓取稳定性必须在三维力学世界中实际试错，动作引起的支撑关系与摩擦状态改变必须依赖多模态传感器进行冷酷检验。物体几何位姿、工作台背景杂乱度、材料表面摩擦系数以及机器人本体的动力学非线性相互交织，覆盖单个物理因子的独立分布绝不等于覆盖它们在高维组合空间下的联合分布。

TGL 由此切入一个根本性命题：我们能否将新任务的获取过程与神经网络权重的梯度更新解耦？能否把经过物理检验的有效操作经验沉淀为显式的结构化对象，赋予其严格的几何适用范围、可判别的物理前置/后置条件以及独立的故障恢复规则？在这一范式下，GPT-6 驱动的 AI Agent 继续作为强大的物理常识推理器与决策中枢，而 TGL 则彻底重塑了新技能在机器人系统内部的存储与流转机制。

查看原图 ↗

图 1. 以陌生抓放任务为例，对比策略优化与由智能体组织的技能获取。

从能够规划的 AI Agent，到以 GPT-6 为中心的机器人操作体系

这项研究的原初起点，在于探讨如何让具备工具调用（Tool-Using）能力的 AI Agent 驱动机械臂完成开放任务。将 GPT-6 引入具身智能的核心，赋予了系统前所未有的物理因果推理与环境语义理解能力。结合检测、位姿估计与运动规划工具，以 GPT-6 为中心的 AI Agent 即使在没有任何先验示教的情况下，也能通过多轮试错与交互探索拼凑出可行的动作序列。

然而，单纯依靠大模型即时推理暴露出了致命的缺陷：当任务回合结束、机器人完成摆放后，系统没有留下任何可复用的确定性知识。当面对相同或高度相似的任务时，若依然必须重新调用大模型进行冗长的高延迟推理，重新在巨大的动作空间中进行搜索；而上一次执行中踩过的物理坑点（例如某种透明杯口边缘容易打滑、特定抽屉滑轨存在末端卡滞）也随着上下文窗口的清空而被彻底遗忘。

TGL 将 GPT-6 深度整合为 AI Agent 的认知中枢，保留了智能体“观察—推理—执行—核验”的敏捷闭环，并在此基础上构建了能够终身演进的记忆架构。一次成功的任务探索被提炼为带有形式化契约的技能块，而偶发的物理失配、故障归因与自愈恢复路径则作为情境案例沉淀进经验记忆。在后续执行中，系统优先检索并复用高置信度的结构化技能，仅在遇到未知变化时才激活 GPT-6 与 AI Agent 进行自适应微调。

在此架构中，少量的成功示教（人类遥操作轨迹、高质量仿真示范、跨视角第一人称视频或结构化操作手册）被定位为一种 加速器而非不可逾越的前提。少量示教的作用在于提前为智能体提供宏观层面的子目标时序分解拓扑，将原本发散的高维探索空间约束在关键状态转移的几何局部，显著削减无效试错代价。

形式化建模：把可执行能力定义为显式“技能块”

为了将动作策略与当前场景特有的瞬态物理细节彻底剥离，TGL 引入了形式化的 技能块（Skill Block） 抽象。以“将碗拾取并平稳放置到托盘上”为例，在不同示范中，机械臂的具体关节轨迹、末端移动速度以及接近物体的方向各不相同，但任务底层的因果不变结构高度稳定：识别目标碗体、建立稳定的接触对齐夹持、转移至托盘上方、顺应释放接触。

我们在数学上将一个技能块 $S_k$ 严谨定义为一个六元组：

$$S_k = \langle \mathcal{G}_k, \mathcal{P}_{\text{pre}}, \mathcal{P}_{\text{post}}, \Pi_{\text{exec}}, \mathcal{V}_{\text{eval}}, \mathcal{R}_{\text{recov}} \rangle$$

其中：

$\mathcal{G}_k$ 表示该技能旨在达成的语义与几何子目标（Subgoal）；
$\mathcal{P}_{\text{pre}}$ 为该技能触发的显式前置物理条件集合（如目标物体在工作空间内可达、夹爪处于完全张开状态、接触表面无动态遮挡）；
$\mathcal{P}_{\text{post}}$ 为技能成功执行后必须满足的后置物理状态断言（如物体质心位移超出阈值、夹爪开度与物体厚度匹配）；
$\Pi_{\text{exec}}$ 为与该技能兼容的底层参数化执行器族（如 Contact-GraspNet 抓取采样器、笛卡尔直线阻抗控制器或预训练的局部专用小策略）；
$\mathcal{V}_{\text{eval}}$ 为多模态物理检验算子，负责在动作结束后输出确定性的成功置信度评估；
$\mathcal{R}_{\text{recov}}$ 为有界自愈策略分支，定义了当执行异常时的局部回退与补偿动作。

这里的 免训练（Training-Free） 具有清晰的数学与系统边界：在获取与沉淀新任务技能的全过程中，系统不涉及任何神经网络参数的梯度反向传播或微调过程。基础视觉语言模型与专用几何模型保持权重冻结；能力的跃升完全体现为显式技能库与经验记忆的拓扑扩充与参数自洽。

查看原图 ↗

图 2. 一个任务经历示教、组合、执行、验证与持久化，形成的技能库与经验记忆成为下一个任务的起点。

上层子目标因果推理，下层度量几何与力学控制

TGL 建立了清晰的双层分工体系，确保高层通用认知能力与底层物理控制精确度各自发挥极致：

1. 跨模态示教解析与子目标拓扑对齐

智能体首先将输入的示范轨迹（包含多视角视频与状态时序）在关键物理状态转变点处进行时空切分。系统并非简单记录时间序列路点，而是提取物体之间的空间接触拓扑演变（例如自由移动相 $\to$ 接触预备相 $\to$ 稳定约束相 $\to$ 释放分离相）。即便不同演示之间的运动速度与动作细节存在显著方差，共同的状态转移网络构成了候选技能块的拓扑骨架。

2. 场景具象化落实（Scene Grounding）与度量几何映射

当高层智能体决定调度某个技能块时，必须将其抽象的因果参数与当前真实物理场景进行严格的几何对齐：

感知与分割：机载 RGB-D 相机获取场景点云与高分辨率图像，调用开放词汇检测与分割模型提取目标实体几何掩码；
抓取与位姿求解：利用 Contact-GraspNet 在目标物体三维网格上密集采样力闭合抓取位姿候选，筛选出法向与执行器几何相容的最优夹持点；
无碰撞运动规划：调用 MPLib 与 OMPL 运动规划库，在考虑场景障碍物 ESDF 碰撞边界的条件下，求解出动力学可行的连续关节插补轨迹。

3. 基于多模态反馈的物理检验契约

动作执行完毕后，系统决不允许开环盲目推进，必须经过 $\mathcal{V}_{\text{eval}}$ 检验算子的冷酷审核：

以抓取动作 GraspObject 为例，仅仅机械臂关节角到达预设航向并不足以断定成功。系统同时读取夹爪电流反馈、红外光电传感器遮断信号与手腕六维力矩传感器读数：若三者共同证实末端承载了物体的真实重力负荷，后置断言方才判定通过；
若检验结果显示未检测到有效负载，系统立即判定为抓取滑脱，并动态分支到局部有界恢复子程序 $\mathcal{R}_{\text{recov}}$，重新调整夹持器切入倾角再次尝试，从而在局部掐断单步误差向长程链条的扩散。

查看原图 ↗

图 3. 技能契约连接语义子目标、当前场景中的执行与可观察的证据。策略被保留，几何与控制重新计算。

双层记忆系统：技能库保存行为，经验记忆保存上下文

为了兼顾通用能力的高效检索与特殊工况的深度适配，TGL 设计了结构清晰的双层持久化记忆架构：

1. 技能库（Skill Library $\mathcal{L}_{\text{skill}}$）

技能库维护着经过实机充分检验的通用原子技能原型。每个技能条目封装了规范化的子目标描述、前置几何条件检查器、场景具象化映射规则以及兼容的运动规划器接口。技能库追求高度的抽象性与普适性，使其能够被跨任务、跨物体实例无缝调用。

2. 经验记忆（Experience Memory $\mathcal{M}_{\text{exp}}$）

经验记忆则是一个面向情境案例的异质记忆网络，专门记录具体执行回合中的上下文细节与异常诊断日志：

记录每次执行时的环境光照参数、物体几何表面特性、候选抓取评分与实际执行结果；
重点归档执行失败案例及其成功的自愈恢复链条（例如：在抓取某种高反光金属圆柱体时，侧向抓取因静摩擦不足出现滑移，但调整为垂直俯冲两指捏持后成功建立约束）；
当系统在后续任务中遇到类似的边缘工况时，经验记忆先验介入，指导高层智能体规避历史失败路径，直接选择鲁棒性经过实证的微调参数，避免机器人重复犯下历史错误。

这种双层解耦设计赋予了系统极高的工程可解释性与人工可审计性：工程师能够清晰地查看技能库中每个技能的适用边界，根据需要手动修正某个脆弱的自愈规则，或者将存在隐患的执行工具打上兼容性黑名单，而无需重新启动漫长且不可控的全局重训练过程。

终身学习假设与局部更新的成本缩放优势

传统深度强化学习与模仿学习在能力扩张时面临着维数灾难与灾难性遗忘的夹击。TGL 提出了 有效可复用经验（Effective Reusable Experience） 缩放假设：随着机器人在物理世界中执行任务数量的增长，技能库中沉淀的有效技能块与经验规则将逐步覆盖绝大多数常见几何与接触模态。

查看原图 ↗

图 4. 未来任务误差与教学需求的概念性预测，曲线为示意。

在数学分析上，我们对比了全局耦合优化范式与 TGL 显式技能扩展范式的边际计算成本：

全局策略更新范式：每当引入第 $N$ 个新任务时，为了维护全部 $N$ 个任务的联合分布一致性，重训练所消耗的数据样本量与反向传播算力呈超线性增长 $\mathcal{O}(N^\alpha)$（$\alpha > 1$）；
TGL 局部扩展范式：新增技能块的沉淀与校验仅需局部针对当前特定几何子目标进行闭环验证，其计算开销仅取决于当前技能的验证复杂度，边际成本保持为严格的有界常数 $\mathcal{O}(1)$。

只要单次任务的具象化映射、物理检验与技能检索开销维持在极低的轻量级水平，显式技能积累架构就能够在长期运行中展现出显著的计算效率与资源利用优势。

查看原图 ↗

图 5. 在不同覆盖需求与局部兼容性假设下的分析性成本情形。

慢教师与快学生：双系统闭环协同

在实际工业与服务场景中，纯粹依赖大模型驱动的智能体进行全流程闭环虽然通用且具备强推理能力，但其通常面临百毫秒乃至秒级的推理延迟，无法完全胜任对反应速度要求极高的高动态运动。

为此，TGL 原生支持 “慢教师—快学生（Slow Teacher, Fast Student）” 的双系统协同演进范式：

慢教师系统（System 2：TGL Deliberative Loop）：大模型智能体作为“慢教师”，负责在陌生环境与高难度任务中进行深思熟虑的因果推理、工具调度与容错自愈，并在真实物理交互中过滤掉失败动作，生成高质量、经过全流程物理验证的专家执行轨迹缓冲池；
快学生系统（System 1：Distilled Reactive Policy）：利用慢教师积累的高质量轨迹数据集，在后台异步蒸馏训练紧凑高效的高频响应策略（如 50 Hz 的 Diffusion Policy 或局部动作分块策略），用于在常见工况下执行毫秒级流体般平滑的熟练操作；
异常无缝接管机制：当快学生策略在执行中遭遇未见扰动或物理检验失败时，底层监控系统立即触发异常中断，控制权毫秒级回切给慢教师智能体进行深度因果诊断、策略修复与技能扩充，从而兼顾了即时响应速度与复杂长程泛化上限。

查看原图 ↗

图 6. TGL 的整体系统视图，虚线路径表示拟议的快速策略训练与多机器人共享。

基准评测表现与实验洞察

我们在主流机器人操作基准 LIBERO 与更加注重分布外扰动测试的 LIBERO-Plus 环境中，对 TGL 进行了严苛的定量评测与消融实验。重点考察了以下几个核心维度：

少样本甚至零样本技能转化率：在仅提供 1 至 3 条示范轨迹的前提下，TGL 能否准确提炼出子目标因果结构，并在空间位姿、物体外观发生显著偏移的测试场景中成功复用；
再训练成本消除效果：对比主流参数微调算法在新增 10 项连续任务时的累计算力消耗与历史任务保留率；
闭环物理核验与有界自愈的容错贡献：量化检验在人为施加外部物理扰动（如抓取时轻微推碰物体、遮挡目标局部特征）时，自愈模块对任务最终成功率的提升倍数。

实验数据充分证明：

TGL 在仅需极少示教的前提下，展现了远超传统小样本模仿学习基线的分布外泛化能力；
由于策略权重全程完全冻结，系统对历史已掌握任务的成功率实现了理论上的零衰减，彻底消除了困扰连续机器人学习的灾难性遗忘顽疾；
显式物理检验与自愈循环将偶发执行故障的现场化解率提升了数倍，使长时序复合任务的稳定运行成为可能。

总结与工程反思

TGL 的探索揭示了一个被深度学习热潮所部分遮蔽的事实：机器人的通用操作能力并不必然等同于一个无所不包的超大规模端到端神经网络。

通过将高级常识推理、度量几何工具、确定性阻抗控制与显式双层记忆深度融合，我们证明了在完全不触动网络权重的条件下，机器人同样能够展现出强大的学习、适应与能力沉淀特性。这套将知识保留为可检查、可干预、可复用显式对象的系统架构，为走向真正低成本、高可靠、可持续进化的具身智能机器人系统提供了坚实的理论与工程参考。

面向嵌入式视觉系统的体素化三维高斯稠密视觉 SLAM

Wed, 13 May 2026 00:00:00 +0000

稠密建图与存储开销

基于稀疏特征的 SLAM 精度不错，但地图太稀疏，派不上用场。导航、路径规划和避障要的是表面信息，而不是一团关键点。稠密建图被研究了这么多年，原因就在这里。

稠密方案各有各的代价。DTAM、Kintinuous、ElasticFusion 这类经典稠密融合系统吃内存、速度慢，精度也因此受损。神经辐射场 SLAM 的几何质量更好，却背着一个隐式解码器，渲染不再是光栅化，而成了一次网络推理。3DGS 看上去正是答案：高保真实时渲染，没有解码器，也不需要体积积分。

接下来是部署。一个高斯泼溅 SLAM 系统要表示一间小屋大小的场景，通常得占 500 MB 以上。这个数字划分了演示和真能在机器人上跑起来的东西，也是这项工作的起点。

冗余由 SLAM 制造，而非高斯本身

最容易得出的结论是：高斯基元本身就昂贵，解决办法是压缩。我们认为并非如此。诊断才是这篇论文里我们最希望被读到的部分。

我们观察了这些系统生成的高斯椭球，发现它们的几何相似度远高于原始 3DGS。把高斯归一化到零均值之后再度量相似度，问题就归结为比较协方差，这一步把形状和大小从位置里剥了出来，KL 散度也随之只反映形状与尺度。SLAM 系统里呈现的分布是一根又高又窄的尖峰，离线方法的曲线则低而宽。这些系统在反复存储同一个椭球的近似副本。

原因不在基元，而在优化调度。有两个结构性差异能解释它。

离线 3DGS 一次性拿到全部图像，在所有图像上联合优化，挑选关键帧时也从整个集合里随机采样。SLAM 系统按时间戳顺序接收帧，必须等当前帧训练完成才能处理下一帧，而且只优化被选中的关键帧。同样的基元，顺序的、局部范围的优化，得到的分布却完全不同。在线这一套流程，在某种程度上放大了几何相似性。

这个区别之所以重要，是因为它决定了哪些现成工具能用。离线压缩这一支文献，包括紧凑高斯表示、轻量高斯剪枝、自组织高斯网格，全都假定从一开始就拿到了所有图像、所有位姿和对应的点云。SLAM 是增量优化的。这些方法无论离线效果多好，在结构上就已经出局。

查看原图 ↗

锚点承载结构，逐视角解码生成高斯属性。

在线压缩为什么棘手

压缩一张已经建好的地图是一回事，在线做要难得多，原因有三。

离线 3DGS 用一个完整带位姿的点云初始化高斯。SLAM 里这样的点云只覆盖相机走过的地方，于是该在哪里增加表示能力，只能基于一张残缺的地图在线判断，而且不知道后面会出现什么。

删除必须因果。判断一个高斯还有没有用，不能去查完整训练集，因为未来的视角还没到。

只看透明度也不对。一个高斯可能透明度很低，却在多个视角里都很关键；也可能占着一块有用的体积，只是颜色贡献不多。把体积和透明度放在一起看，才更接近我们想要的标准。

让网络自己学这个决策，还有一个特有的失效模式。我们的掩码损失把掩码值往下压，稀疏先验本来就是起这个作用；可如果一直压下去不停，优化最终会把地图里每一个高斯都消掉。单向的正则项没有重置，会毁掉它正在正则化的那个东西。

最后，这里的压缩不是后处理。离线压缩量化的是一个已经完成的东西；在 SLAM 里，码本和仍在优化中的属性一起学习，量化器追的是一个还在移动的目标。

先减锚点，再减比特

压缩分两层，顺序不能颠倒。

第一层是结构层面。我们不再存高斯，改存锚点（anchor）。一个锚点由体素中心、一个规模很小的学习特征、一个尺度以及一组偏移组成。高斯中心由体素中心加上每个偏移乘以该锚点的尺度生成；透明度、旋转、尺度和颜色这些剩余属性，则从锚点特征连同当前的观察距离与方向解码得到。承载表示的是结构，而不是一个个基元；解码又依赖视角，所以细节是按视角生成的，不需要按高斯存下来。

第二层是参数层面，等锚点数量降下来之后才动手。偏移和尺度是每个锚点都必须携带的几何信息，比特主要花在这里。我们用级联的残差矢量量化（residual vector quantization）压缩它们：第一个码本给出向量的粗略近似，之后每一级只量化前面几级留下的残差，索引通过在当前的残差上做最近邻搜索选出。

这个类比来自神经音频编码，而且很贴切。第一个码本粗略描述这个数，后面的码本只描述剩下没说到的部分。码本在整个场景里共享，就像一张调色板被整幅图共用。我们用 K-means 初始化它们。

有两个权衡值得摆出来。级数越多，要存的残差层级越多，推理越慢，而换来的收益很有限。码本越大，很多索引根本用不上，却照样占内存和训练时间；码本小了，精度就要付代价。论文的配置是在大小为 64 的码本上做六级残差量化。另外，缩写值得向接触过粒子滤波的读者说清楚：残差矢量量化和粒子群优化彼此毫无关系，这项工作里也没有出现任何粒子滤波。

查看原图 ↗

每一级只量化前面几级留下的残差。

哪里优化不动，就在哪里生长

没有运动恢复结构点云可以用来打底，容量该放在哪里就得到线上找答案。我们用的信号是梯度。

如果某个体素里的高斯在连续若干次迭代中始终给出较大的平均梯度，说明优化器在这个位置上还在挣扎，也就有理由认为当前表示无法表达数据想要的东西。当这个平均梯度超过阈值，且该体素中心还没有锚点，我们就种一个下去。候选会被随机淘汰，避免增长失控；无足轻重的锚点则通过累加其高斯的透明度被剔除。

三个分辨率并行工作，每层体素边长缩小到四分之一，梯度阈值翻倍。粗体素吸收墙面、地板这类大块几何，细体素处理椅子腿这样的细节。只用一个体素尺寸，就得让同一个选择同时应付两者，这套多分辨率阶梯因此存在。

初始化是另一条路径：建图开始时，在累计透明度偏低、或者渲染深度与实测不一致的地方采样点。

掩码是调光器，不是开关

在一个滑动窗口（sliding window）内，每个高斯带一个可学习的掩码参数，再经由带停梯度的直通（straight-through）形式变成二值掩码。渲染之前，这个掩码乘在高斯的尺度和透明度上，被掩掉的基元是从画面里淡出，而不是从数据结构里删掉。真正的移除发生在窗口边界，那里我们同时看命中频率和学习到的掩码。

这个窗口是短期记忆，组成有明确定义：当前帧、与它重叠最多的那个关键帧，以及与当前深度点云视锥重叠最高的两个较早关键帧。视野之外的一切都被视锥剔除冻结，过去的几何因此保留下来，待优化的参数也少了一批。掩码只在关键帧上运行。

让这套机制安全的是重置这个细节。在窗口边界处，移除执行完之后，梯度和掩码一起清零，系统可以重新学。少了这一步，前面说的稀疏压力就再也没有阻力，地图会把自己擦掉。

窗口大小是实打实的权衡，不是随手调的超参数。窗口太大，会把本来还在干活的高斯掩掉，精度受损；窗口太小，内存和优化质量都要付出代价。

查看原图 ↗

掩码调节尺度与透明度；移除发生在窗口边界，随后掩码与梯度被重置。

跟踪依赖刚刚压缩过的地图

驱动跟踪的有三路信号，它们都来自同一次 alpha 合成。颜色、深度，以及一个只累加可见性权重的轮廓通道。三者共用光栅化，所以轮廓通道几乎不额外花代价。

跟踪在深度有效的射线上最小化颜色误差平方与深度误差平方之和，并用轮廓门控：只有渲染器确信自己确实覆盖了东西的那些像素才被信任。一个 ICP 项把高斯中心与跨帧的最近点关联起来，理由是高斯本身就是一团点云，经典的几何关联方法对它同样适用。位姿用匀速前向投影初始化，消融实验认为这一步不可或缺。

这里的消融最能说明这些部件都在承重。只留深度项，跟踪直接失败；只留颜色项，跟踪能跑，但误差明显更大；去掉轮廓门控，跟踪同样失败。来自渲染器的信任区域确实在起作用，一条光度流水线看来既需要几何项，也需要一块它敢相信的区域。

束调整（BA）在两个尺度上运行。局部调整细化最近的窗口；全局阶段从一个刻意放大的关键帧数据库里采样射线，同时优化地图和位姿，并额外加了一个结构相似性项。这样做是为了在长轨迹和大场景中约束累计漂移，又不必去碰每一帧历史数据。

证据，以及它的形状

系统在 Replica、ScanNet 和 TUM RGB-D 上评测，硬件既有一个嵌入式模组，也有笔记本级 GPU；此外还有我们自己采集的多传感器移动机器人数据集，用 LiDAR、惯性单元和深度相机记录，场景面积超过一千平方米，并配有高质量的轨迹真值。做这个数据集，是为了回答标准基准回答不了的问题：地图是在移动的机器人上建的，而不是在办公桌上建的，这套表示还撑得住吗。

最有说服力的评测不是一张表格。我们把紧凑表示分别插进 SplaTAM、MonoGS 和 Gaussian-SLAM 里重跑，三者的指标都朝同一个方向改善。这条证据指向的是我们的诊断，而不是我们的系统：一个表示能同时帮到三个不同的系统，说明它触到的是这三者共有的问题。

查看原图 ↗

紧凑性才让机器人端部署成为可能。

我们从中得到什么

动手写压缩器之前，先诊断一下你从训练范式里继承来的表示。这项工作有意思的地方不在于设计了一个更好的量化器，而在于注意到顺序的在线优化会产生一种与联合优化不同、也更冗余的分布，并且在写任何代码之前先把它量了出来。

与此相关，任何需要整个数据集的模块，在增量系统里从结构上就不成立，离线表现再好也没用。就这一条约束，排掉了大部分现成文献。

压缩要分两层，先结构、后参数。只做量化，仍然有几百万个基元等着编码；只做掩码，每个基元要背的负载依旧很大。

梯度是容量分配的信号，不只是优化的副产品。这样用它，地图该在哪里更细致，就变成系统自己拿主意的事。

还有一点：任何只朝一个方向施压的学习式剪枝，都需要重置。这个模式的适用范围远超本论文。

它不处理什么

快速运动会给彩色图和深度图都带来运动模糊，而跟踪恰恰依赖这两个损失，所以运动一快性能就下降。动态物体多的场景会产生伪影和漂移，面对高度动态的环境，系统仍有局限。

我们没有实现回环检测和重定位，因此大回环上漂移能校正到什么程度是有边界的。系统只支持 RGB-D，没有单目或双目版本。另外，报告的内存数字需要向读者交代得更清楚：那是检查点大小，不是峰值显存占用，两者不是一回事。

嵌入式为什么重要

这篇论文要说的不是紧凑地图是一种可以接受的妥协，而是紧凑地图依然是一张好地图，同样的质量只需要一小部分存储。这个说法只有在存储真的构成约束时才站得住脚，这也是我们格外在意嵌入式实验的原因。能装进机器人的表示，才会真的被用起来。

MID：自监督多模态迭代去噪框架

Thu, 30 Apr 2026 00:00:00 +0000

干净版本往往并不存在

好数据是下游一切工作的前提，而采集噪声几乎无处不在：传感器本身的限制、传输错误、环境干扰，还有物理测量固有的随机性。常见的应对是先做去噪。

有两个很实际的事实让这件事比听起来难得多，本文的思路也正是从这两点长出来的。

第一，真正需要处理的噪声很少是高斯噪声。低照度成像中的泊松噪声、压缩伪影，以及我们称作结构化噪声的东西（例如一组并不对应场景中任何真实结构的线段），都违反了经典滤波器赖以成立的假设。第二点更根本：在我们关心的许多领域里，干净目标根本不存在。临床影像和遥感经常没有可供对照的无噪参考，也无从采集。论文里的 MRI 实验之所以用替代指标评分，正是因为那些数据集拿不到干净的 ground truth。

训练信号只能从别处来，指望不上成对的干净样本。整个问题就落在这个约束上。

已有方法为什么都是有条件的

经典的去噪方法，从滤波、变换域阈值到非局部均值，都针对特定的噪声模型和数据类型来设计。噪声统计一旦偏离当初的假设，效果就迅速下降。

有监督深度去噪绕开了建模假设，但需要大量成对的干净与含噪样本。偏偏在去噪最重要的那些领域里，这类数据要么采集成本高昂，要么根本无法采集。

自监督盲点方法（blind-spot methods）曾是顺理成章的答案。我们对它的批评是具体的，不是笼统地说它不好。这类方法不需要成对数据，却带着隐藏的模态假设。先把像素遮住、再由邻域把它预测回来的技巧，靠的是图像的空间相关性。点云是无序的，氨基酸序列离散且无结构。对数据不作任何断言的方法能走到这些场景；暗中假设空间平滑的方法走不过去，表现出来的症状就是过度平滑和细节丢失。

特定领域的专用方法也各有各的条件依赖。Noise2Noise 会把细小的解剖结构抹平；Patch2Self 利用了体数据之间的冗余，却要为每个体数据单独训练一个模型，体数据之间的空间一致性容易出问题；DDM2 对初始噪声水平和模态相关的调参都很敏感。到了表面肌电（sEMG），高通滤波能滤掉 ECG 干扰，但信号里重要的低频成分会随之一起被滤掉，因为两者在频域上重叠；模板相减预设了固定的分布形式；神经网络方法常常训练不稳定。蛋白质序列筛选上，常用的按平均汉明距离做贪心选择只依赖一条准则，无法反映序列质量的更多侧面。

我们没有用跑分表来定位，而是画了一张能力矩阵。要回答的问题是：哪些方法既自监督，又能同时处理图像、信号和点集。这个领域里的大多数方法只能做到三样中的两样。

难点在哪里

非线性退化的逆过程没有可用的闭合形式。直接反演泊松噪声、压缩伪影或具有集合结构的干扰都很困难，我们自己的消融实验给出了硬做的结果：单次前向的网络几乎不改变输入数据。网络很难一步学会从含噪到干净的巨大跳跃。这不是实现层面的失误，方法之所以长成现在这样，原因就在这里。

输入的污染程度同样是未知的。含噪样本不会告诉你自己位于退化轨迹的哪一段，也就无从判断该去掉多少、该走几步。

自监督信号只能自己造，捡不到现成的。没有成对样本，能用的标签全是自己生成的，而且它们要同时服务两件事：输入处在退化的哪个位置，以及下一个增量长什么样。

有些时候，噪声根本不是数值。错误的对应关系、无效的线段、冗余的序列，都不是附加在某个量上的幅度，而是关于某个元素该不该留下的判断。要把这类东西减掉，先得把干扰改写成逐元素的属性，这些任务因此采用二分类目标，而不是对残差做回归。

无序、离散的数据直接推翻了常规先验。点云没有顺序，多序列比对是一组离散字符串，按空间网格共享权重、做卷积这类手段在这里都用不上。

方法里还内含着一种取舍。支撑它的一阶近似只在增量足够小时成立。小增量换来线性性，代价是推理时冗长的循环。

继续加噪，就是恢复：局部线性化与数学形式推导

我们的出发点足够反直觉，不妨直说：要学会去掉噪声，得先往里面加更多噪声。

含噪观测不是放在一旁的干净样本的退化版本，它是退化轨迹上的一个状态，而这条轨迹你可以自己接着走。把含噪输入当作起点，一遍遍施加同一个退化过程，就得到一架带标签的梯子：每一级与下一级之间差了多少噪声，你心里清楚，因为差额是你自己加进去的。

设未知的退化流由连续算子族 $\mathcal{D}_t$ 生成，对任意干净真实物理状态 $x \in \mathcal{X}$，在连续参数 $t \in [0, 1]$ 下形成退化轨迹 $s(t) = \mathcal{D}_t(x)$，其中 $s(0) = x$ 为理想无噪数据，而实际传感器捕获的含噪观测 $y$ 对应某个未知时刻的中间态 $s(t_0)$。因为真实物理逆向算子 $\mathcal{D}_t^{-1}$ 通常高度非凸且严重病态，直接求解全局逆映射 $x = \mathcal{D}_{t_0}^{-1}(y)$ 无法通过单次网络前向可靠收敛。

MID 的关键洞察在于：尽管我们在无监督条件下无法直接求解终点 $s(0)$，但退化过程本身在局域具备可模拟性与增量延续性。定义一个步长为 $\Delta t$ 的增量退化算子 $\mathcal{T}_{\Delta t}$，满足：

$$ s(t + \Delta t) = \mathcal{T}_{\Delta t}(s(t)). $$

对该算子在局部状态 $s(t)$ 处作一阶展开：

$$ s(t + \Delta t) \approx s(t) + \mathbf{J}_{\mathcal{T}}(s(t)) \cdot \Delta t + \mathcal{O}(\Delta t^2), $$

其中一阶残差增量记为 $\Delta s_t \equiv s(t + \Delta t) - s(t)$。若将增量退化步长限制在局部微扰范围内，非线性算子的单步逆向操作即可近似表示为一阶残差的线性相减：

$$ s(t) \approx s(t + \Delta t) - \Delta s_t. $$

这种局部一阶近似的核心前提，是假定局部雅可比矩阵在微小步长下接近单位阵，或者非线性形变的主导分量已可被紧邻状态的差分向量充分吸收。这使我们摆脱了对全局非线性反问题的强求，将其转化为一系列局域可逆的微小单步。从一级到下一级的这一步按加性处理，它的逆自然就是减法。噪声网络要预测的残差，就是我们自己生成的两个相邻状态之差。

两个网络，两个问题：联合损失与自适应循环

框架提出两个彼此独立的问题，正因为把它们分开，同一套做法才能搬到不同领域。

第一个问题是：我现在在哪？阶段预测网络 $E_\phi(s)$ 回归输入在轨迹上的归一化位置 $t \in [0, 1]$。不确定这一点，就无从决定该减掉多少。

第二个问题是：该去掉什么？噪声预测网络 $R_\theta(s, t)$ 接收当前状态和估计出的阶段，输出下一步要减掉的增量。两个网络联合训练，这种解耦是有意为之：一个决定往回走多远，另一个决定每一步卸下什么。

在训练阶段，我们在含噪样本 $y = s_0$ 的基础上，自主施加 $K$ 步已知增量退化，构造级联状态序列：

$$ s_k = \mathcal{T}^{(k)}(y), \quad k \in \{0, 1, \dots, K\}, $$

对应的归一化退化阶段标签为 $t_k = \frac{k}{K}$。由于每一步的状态跃迁差值 $\Delta s_k = s_k - s_{k-1}$ 均为完全已知的自生成监督信号，阶段网络与残差网络的目标函数可分别显式写为：

$$ \mathcal{L}_{\text{stage}}(\phi) = \frac{1}{K} \sum_{k=1}^K \| E_\phi(s_k) - t_k \|_2^2, $$$$ \mathcal{L}_{\text{res}}(\theta) = \frac{1}{K} \sum_{k=1}^K \| R_\theta(s_k, t_k) - (s_k - s_{k-1}) \|_2^2. $$

在测试推理阶段，对于未知污染程度的初始输入 $y$，系统首先调用阶段估计器得到起始估计 $t^{(0)} = E_\phi(y)$。随后进入反向去噪迭代，在第 $m$ 步执行更新：

$$ s^{(m)} = s^{(m-1)} - R_\theta(s^{(m-1)}, t^{(m-1)}), \quad t^{(m)} = E_\phi(s^{(m)}). $$

循环终止条件为 $t^{(m)} \le \epsilon$ 或步数达到上限。轻度污染的输入走的步数少于重度污染的输入，迭代次数随数据自适应，不需要预先设定调度。之所以一步步迭代，而不是一次把噪声全部拿掉，是因为多次小幅修正比一次大幅修正更能保住细节。单次前向被迫一次猜完整段距离，结果往往是过度平滑并丢失高频结构。

查看原图 ↗

阶段预测器和噪声预测器联合训练，推理时按顺序使用。

查看原图 ↗

逆向自监督恢复循环沿着退化轨迹，把含噪输入一步一个增量地带回更干净的状态。

去噪是一种问题框定：四维几何匹配与离散集合推广

对我们来说，这项工作最有意思的地方不是图像上的结果，而是把同一套形式指向那些没人会叫作去噪的问题时发生的事情。

图像对应关系变成四维点云：一对匹配就是两幅视图中各取两个图像坐标所确定的点 $p_i = (u_i, v_i, u'_i, v'_i)$，汇聚为无序集合 $\mathcal{P} = \{p_1, \dots, p_N\}$。错误匹配是不属于几何对极约束的点。然而在无序集合中，常规加性相减失去了物理含义，因为一个错误的几何对应关系无法通过“在坐标上减去某个浮点向量”变成正确的对应关系。

因此，MID 将算子推广为基于集合注意力的逐元素判定。噪声目标改写为逐元素的二元交叉熵损失：

$$ \mathcal{L}_{\text{set}}(\theta) = - \sum_{i=1}^N \left[ c_i \log \sigma(R_\theta(\mathcal{P})_i) + (1 - c_i) \log (1 - \sigma(R_\theta(\mathcal{P})_i)) \right], $$

其中 $c_i \in \{0, 1\}$ 表示在自生成退化过程中注入的合成外点标签，$\sigma(\cdot)$ 为 Sigmoid 激活函数。网络不必回答该从错误对应里减去多少数值，它要判断的是这个元素该不该存在。用于消失点估计的线段同样变成无序点集，训练时把随机线段当作几何外点反复加入。

多序列比对则把平均汉明距离偏低的冗余序列视为噪声。最后这个例子里，噪声是真实的氨基酸序列，这足以说明框架评估的是数据质量，而不是合成出来的假象。干扰一旦被表述成可移除的东西，几何估计中的外点剔除、对应关系筛选、线段过滤和序列抽样，就是同一个问题换了身衣服。乘性噪声在对数域可以变成加性，论文提到并用到了这一点。

查看原图 ↗

去除图像噪声的同一套形式，也用来识别错误匹配。

方法是怎么搭起来的

图像和医学体数据用 CNN 主干做阶段预测，上面接全连接层，增量由 CNN 编码器-解码器给出。点集和一维信号，包括对应关系、线段、氨基酸序列和表面肌电，两个网络都使用全连接层加 Transformer 编码器-解码器。理由前面已经说过：卷积假定数据有空间顺序，无序集合没有，所以是结构跟着数据走，而不是让数据迁就结构。

没有一个领域拿到专门定制的公式，这正是这样搭建的目的。同一套方法用在图像散斑、MRI 噪声、肌肉信号污染、几何外点、错误对应、无效线段和冗余蛋白质序列上，变的只有主干。

查看原图 ↗

这里的干扰是真实序列，而不是合成出来的假象。

我们从中学到了什么

监督信号不必来自干净终点，它可以由你自己继续施加一段可模拟的退化来制造。正是这一处替换，让框架在成对数据不存在的地方也能用。

局部线性化加迭代，把一个无解的全局逆问题变成一串可解的局部逆问题，消融实验就是证据。单次前向的模型失败时，正确的反应不是把模型做大，而是分解。

把“我在哪”和“该去掉什么”分开，是同一套框架能够迁移的原因。相比任何结构上的选择，这项解耦才是可复用的部分。自监督策略里藏着模态假设，值得逐个审视。对数据结构不作任何断言的表述，会比暗地里要求平滑性的表述走得更远。迭代是保住细节的机制，而不只是优化上的便利。

它在哪里止步

极端噪声是论文明确指出的失效场景。信号结构几乎被完全淹没时，局部线性化展开的前提不复存在，迭代相减能依赖的部分结构太少，后续工作我们指向生成式先验这个方向。

第二个代价是时间。迭代必然比单次去噪慢，对实时使用是瓶颈。我们建议的补救办法是知识蒸馏和更高效的采样。

方法里还有两件事我们看得见却没有刻画清楚。加噪步数和每步增量的大小属于设计选择，不是推导出来的量，我们没有研究方法对它们的敏感性。阶段估计的误差还会在随后的每一次相减中累积，这种传播值得我们投入比现在更多的关注。

这属于哪一类模型：与扩散模型（DDPM / Score-SDE）的本质边界

有一条边界值得说清楚，因为每次谈起这项工作都会碰到它。MID 不是生成模型。

扩散模型基于随机微分方程（SDE）框架，其前向过程设计为一个显式的 Ornstein-Uhlenbeck 漂移扩散过程：

$$ \mathrm{d}x = f(x, t)\mathrm{d}t + g(t)\mathrm{d}w, $$

其核心数学要求是当 $t \to T$ 时，边缘分布必须渐近收敛至已知的各向同性高斯先验 $p(x_T) \sim \mathcal{N}(0, \mathbf{I})$。这导致扩散模型本质上是在学习经验数据分布的分数函数（Score Function）$\nabla_x \log p_t(x)$，核心价值是从纯白噪声中随机采样出符合经验分布的新数据。

MID 的定位与此存在本质差异：

先验分布假设不同：MID 从未假设退化的终点是高斯分布。它的退化算子可以是物理传感器的暗电流截断、结构化几何外点插入或离散字符冗余。
目标函数不同：MID 并不最小化数据分布与高斯先验之间的 KL 散度，它学习的是确定性或准确定性的局域退化位移向量场，目标是恢复特定观测实例在物理退化前的原生状态，而非采样新的可能态。
输出特性的确定性：这也决定了 MID 不具备“无中生有”的生成能力。当输入信号被极端噪声完全破坏、拓扑结构荡然无存时，局域展开假设失效，MID 无法像生成模型那样基于模式先验凭空重构出看似逼真但未经测量的幻觉细节。这种保守性在科学计算与医学诊断等不可容忍虚假幻觉的场景中，反而是至关重要的安全属性。

它去掉的是训练中见过的噪声，输出是输入的更干净版本，不是新样本。这条界线让框架对自己能承诺什么保持诚实。

迈向视觉-声音-语言-动作范式：面向声音中心操作的 HEAR 框架

Tue, 17 Mar 2026 03:22:30 +0000

听不见物理的机器人

现在的视觉语言动作模型会看、会理解语言、会运动，唯独不会听。它们工作在一个近乎无声的世界里，而机器人所处的环境其实满是声音：水烧到将沸时的嘶嘶声，碰撞那一下清脆的咔嗒，满容器与空容器截然不同的音色，材料从弯曲转向开裂的那一瞬间。这些声音都在编码相机无法还原的物理状态。

接触声学是能拿到的最便宜的触觉传感器：一只麦克风几美元，不用接触物体，而且一次覆盖整个工作空间。支持这么做的理由并不空泛，问题在于还没有人做出真正能用它的策略。

还没问到策略，线索就已经消失

难点不在建模，把它框成建模问题，恰恰是早先的方案没能解决它的原因。难点来自那套让大规模 VLA 模型得以落地的控制架构。

大骨干网络跑不到控制频率，于是通行做法是动作分块（action chunking）：模型一次给出未来的一小段指令，机器人开环执行完这一段，才轮到模型被再次查询。物理恰好发生在这段空隙里。碰撞、溢锅、按到底，都是短促且不可重复的声学事件，量级在一百毫秒左右，而它们往往整段落在策略没有在看的区间内。在 30 Hz 的控制频率下，一个动作块平均长约一秒。

这个后果要说准一点，因为它和大家通常的假设不一样。反应慢只是延迟；这里真正发生的是证据被销毁。声音到了，没有人在听；等再次查询策略，窗口里只剩安静。如果事件的采样在下一个窗口打开之前就已经结束，窗口里不会留下它的弱化版本，而是什么都没有。我们把两次决策之间的这段间隔称作盲执行区间（Blind Execution Interval），blind 这个词是实打实的。

还有第二类失败，和时序无关。设想机器人守在一台运转中的电器旁边。场景接近静止时，等一秒和等十秒，当前这一帧图像一模一样。专家示范却不同：下一步该做什么取决于已经等了多久，观测本身不体现这一点。只看单帧的策略分不清这两种处境，于是要么慢慢漂移，要么干脆停住。这正是时间上下文本该解决的混叠问题，而离开声音，它确实无从观测。

早先的尝试漏掉了什么

把音频转成文字是最先冒出来的念头，偏偏丢掉了我们需要的东西。语音识别前端会把非语音线索和韵律整个扔掉，还把时间压成离散 token，一声提示音什么都产生不了。更微妙的是，肯定的语气与犹疑的反问会坍缩成几乎相同的 token 序列，语用意图上的差别就此消失，而转写准确率看上去完美无缺。

第二种直觉是把波形画成图像，当作又一路相机视角。它能反映幅度变化，却掩盖了频谱结构，也就是频率轮廓与音色，材料和接触的信息恰好藏在那里。这种表示还对事件落在渲染窗口里的位置很敏感，性能起伏的原因与物理本身无关。

更近的一条路线把语音接进 VLA 模型，保留韵律和说话人身份。这是实实在在的进展，但它对准的是明确的口头命令，而不是操作过程里环境自身的声学物理，这是另一个题目。全模态系统离得更近，我们的保留意见则是结构性的：它们的设计是先听后做，用声音建立上下文、推断一次动作的意图，而不是把声音当作接触过程中的低层反馈。以上工作都没有处理瞬时事件与分块执行之间的错位，而那才是真正的瓶颈。

CLAP、ImageBind 这类音频基础模型在定长片段上离线、各自独立地训练，部署时又是无状态的，片段之间带不了任何时间上下文。紧凑的音频原生策略跑得快，也处理得了接触，但规模摆在那里，长时程、多阶段的行为很容易垮掉。原生处理音频是必要条件，远不是充分条件。

最容易想到的捷径是提高重规划频率：把动作块截短，查询得更勤，盲区间自然缩小。这些变体我们都试过。收益比看上去应该有的小得多，代价却落在运动质量上：轨迹不连续，抖动明显，还会引入局部的动作循环。它也修不好系统延迟，再高的查询频率都消不掉延迟。因为延迟丢掉的那条线索，问多少次都是丢的。

基准测试同样帮不上忙，因为标准仿真器都是无声的。RLBench 和 ManiSkill 在完全没有声学通道的环境里考察空间推理与视觉控制。真正用声音的导航基准允许智能体移动底座来改善听音几何，机械臂没有这条路：它必须一边干活，一边产生自己的机械噪声。

把感知节拍和决策节拍分开

我们的答案来自一个判断：这是速率不匹配，不是信息缺失。声音一直在，只是策略被问得太少，接不住它。

于是，与其把策略做得更快，我们把两种速率解开。一份持久记忆跟着音频流逐包更新，不看策略何时发起查询。等到真正要决策，记忆里已经装下了此前到达的一切，包括发生在盲区间里的事件。机器人回应的不是上一个窗口，而是刚刚过去这一秒的聆听，其中浓缩着近期的历史。

这是整个设计的核心动作，架构里其余部分都是围着它做的记账。需要一个东西记住，一个东西解释，一个东西预测接下来的声音，还有一个东西去行动。我们照着这个分工给它们起了名字。

两条约束塑造了设计。其一，音频通路必须严格因果：任何环节都不能去看尚未到达的采样，分词器为某一段生成编码时也只能依赖这一段本身。其二，记忆跨度要是指标，不能是运气。它得覆盖最坏情况下的决策间隔，再加上实测的系统延迟，否则这个保证就只是统计意义上的。

四个模块

Historizer。 两次决策边界之间，机器人可能收到一长串连续的音频包，每个约四十毫秒。Historizer 在它们到达时逐一消费，更新一份流式的有状态 Transformer 记忆。这份记忆只在决策时刻读出，其余时间不读。它存在的全部理由就是前面那条证据消失的论证：只开一个窗口的接口，表示不了窗口打开前刚刚发生的事。我们也试过因果 GRU，以及把指数滑动平均池化用在音频特征上；流式注意力多出来的容量对得起它的开销。我们最终选的是短窗口加持久摘要，而不是超长窗口，因为长窗口会把不同的交互阶段搅在一起，结果还取决于窗口边界恰好切在哪里。

Envisioner。 解释分成两层，因为两件事的频率差得很远。高层模型读取多视角图像、当前声学窗口、指令、本体感觉和记忆，产出三样东西：语义隐向量、KV cache，以及一段对当前任务阶段的简短结构化描述，形如 {"stage": "wait", "subgoal": "listen for beep"}。这段阶段文本出自高层模型自己的文本头。随后一个更小的低层模型复用该 cache，结合当前机器人状态得到控制特征。这样分层，把昂贵的语义解释挡在快路径之外。阶段监督比看上去更要紧：少了它，需要快速改变行为的任务会明显变差，因为没有任何东西迫使隐向量说出自己处在哪个阶段，而声学上有意义的阶段，在视觉上往往长得一模一样。

Advancer。 它预测从当前决策到下一次决策之间会到达的声音，形式是流式分词器给出的离散编码，以交叉熵训练。这个模块只在训练时使用，部署时直接丢掉，推理阶段不花任何成本。它的作用，是让隐向量对时间流逝和过程推进有具体的感知。倒水、沸腾、报警、对话，各自的声学未来都不一样；把未来预测出来，会逼着共享表征编码出机器人此刻位于过程的哪一步。没有它，失败的样子和 Historizer 缺席时不同：失败来得晚。声音已经告诉机器人该停了，它还在继续倒。正是这种不对称说明，两个模块解决的是不同的问题，而不是彼此重复。

Realizer。 动作由条件流匹配生成，从高斯先验积到动作块，用几步 Euler 积分解出，控制特征通过自适应归一化注入条件。选流匹配而不是扩散，图的是步数少。这里有个细节要多说两句：平滑为什么重要。把 Realizer 换成直接回归会产生抖动，抖动把机械自噪声灌进麦克风信号，盖住系统其余部分正想听清的那些短促线索。一次由控制选择造成的感知失败。最尖锐的说法是：一边运动一边聆听的策略，必须以让聆听成为可能的方式运动。在这个场景里，感知与控制分不开。

查看原图 ↗

Historizer 把落在盲执行区间里的线索保留下来。

查看原图 ↗

高层模型负责语义和任务阶段，低层模型生成控制特征。

查看原图 ↗

Advancer 只在训练阶段使用，部署时被移除。

三个训练目标加权求和，权重在微调的前一阶段逐步升上来，模型于是先学会模仿，再被要求具备时间感。

数据从哪来：它原本并不存在

没有任何机器人数据集带同步音频。Open X-Embodiment 里根本没有麦克风；真实的同步音频噪声大、绑定具体硬件，没法跨实验室铺开；标准仿真器也都不建模声学。

这两件事我们都做了。OpenX-Sound 从视频出发，为已有的回合补上音频，同时保留全部原始信号，我们手工抽查了一部分样本，核对同步性与语义相关性。有一点要说清楚：这是给表征学习用的冷启动机制，替代不了真实的物理数据。合成音频可能漏掉细微的接触线索，可能把事件时间挪位，也可能凭空编出一个没有物理来源的声音。论文里每一个结果，都是先把 OpenX-Sound 检查点在有真实音频的任务专属示范上微调之后得到的。合成音频让预训练的声学先验成为可能，真正让行为奏效的，是后面那些真实数据。

另一半是 HEAR-Bench。它建在双臂仿真器上，另起一个异步音频线程，按控制周期推出的精确采样位置注入环境噪声和触发片段，并且只有在提示音之后达成几何目标才判成功。那条时序规则就是它的全部贡献。没有它，回合一开始就按下按钮，和闹铃真正响起时再按，看上去毫无区别。

真机实验的精心设计：为什么是这几项任务？

在验证端到端多模态具身大模型（VLA）的声音感知操作能力时，我们没有随意选取玩具场景，而是针对纯视觉策略在物理世界中的根本盲区，精心设计了每一项真机实验：

1. 摩卡壶煮咖啡：真正的机器人咖啡师 vs 虚假的开环按键

现存绝大多数声称“机器人煮咖啡”的研究或演示，本质上只是让机械臂走到商用胶囊咖啡机或全自动咖啡机前，开环按下一个固定的塑料按键，然后静止等待内部集成芯片完成倒计时。这种操作根本不需要感知物理状态，本质上只是一次机械开关触发，没有任何温度、流体或烹饪物理变化的理解。

我们在真实厨房台面布置了意大利经典的金属摩卡壶明火加热萃取任务。摩卡壶由完全不透明的双层金属腔体构成，内部加压沸水、滤网咖啡粉饼以及向上喷涌的咖啡液完全深藏在金属壳体内，外部视觉相机与红外传感器根本无法穿透金属窥视内部液位与流动。

一名经验丰富的专业咖啡师绝不依赖秒表，而是全凭双耳监听锅炉内部的声音变化：

静默加热相：底壶水温逐渐上升，仅有微弱的热传导声；
平缓沸腾与层流萃取相：水蒸气压力推动热水穿过粉饼，发出持续、温和的轻微咕嘟声；
暴烈喷溅爆发相（Sputtering Phase / 气穴空化喷涌）：下壶水即将耗尽，高温高压蒸汽混合残存咖啡液从导流烟囱剧烈喷出，伴随着极具辨识度的“嘶嘶喷溅”声。

这是决定咖啡品质的绝对分水岭：早一秒离火，萃取不足导致口感酸涩水感；晚两秒离火，干烧将导致咖啡粉过萃焦苦甚至烧毁壶底。

HEAR 是真正的机器人咖啡师：它通过端到端 VLA 大模型实时监听高频声学频谱的突变，在捕捉到微弱喷溅声涌现的瞬间，以毫秒级响应发出离火动作块，将摩卡壶稳健移离电热炉。

查看原图 ↗

对比传统开环按键与 HEAR 监听金属摩卡壶内部声学相变的本质差异。

2. 摇瓶辨物：主动声学探测（Active Acoustic Probing）

在日常生活中，大量药品瓶、食品罐、封闭包装盒都是完全不透明的。被动视觉观测在面对不透明容器时彻底失效（无论如何调整相机视角，都只能看到静止的外表面）。

机器人必须具备“主动感知（Active Exploration）”的能力：先通过抓持摇晃瓶体施加外力激发碰撞，再从物体撞击容器壁的高频碰撞音色、共振阻尼与撞击频率中，解耦出内部是否存在物体、物体的物理材质与充盈程度。在真机演示中，我们采用装有实物的非空瓶，展示机器人通过主动摇晃准确捕捉内部撞击音并做出分类判断。

3. 真实闹钟：视觉静止下的时序混叠消歧

闹钟在静止状态与响起状态下，视觉外观完全相同。若无声学反馈，端到端策略很容易因捷径学习（Shortcut Learning）直接按停按钮。实验要求策略必须在闹铃真正骤响时才瞬间响应，验证 VLA 对瞬态声学触发事件的时间对齐精度。

4. 往不透明容器倒水与接听电话

往不透明容器里倒水，是声音成为唯一信号的典型场景。液面完全被遮挡，真正的决策变量是水流撞击容器底部与共鸣腔体缩小时倒水声的频率上升变化率。接听电话则检验长程复杂流程中，机械臂根据电话铃声响起到位、根据人声对话停顿判断聆听、并在通话结束挂断音响起后执行复位挂机，验证端到端 VLA 在连续声学事件驱动下的多阶段状态流转。

真机实验视频

所有演示均保留现场真实声音；点击后播放。

摩卡壶煮咖啡机器人化身咖啡师，监听封闭金属摩卡壶内部的剧烈喷溅声，精准判定萃取完成并执行离火。

接听电话铃声、语音和通话结束声帮助机器人区分视觉上相似的任务阶段。

摇瓶辨物机器人主动摇晃不透明容器，通过内部实物撞击的碰撞音色与共振阻尼判定所装物品。

真实闹钟机器人等闹钟真正响起后才按下停止按钮。

核心技术沉淀与工程认识

将高频连续声学信号深度融入端到端具身大模型（VLA），远不止在模型输入端增加一个声学特征编码通道那么简单。传统做法将声音当成额外的视觉通道对待，但声音的物理本质是事件驱动的高频瞬态信号，它要求端到端大模型在底层架构层面解决异步时序节拍的解耦与对齐。

这种张力并不局限于声音。任何以高于策略查询频率产生短促、不可重复事件的接触物理模态（最典型的便是高频触觉与微振动），都会遭遇同样的速率不匹配瓶颈。这种速率与因果不对称性，无法通过单纯把 VLA 大模型推理速度做快来解决。

单纯提高大模型的动作重规划频率并不能弥合瞬态事件捕获问题，反而会由于过高的推理抖动引入控制不稳定，拿系统的长程稳定性去换取盲目的瞬态反应，只会为控制系统引入高频噪声。唯有在架构内部建立显式的局部时序状态记忆与跨模态对齐表征，才能使端到端具身大模型既具备宏观语义因果理解，又拥有毫秒级声学物理闭环能力。辅助的声学未来预测自监督目标可以在推理零开销的前提下提供紧凑的时间锚定，而严格考虑时间触发因果的评测基准，才真正把“看起来做对了”推进到“确实听懂了物理世界”。

目前还做不到的事

只有一个工作空间麦克风，既无法定位声源，也分不开重叠的事件，这实际上就是鸡尾酒会问题。我们想要一个麦克风阵列，或者用底座加末端执行器组成一对来做波束成形。系统完全靠离线模仿训练，鲁棒性受限于示范中噪声与时间变化的多样性，在真实房间里做在线微调或强化学习是最直接的补救。音频和视觉仍作为两路独立的流处理，在表征层面融合，我们猜测，能把音色与接触直接关联起来的原生视听编码器会做得更好。至于不受约束的真实烹饪声学，仍是开放问题，真机部署的难度明显高于仿真。

更大的图景

我们出发时面对的那处张力，也就是高频的瞬时感知事件与低频、带延迟的策略更新之间的落差，并不是声音独有的。每一种把信息放在时间里的物理模态都会遇到它。HEAR 是我们的一次尝试：说明修法在架构上，并且把可以复用的东西留下来，包括 VSLA 的表述、预训练语料和评测基准，让后来的人接着往上做。

MRASfM：驾驶场景中的多相机运动恢复结构与聚合

Sat, 31 Jan 2026 00:00:00 +0000

驾驶数据的形态不适合摄影测量

驾驶场景的图像重建，通常交给视觉 SLAM 去做。可一旦目标是高精地图或者新视角合成，SLAM 这条路就暴露出一个结构性的短板：它的估计是增量式的，只在局部做优化，全局修正无从谈起，长轨迹上的漂移便一点点攒起来。运动恢复结构（structure-from-motion, SfM）走的是相反的路子，一次性读入全部数据，最后统一做一次全局束调整（bundle adjustment）。离线这个特点让它上不了实时机器人，也恰恰是它在这里的价值所在，因为它可以把实时系统花不起的算力花掉。

顺理成章的下一步，是把 SfM 用在驾驶上。但驾驶数据有三个特点，让这件事比看上去难得多。

第一个是采集几何。经典 SfM 假设你绕着目标走一圈，从各个方向拍照；汽车却是沿着一条走廊往前开。视点几乎共线，而共线正是 SfM 所依赖的平移估计最怕的情形。

第二个是数据本身就是碎的。驾驶场景往往只录很短一段时间，重叠有限，覆盖同一片区域的两段行程甚至可能相隔几周。两个最终要落进同一张地图的数据集之间，常常连一张共享图像都没有。

第三个是标定，也是它改变了我们设计整套方法的思路。车辆标定本来就不容易，初值里带着误差，到了起伏路面上误差还会更大。于是出发时手上的那组外参（extrinsics），并不是真正需要的那组，可它偏偏又是能拿到的最强先验。这对矛盾贯穿了整个设计。

已有方法默认了什么

多相机 SLAM 系统精度不错，代价是把精确的相机间相对位姿与内参当成输入。标定必须在部署之前完成，换一套相机配置就很难适应，实际使用中的灵活性因此受限。

增量式 SfM 是最接近的基线，我们对它的批评也很具体。它在增量重建的过程中完全不理会相机组的先验，等重建结束，才在刚性束调整里把先验加回去。到那个时候，增量估计阶段攒下的误差已经没有机会纠正，刚性束调整也抹不掉已经烙进结构里的漂移。逐图像束调整有另一个相关的毛病：相机之间的相对位姿在帧与帧之间可能对不上。

全局多相机 SfM 确实从一开始就固定住相机之间的相对位姿，但它对误匹配敏感，而且当估计出的相对平移接近共线时容易退化。驾驶场景的轨迹默认就接近共线，所以这不是边界情况，而是结构性的隐患。

里程计引导的 SfM 押的是相反的一边，直接拿里程计位姿和相机外参做配准。这对标定精度和里程计精度要求都很高，而这两样恰恰是实地部署最难稳定提供的。这类工作用单应（homography）寻找重叠图像对，这个思路我们借用了；“先验可以信任”这个前提，我们没有借。

还有一个跟这个场景绑在一起的匹配问题。传统描述子在弱纹理图像里提不出多少特征点，而道路场景里到处都是弱纹理表面。

最后，现有的聚合模块在合并重建时，一般默认待合并的两段之间存在共享图像。真实数据里，共享图像通常并不存在。

难在哪里

先验要用，却不能被信任。外参和里程计是车上最强的信号，也是最不可靠的东西。全信，会得到一类失败；完全不用，会得到另一类。两者之间可以腾挪的设计空间很窄。

共线是真正的退化，不是数值上的小毛病。固定相机组的全局方法把成败押在相对平移估计上，直线行驶让这个估计变得病态。

失败模式恰好落在有用信号的位置上。路面在每张图像里都占去很大面积，却几乎不含纹理，于是既提不出足够的匹配，提出来的也多半不可靠。更麻烦的是车辆阴影的边缘：对比度高，会被当成特征点检测出来。阴影边缘不是场景里的一个点，阴影一动，这个特征就跟着动，等于把运动注进了路面，而那正是结构最要紧的地方。

遮挡在相机组上和单相机上完全是两回事。单目系统里，一个相机被挡住就等于全线失败；环视相机组里，其他相机仍然看得见世界。但这份冗余只有在配准真的共享位姿时才算数，逐相机独立估计会把这点好处白白扔掉。

鲁棒性也是有代价的。相机越多，束调整里要优化的位姿越多，效率随之下降。覆盖度买来鲁棒性，账单记在优化规模上，而抵消这笔开销，正是我们很大一部分设计存在的理由。

相机组才是单元

我们的做法是换掉重建的原子。不再把每张图像当作一个待求解的独立相机，而是让刚性单元（rigid unit），也就是同一时刻拍下的全部图像，成为拿位姿的那个对象。这个位姿按定义就是该时刻的车辆位姿。

好处在于，相机组的位姿可以分解成一个随时间变化的车辆位姿和一个静态的组内相对位姿。一个观测充分的相机，能把那些什么也看不到的相机的位姿一并背起来。相机组只估计一次，不必在每一帧重新学一遍。

关键在这个分解用在哪里。我们把它当作配准和束调整内部的重参数化（reparameterization），而不是事后追加的约束。就这一个决定，同时带来三件事。位姿变量从“每相机每时刻一个”降到“每时刻一个加每相机一个”。优化出的相机组在帧间保持一致，因为本来就只有一个相机组需要一致。标定也从一项必须正确的输入，变成一个可以被改正的量。

搭起一次重建

先做对应关系搜索。SuperPoint 负责检测，SuperGlue 负责匹配；匹配点落在不同语义类别的图像对直接丢掉，其余交给几何验证。图像对不是全都试一遍：手上有粗略的组内相对位姿和车辆位姿，就能估出每张图像大致的视场，只去匹配那些有机会重叠的图像对。这么过滤，效率和精度都会好一些，因为两两全匹配本身就昂贵，还会把永远不会共享内容的图像对所带来的噪声引进来。

接下来配准分三步。先在对应关系最丰富的那些图像上估计 PnP。这些逐图像的估计换算成逐单元的估计，再用局部鲁棒旋转平均和平移平均融合成一个单元位姿。该单元里剩下的每张图像，拿单元位姿和标定一复合，位姿就出来了。

中间那一步，正是本方法在前文两类失败模式之间的落点。它和全局那一类一样做平均，但平均的对象是从可靠图像推出来的单元假设，不是原始的相对平移，这才让它扛得住共线。

对这个模块的交代要诚实，而且范围很窄。它对平均位姿精度和效率的作用都很小，真正的用处在遮挡视角上；对应关系丰富的场景里，它并不显眼。我们把这个取舍写出来，而不是把这个模块说成人人受益，因为冗余的价值本来就更集中在长尾。

查看原图 ↗

某个相机被遮挡，不再让整个单元失败。

先把路面挪开

一个单元配准完成之后，我们用 LO-RANSAC 在路面点上拟合平面模型，再把它们去掉。这一步直接冲着阴影边缘的问题去。移动的阴影边缘会产生一个并不附着在场景上的特征，而它落在视野里面积最大、纹理最少的那个表面上，三角化的噪声于是默认往那里集中。去掉这些点，重建精度会提高，收敛也更快。

这里用的假设是路面局部平坦，而我们自己采集的真实场景里就有坡度变化，所以这是一个近似，不是保证。

查看原图 ↗

在噪声最集中的地方，去掉阴影驱动和纹理贫乏的点。

在相机组上做束调整

相机组束调整（camera set bundle adjustment, CSBA）优化的对象是车辆位姿和组内相对位姿，靠代换约束（substitution constraints）把每个相机位姿写成车辆位姿与相机组几何的组合，局部阶段使用 Cauchy 鲁棒损失。变量包括内参、车辆位姿、组内相对位姿和场景点。

它有两种模式，这个划分很要紧。局部 CSBA 固定内参和组内相对位姿，只动新注册的单元及其邻居。全局 CSBA 在所有已注册单元上优化全部变量，当还有大量单元没被优化时，我们就触发一次。

全局 CSBA 重新优化内参和相对位姿，这就是论文所说的在线标定（online calibration）能力。它也是实际收益的所在，因为这一步把实地最不可靠的输入变成了输出。局部 CSBA 更便宜，而它冻结的恰恰是这几个参数，取舍就在这里：便宜的模式修不了标定，能修标定的模式更贵。

从“每相机每时刻一个位姿”到“每时刻一个加每相机一个”的削减，值得多花点笔墨。六个相机跑一条长轨迹，逐图像的写法要优化出六倍于所需的位姿，而每多一个变量，就多一个噪声可以藏身的自由度。变量少了，收敛更快，结果也更一致。在这个问题上，鲁棒性和效率是同一条杠杆，这样的情况并不常见。

查看原图 ↗

车辆位姿与组内相对位姿联合优化，标定才有可能在实地越用越准。

合并没有共享图像的行程

聚合必须在没有共享图像的前提下工作，所以整套策略是粗到细的。先用卫星定位把场景放进一个全局坐标系，用轨迹中点来代表它：一个场景放在几何中心，最近的若干邻居成为候选，再由单应引导的空间图像对，从候选里挑出视觉重叠最大的那一个。

粗放置与真实位置之间差着一个未知变换，因为定位误差比对齐容差更大。那就把这个变换本身当成变量。把新场景里的一张图像重定位，得到一个更精确的位姿，由此求出粗放置与真实放置之间的变换，再用这个变换一次性把整个刚性单元注册进去。接着是三角化，然后一个基于变换的束调整优化这个变换与场景点，同时固定住参考场景的相机位姿。

配准、三角化和调整轮流迭代，直到新场景的每个单元都被吸收进来。合并后的结果接着成为下一段场景的新参考，于是聚合是链式推进的，而不是围绕单一全局锚点展开。道理很简单：链式推进，误差就不会全部来自某一次可能出错的粗对齐。

这一阶段的设计意图是，聚合在粗对齐那一步永远不必精确，只要近到足够重定位即可。

查看原图 ↗

卫星定位把场景放到大概位置，视觉再把它修准。

我们从中得到什么

物理不变量最好的用法是重参数化，而不是加约束。事后强制刚性，拦不住此前已经积累的误差；把刚性写进变量结构，误差从一开始就没有积累的机会。

先验应该用来剪枝，不该用来下结论。粗略位姿决定匹配哪些图像对、从哪里起步，几何最终仍然来自匹配到的证据。这正是我们的做法与我们批评的那类做法之间的分界。

设计时，要让先验可以被改正，而不只是被信任。把相对位姿变成可优化量，最不可靠的输入才会变成输出。

还有一点：判断一个模块的价值，要去它失败模式所在的地方看。相机组配准几乎不改变平均位姿误差，可当某个相机被遮挡时，它就是成功与失败的分水岭。聚合指标足以把一个模块的全部价值盖住。

它仍然假设了什么

方法把粗略轨迹、粗略标定和语义信息当作输入。语义从哪里来，我们只做了假设，没有交代；标签质量对结果的影响，也没有报告。

多场景聚合没做消融。大约三个候选场景这个选择，以及以几何中心为参考的启发式，论文里只做了陈述，既没有给出理由，也没有失败分析。

刚性单元完全由“同时”来定义，这个假设松动时会怎样，我们没有测。相机时间同步误差和支架形变都会破坏它，而这两点都没有讨论。在线标定只做了声明，没有刻画：全局阶段对内参和相对位姿的优化，在多大的运动多样性、多少个相机之下才是良态的，我们没有说。

平面模型假定路面局部平坦，而我们自己的部署里就有坡度变化。跨不同多相机配置的通用性只有论断，实验也只在六相机和七相机的相机组上做过。动机里提到了阴影之外的动态物体，正文里没有专门处理。

它通向哪里

如果要我们概括自己的贡献，那就是换了一个单元，其余的一切都由它推出来。这个更换换来了什么，值得说清楚：把相机组当作配准与优化的原子单元，能在复杂环境里得到稳健的位姿估计，效率也高于传统的逐相机方法。再配合路面过滤和聚合阶段，整条流程能从那些本来没打算合并的行程里，做出统一的一张地图。

我们有意从两个方向做了验证。真实车辆上的实验说明它在数据集之外也站得住，公开基准则把精度上的论断摆到传统基线旁边。这件事实际的分量在于：智能车辆能更可靠地感知周围环境、估计自身位姿，而下游任务真正消费的，就是这两样东西。

MovSAM：基于深度思考的单图像运动物体分割

Sun, 19 Oct 2025 00:00:00 +0000

一张照片里没有位移，却蕴含运动

在计算机视觉与机器人自主导航的传统技术谱系中，运动物体分割（Moving Object Segmentation, MOS）历来被理所当然地定义为一个时间差分测量问题：通过比对连续相邻视频帧，或者求解逐像素的光流场（Optical Flow），发生表观位移的像素区域便被划定为运动物体。这一时序前提是如此根深蒂固，以至于整个领域几乎默认了一个技术假设：没有时间序列，运动分割便无从谈起。

然而，在极其严苛的真实物理世界中，基于时间测量的流程频繁遭遇结构性失效：

静态意图与前驱运动：行人在斑马线边缘前倾重心、准备跨步的瞬间，其身体在像素空间内的瞬时位移几乎为零，光流法完全无法捕捉这一强烈的动态意图；
自运动（Ego-Motion）与动态物体的深度缠绕：当搭载相机的机器人或无人机自身高速移动或颠簸时，画面中所有像素都在剧烈变动。差分计算无法解耦哪些位移源自相机的刚体自运动，哪些源自环境中的独立动态目标；
动态遮挡与瞬态观测丢失：在传感器丢包、无线通信间歇性中断或相机快门高动态捕获的工况下，算法只能拿到孤立的单张单帧图像。传统基于时序的多帧模型因缺乏历史状态无法降级运行，只能彻底陷入停滞。

这项工作源于一个质朴却深刻的物理直觉：人类在观察一张定格的照片时，往往能够毫无困难地指出画面中哪些物体正在运动、甚至预判其接下来的轨迹。人类并不依赖肉眼测量微小的帧间像素漂移，而是通过对场景物理语义的深度阅读：奔跑者前倾失衡的身体姿态、被气流掀起的衣角发丝、脱离地面的车轮悬空状态、以及高速移动产生的边缘运动模糊。运动在这里并非测量出的物理量，而是通过语义推理与常识归纳得出的因果断言。

MovSAM（发表于 IROS 2025）正是旨在赋予机器人这种超越瞬时测量的单图像运动推断能力。通过构建多模态大模型深思引导的“提出—分割—批判”闭环，我们探索了如何在完全缺失时序维度的极端条件下，从单张静态图像中稳健分割出潜在的运动实体。

既有时序与大模型方法的盲区

为了解决无时序条件下的动态理解，现有算法路线各自存在无法回避的技术短板：

时序光流与视频分割范式：经典视频分割方法极度依赖两帧或多帧之间的高信噪比运动线索。它们并非在“利用”时间信息，而是在“消耗”时间信息。一旦将输入截断为单张静态切片，整套依赖特征相关（Cost Volume）与时序记忆传播的网络架构便彻底失效，输出退化为全零掩码；
通用大模型与 Segment Anything（SAM）的表征错配：Meta 发布的 SAM 模型具备非凡的零样本通用分割能力，但其原始设计面向点（Point）和几何包围盒（Box）提示，并不具备原生的自然语言指令接口。更致命的是，SAM 的视觉骨干专注于底层边缘、纹理与颜色梯度的解算，完全缺乏全局场景因果理解能力，它根本无法区分哪块具有清晰边缘的纹理属于静止背景，哪块属于正在移动的实体；
视觉语言分割（Reasoning Segmentation）的运动盲区：近年来涌现的开集指令分割网络（如 LISA 等）尝试将多模态大语言模型（MLLM）接入分割网络。然而，这类方法的核心落脚点在于“识别物体是什么”（Object Categorization），而非“判定物体是否在动”（Motion Reasoning）。它们在面对“运动错觉（Motion Illusion）”时表现极其脆弱——例如一辆喷涂了动感赛车条纹但静止停泊的汽车，或者一幅印有奔跑运动员的街头广告牌，常规模型极易产生虚假激活；
单向级联架构的幻觉累积：简单地将 MLLM 生成的文本提示单向输入给分割网络，在复杂非结构化场景中往往导致灾难性的误差传递。大模型生成的文本描述可能存在空间错位或物体混淆，而下游分割网络由于缺乏反思通道，只能机械地将错误提示渲染为离散掩码，整个系统缺乏纠错韧性。

单图推断运动的物理与几何困难

在没有时间跨度的静态图像中，分割运动物体面临着一系列本质的理论困难：

特征的启发性而非充分性：单张图像中所有可用的运动表征（如衣物飘动、离地腾空、单一支撑点倾斜姿态、径向运动模糊）本质上都是经验启发式线索。它们暗示运动的存在，但没有任何一条在严格物理意义上能够充要证明运动。模型必须综合权衡环境重力场、支撑接触面与力学平衡，才能做出合乎物理规律的推断；
自运动不可观测定理：在单张图像中，绝对自运动在数学构造上是不可逆重构的。画面中若出现倾斜地平线或模糊，无法仅凭单帧纯几何测量区分出“是周围物体在动”还是“相机自身在旋转倾斜”；
视觉空间细节与高层语义的表征鸿沟：SAM 提取的高分辨率图像嵌入（Image Embedding）富含精细的几何边缘与像素级空间坐标，但缺乏语义类别先验；视觉语言模型（VLM，如 BEiT-3）产生的多模态嵌入具有强大的概念推理能力，但在空间分辨率上极度粗糙。如何让两者在不相互污染的前提下实现无损对齐，是算法架构设计的核心挑战；
监督信号的稀缺与构造：全球计算机视觉界从未存在专门标注“单张图像运动物体”的大规模真实数据集，因为这个标签本身就带有主观推理属性。我们必须通过逆向清洗主流视频运动数据集，剔除自运动干扰严重的片段，提纯出具备明确单帧物理运动表征的独立图像，自研构建评测基准。

闭环假设验证：让掩码成为可以被反思的主张

针对上述难题，MovSAM 放弃了脆弱的单向流水线，而是将感知过程构建为一个类似科学家探索假说的闭环推理系统：语言负责生成运动假设，分割网络负责将假设落地为像素级几何主张，反思模型则对生成的视觉证据进行冷酷批判并迭代修正。

整个系统由三个紧密协同的阶段构成：

1. 深度思维链引导的运动假设提出（Deep Thinking Proposer）

多模态大模型首先观察整幅图像。为了防止模型在开放词汇空间中发散甚至产生视觉幻觉，我们设计了结构化的深度思维链（Chain-of-Thought, CoT）推理流程：

智能体首先遍历场景中的所有显著实体及其空间相对布局；
结合重力常识与力学平衡条件，重点扫描不具备稳定物理支撑的物体（如空中飞鸟、投掷出的球体、抬腿奔跑的行人）；
输出带有显式几何定位与运动因果的标准化文本描述：$\mathcal{P} = \langle \text{类别}, \text{空间相对方位}, \text{推断运动动作}, \text{物理线索理由} \rangle$。例如输出：“画面右上角有一只正在空中滑翔的飞鸟，双翼展开且完全脱离树枝支撑”。

2. 特征聚合网络与多模态像素分割（Grounding Segmenter）

在分割网络中，我们以冻结权重的 SAM 2 图像编码器为基础提取稠密空间特征，引入预训练的 BEiT-3 视觉语言模型注入高阶语义理解。针对表征错配问题，我们设计了轻量级的 特征聚合网络（Feature Aggregation Network, FAN）：

FAN 由五层带有跳跃连接的二维卷积层与自适应全局池化层构成。它反向操作：并不试图让 SAM 具备高阶语义，而是提取 SAM 图像嵌入中的多尺度空间拓扑信息，将其压缩为一个紧凑的空间先验向量，随后无缝拼接至 BEiT-3 的多模态输入流中；
调整后的提示编码器接收融合了空间先验的多模态特征，直接激活 SAM 的掩码解码器，输出候选二进制掩码 $\boldsymbol{M}^{(k)} \in \{0, 1\}^{H \times W}$。

3. 多模态反思批判与循环修正（Reflective Critic Loop）

这是 MovSAM 区别于以往所有指令分割模型的关键所在。生成的候选掩码被半透明色彩高亮渲染回原始图像中：

$$I_{\text{overlay}}^{(k)} = \alpha I + (1 - \alpha) \text{Color}(\boldsymbol{M}^{(k)})$$

渲染后的合成图像被重新交由 MLLM 批判者进行多维度审查：

语义正确性检验：高亮区域覆盖的实体到底是否真正处于运动状态？是否误将背景静态雕塑或反光广告牌划入？
空间完整性审查（Under-Segmentation）：掩码是否漏掉了运动主体的关键附属部分？（例如分割了奔跑的人体，却漏掉了其甩起的双臂或腾空的脚踝）；
边缘纯净度审查（Over-Segmentation）：掩码是否由于边缘溢出，把不动的地面阴影或邻近静止护栏错误吞噬？

若批判者判定当前掩码不符合物理真实，它将明确驳回当前结果，并生成带有精准修正意见的二阶提示词（例如：“驳回初版掩码：当前掩码仅包含了飞鸟的主干身躯，遗漏了展开的右侧翅膀，请向右上方向扩充边缘”）；分割网络根据新提示重新计算掩码，进入下一轮迭代。系统设置最大迭代上限为 5 轮，一旦批判者认可其物理一致性，循环立即收敛输出。

查看原图 ↗

MovSAM 借助场景语义与外观，从单张图像中推断可能运动的物体。

查看原图 ↗

每一帧独立处理，遮挡不会把误差沿时间传播开来。

网络训练与复合损失函数

为了在最大化保留基础模型开放泛化能力的同时适应单图像运动推断任务，我们采取了分层微调策略：

参数冻结：SAM 2 的 ViT 大规模图像编码器全程保持权重冻结，以保留其在数亿图像上建立的通用底层边缘提取能力；多模态大语言模型（如 GPT-4o 或开源本地 Qwen-VL）以黑箱 API 或冻结模式运行，保障其通用因果常识不受任务微调的表征侵蚀；
优化模块：仅对特征聚合网络（FAN）、视觉语言适配器以及 SAM 的轻量级掩码解码器进行端到端联合训练；
复合分割损失函数：结合二值交叉熵（Focal BCE）与连续 Dice 损失函数，构建均衡的监督目标： $$\mathcal{L}_{\text{seg}} = \lambda_{\text{BCE}} \mathcal{L}_{\text{BCE}}(\hat{\boldsymbol{M}}, \boldsymbol{M}_{\text{gt}}) + \lambda_{\text{Dice}} \left(1 - \frac{2 \sum \hat{\boldsymbol{M}} \odot \boldsymbol{M}_{\text{gt}}}{\sum \hat{\boldsymbol{M}} + \sum \boldsymbol{M}_{\text{gt}}}\right)$$ BCE 负责逐像素把控精细边界分类，Dice 损失则有效规避了微小运动物体在整幅高分辨率图像中所面临的严重前景/背景正负样本失衡问题。

实验评测与消融洞察

我们在主流视频分割数据集的独立单帧抽样基准，以及由真实机器人车载相机采集的非结构化图像测试集上进行了系统评测：

与传统时序模型的静态退化对比：当人为截断为单帧输入时，传统基于光流与时序记忆传播的视频目标分割算法（如 ProMRA、DeAOT）因缺乏时间差分线索而近乎完全瘫痪，只能输出全零或严重破碎的掩码；而 MovSAM 依靠 LLM 与 VLM 的高层场景因果推理，在单张静态图像上实现了稳健的分割表现，证明了常识物理推理填补时序空白的可行性；
批判反思循环的边际收益：消融实验表明，在加入 LLM 多模态批判反思机制后，复杂动态遮挡与细长四肢漏分割的现象显著减少。多轮迭代使得最终输出不仅是“几何上的边缘聚类”，更是“语义上经得起物理推敲的完整实体”；
特征聚合网络（FAN）的不可替代性：若将 FAN 模块移除，直接将未经空间调制的 VLM 语义特征强行灌入掩码解码器，分割边界会出现大面积锯齿与结构断裂，充分印证了跨模态空间细节补偿机制的关键作用。

查看原图 ↗

单图像运动物体分割的定性对比。

物理局限与未来演进

在论文中，我们以严谨的学术态度指出了基于单帧纯语义推断运动的客观物理边界：

纯粹刚体匀速平移的不可推断性：如果一个表面光滑的刚性球体在无摩擦平面上以匀速低速滚动，且未产生任何运动模糊、形变或阴影脱节，那么在任何单张照片中，该物体与静止状态在物理上是完全不可区分的。MovSAM 的推断基于常识物理线索，无法创造物理世界本身未曾留存的信息；
多轮批判带来的推理时延：由于引入了大语言模型的多轮反思对话，单帧全流程推理耗时在当前硬件条件下处于秒级范围，尚无法直接满足百赫兹级的高速动态避障需求。其现阶段的主要应用场景在于高层态势感知、离线故障时空诊断以及通信降级状态下的关键目标锁定。

总结与工程反思

MovSAM 的核心学术贡献，在于向领域展示了：语言与多模态常识不仅可以用于描述世界，更可以作为一种强大的先验假说，去恢复由于物理传感器受损而缺失的物理时间维度。

通过将基础感知模型（SAM 2）、跨模态对齐网络与大语言模型的深度反思能力有机编织为一个自愈闭环，系统在极度匮乏时序观测的严苛工况下依然保持了对真实动态世界的理解深度。这一探索为机器人面对传感器偶发失效、非连续通信以及极端非结构化环境时的感知韧性提供了崭新的解题范式。

ERMV：面向具身智能的 4D 多视角机器人世界模型

Wed, 23 Jul 2025 12:41:11 +0000

示范数据很贵，可我们手里已经有了

视觉-语言-动作（Vision-Language-Action，VLA）模型在多视角图像序列上训练，每一帧都对应产生它的那个动作。采这类数据又慢又贵，而且扩不起来：一段操作序列就可能包含上千张图像，高质量专家示范的稀缺，是这些策略能否泛化到开放世界场景的主要限制之一。

这项工作的起点是一个观察：数据早就存在了，缺的是多样性。一段抓起盒子的示范教会了策略该怎么做，却只给出了这件事发生的那一个世界版本。如果策略见过的盒子永远只在那张桌子上、那个房间里，它没有任何理由迁移过去。

为了突破这一数据孤岛，具身智能亟需一个能够理解物理交互、保持多视角时空一致性、且严格遵循机器人动作规律的机器人世界模型（Robotic World Model）。如果世界模型能够以已有的高质量动作为条件，在保持物理交互过程绝对保真的前提下，推演生成不同场景外观、光照、背景的反事实世界状态，海量高价值的 VLA 训练数据就能够被成倍激活。

这正是 ERMV 的核心定位：构建一个动作与状态条件化的 4D 多视角机器人具身世界模型。它不仅仅是在做静态的画面编辑，而是把整条 4D 时空物理交互轨迹当作一个可控的状态转移流来建模。

这其中的核心挑战在于物理动作配对。一段真实的机器人示范不是普通的单视角视频，它是若干同步的高频相机视图，加上高精度的机械臂位姿状态和控制指令。一旦世界模型在生成推演时产生空间漂移、改变了相机的几何投影关系，或者破坏了机械臂与操作物体之间的物理接触因果，整段轨迹就变成了违背物理规律的错误示范。这种生成数据比数据稀缺更加致命。

查看原图 ↗

视觉变化在同步视图之间传播，而记录下来的动作保持不变。

现有生成式模型为什么建不好机器人世界

近年来，基于大算力的通用视频生成模型（如 Sora 等）展现出了惊人的视觉合成能力，也有不少研究尝试将其引入具身领域构建世界模型。然而，在机器人精细操作领域，通用的非条件视频生成或者自动驾驶环视世界模型根本无法直接迁移：

自动驾驶世界模型的刚性先验在机械臂操作中彻底失效：为自动驾驶设计的环视世界模型依赖于固定的车规相机阵列以及扁平的鸟瞰图（BEV）投影先验，跨视角注意力被硬编码在相邻相机的已知相对位置上。但机器人操作场景通常配备动态运动的腕部相机（Eye-in-Hand）与多路自由视角的第三人称相机，相机的相对位姿在毫秒级快速变化，刚性空间拓扑先验根本不复存在。
缺乏严格动作条件化（Action-Conditioning）的视频模型会发生物理幻觉：通用视频模型虽然能生成连贯画面，但无法把机器人末端执行器的物理位姿、关节转角和夹爪动作严格作为动力学控制条件。画面里的物体可能无缘无故位移、形变，甚至机械臂穿模或凭空抓起物体——这种生成视频对于端到端策略训练而言是致命的“毒药”。
逐帧单图修复（Inpainting）破坏 4D 时空连续性：单图增强方法虽然能换背景，但它完全丧失了时间维度与相机间的约束，生成出来的物体在不同视角之间“穿帮”，连续播放时剧烈闪烁。
静态 3D 重建难以表达高动态接触物理：基于 NeRF 或 3DGS 的静态重建虽然保住了多视角几何，但很难建模机械臂与非刚体、流体、小物体之间复杂的瞬态接触力学与遮挡关系，更无法应对高速运动产生的运动模糊。

具身智能真正需要的世界模型，必须是在机器人动作与运动状态强约束下、保证多相机视角几何一致、且能稳定进行长时程 4D 物理推演的生成系统。

难在哪里

相机阵列不是固定的。操作数据来自一个不断运动的、以自我为中心的多相机系统，任何依赖已知静态相机间几何的一致性机制到这里就失效了。

运动模糊破坏了我们本来可以依赖的几何。相机和物体同时在动，于是在一张模糊图像里沿精确极线采到的特征，未必对应真实的像素位置。让多视角注意力成立的那个约束，在运动条件下反而是错的。

误差会累积。编辑后的帧要作为历史喂回下一个窗口，小误差不会一直小下去。放到长时程上看，它表现为语义漂移和细节模糊。这个领域对误差的容忍度格外低，因为机械臂和被操作的物体必须在整段序列里保持一致。一旦不一致，这段序列不只是看上去不对，它不再是有效的训练数据。

算力上的矛盾是结构性的，不是偶发的小麻烦。长程记忆想要大一点的工作窗口，而在 L 个时间步、N 路视角的窗口上做密集注意力，又要吃掉一大块显存。我们希望它在一块消费级 GPU 上就能训练。

保住真正要紧的物体，没有便宜的解法。为被操作物体训练一个通用分割器不可行，因为这类物体种类繁杂，常常是从未见过的，还被以自我为中心的刁钻角度拍摄。对上万张图像逐帧人工标注，同样负担不起。

文本提示也缺少这个任务需要的粒度。让模型把背景换成办公室，颜色、房间类型、朝向全都没有定义，出来的结果还可能和机器人正在做的事情相冲突。

用机器人数据自带的结构

机器人数据的结构化程度好得少见。它自带标定过的相机、记录下来的相机位姿、记录下来的机器人状态，以及一个共享的时钟。我们的想法是，别再为编辑另造一套描述规范，直接把这套结构用起来，再加一张手工编辑的关键帧。

主相机的第一帧由图像修复模型或人工编辑，这张编辑后的图像就是视觉层面的规范。论文里叫它 blueprint（蓝图），这个词用得很准。颜色、布局、朝向它都表达得毫不含糊，一句话做不到这一点，而人只需要改一帧，不是上千帧。

从这套结构里引出两个设计决定，它们都在放宽约束，而不是去满足约束。

第一个关于极线几何。一个正在运动的夹爪被运动模糊在像素上抹开，由位姿算出的极线指向的是夹爪静止时应该在的位置。严格施加这个约束，匹配到的是错误的像素。所以我们把极线几何留作搜索结构，同时让模型去学那个偏移。一个小网络根据局部图像特征和运动条件预测运动造成的偏移，注意力沿着平移后的直线进行。约束是被放宽了，但没有被丢掉。

第二个关于注意力。密集时空注意力是维持序列一致性的默认做法，代价很高。支持我们不做它的那个领域观察是：在很多操作场景里背景基本静止，图像变化缓慢，需要靠密集机制去捕捉的帧间差异并不多。所以我们采样。

查看原图 ↗

固定预算的观测为整个窗口提供长程上下文。

稀疏上下文，以及把稀疏拿掉的东西还回去

稀疏时空上下文（Sparse Spatio-Temporal context）在一个滑动时间窗口上采样固定数量的一组图像，规模远小于完整的时间×视角网格。采样是随机的，这一点值得直说，不必往它身上安一个本来没有的智能。

真正起作用的在后半段。每张被采样的图像都带着自己原本的时间索引和相机索引，这些身份被显式编码成条件。下采样破坏了时空结构，于是我们把结构重新注入进去。三秒前的一帧仍然被标记为三秒前，它因此能贡献外观证据，又不会被误当成当前状态。这个想法很小，适用范围却很宽：对结构化数据做下采样时，把结构放回去。

还有第二个决定，把它和常见的自回归方案区分开来。采样得到的历史不只是作为条件注入网络，它还会和未来帧一起被生成出来。未来帧因此能在生成过程中从历史里提取几何结构，而不是仅仅以历史为条件。

在窗口大小固定的前提下，稀疏采样省下的显存大约是两倍。正是这个倍数，让单卡训练成为可能。

运动条件放在哪里

每张目标图像都以相机位姿、机器人状态，以及这两者的时间差为条件。静态项为每个视角提供几何上的落点，时间差项才让模型有能力渲染出运动模糊。这件事比听上去更要紧。去掉运动条件之后，图像看上去反而更锐利，毕竟模糊也是一种“不锐利”，可它们不再具备真实相机会拍到的那些物理特征。感知上的锐利不等于物理上的真实，而在一批不可能锐利的图像上训练出来的策略，学到的是一个并不存在的分布。

训练的前提是同步的位姿与状态记录确实存在。对机器人示范来说这个前提成立，这也是方法在这里行得通、换到任意视频上就行的原因。

查看原图 ↗

极线是搜索结构，一个学到的偏移量负责解释运动模糊。

把人力花在真正需要的地方

生成的帧会作为历史反馈回去，而历史恰恰是误差累积的地方。与其去指望一个更好的生成器，我们在系统层面处理它，引入一个验证器。

一个多模态大模型充当自动检查器，用思维链（chain-of-thought）提示把每张生成图像与原始图像做比较。它按十分制给核心物体的退化程度打分，并给出一致性判断。检查不通过时，系统向专家索取核心物体的分割掩码，这个掩码成为一次纠错式重生成的额外条件。

我们把它描述为 MLLM 审核加专家纠正，并且把它当作一条务实的中间路线，而不是一个已经解决的问题。两个显而易见的极端都走不通：为被操作物体训练通用分割器训不出来，逐帧标注又负担不起。这个环节把人工标注限制在模型失手的少数情况上，而这些地方正是专家时间真正值得花的地方。

关于这条流水线究竟有多自动，应该讲清楚。它不是全自动的。引导帧由人来产出，也可能有人被要求提供掩码。让这条边界往后推属于未来工作，我们提到语义分割和目标检测是可能替代当前部分人工干预的工具。

查看原图 ↗

自动检查捕捉退化，只在它失败的地方请求人工纠正。

我们从中学到什么

被违反的物理约束应该被放宽，而不是被丢弃。模糊破坏了极线几何，有用的应对是学出偏移，同时把几何留在那里当骨架。丢掉约束，等于丢掉了让跨视角注意力得以成立的那套结构。

稀疏化的理由应该来自领域统计，而不是泛泛的效率论证。背景基本静止是操作场景的真实性质，正是它让稀疏注意力站得住脚，而不只是便宜。

对结构化数据下采样时，把被采掉的结构重新注入。每个样本多带两个索引，代价很小，换来的是模型能正确解读它们。

误差累积可以在系统层面处理，不必塞进生成器内部。一个便宜的外部验证器是更好的模型之外的合理选项，它还有个附带好处：把模型的薄弱处定位出来。

还有一点，去做增强，而不是重新采集。这是最实际的主张，也是为什么即使它需要一张引导帧、偶尔还需要人工搭把手，这个方法依然值得做。

系统边界与物理约束

作为面向真实机器人操作的 4D 世界模型，我们也需要诚实界定 ERMV 的系统边界：

轻量表征与隐式几何：ERMV 目前采用多视角 2D 扩散机制结合极线注意力来隐式维持 4D 几何，尚未显式引入深度图、点云或 3D 高斯泼溅（3DGS）等显式三维表征。引入显式 3D 几何先验有望进一步抑制极端大位移下的几何畸变，这是未来架构升级的自然方向。
人机协同的纠错闭环：当前的 MLLM 验证器虽然极大减轻了人工负担，但在遇到高度透明物体或极端复杂流体时，其多模态审视仍可能漏判。目前的设计务实地保留了极少数关键掩码的人工介入通道，实现无人值守的全自主闭环验证仍需更强的高精度大模型支持。
物理保真度与动力学遵循：ERMV 是基于示教动作与运动学先验驱动的生成式世界模型。它能高保真地渲染出光影、材质、背景和遮挡关系的真实时空演变，但它不是通用力学解析器。当动作导致未建模的剧烈破碎或复杂刚体碰撞动力学突变时，世界模型依然依赖于训练分布中记录的物理线索。

通向哪里：可控具身世界模型的未来

ERMV 的核心贡献，在于证明了构建高保真、可控的 4D 多视角机器人具身世界模型不必依赖不可控的黑盒通用视频模型，而是可以深度结合机器人本体的运动学状态与相机几何约束，以极具算力性价比的方式实现物理环境的推演与反事实生成。

作为机器人具身世界模型，ERMV 展现出几个极具变革性的应用图景：

反事实世界推演引擎（Counterfactual World Engine）：给定一段真实示范的物理动作与状态流，世界模型可以推演该动作在无数个平行物理世界中的多视角展开（不同桌面材质、不同光影环境、杂乱背景与反光表面），直接为端到端 VLA 具身大模型提供几乎无限的泛化训练数据。
动作条件化未来推演与安全验证：给定任务初始环境与一段规划动作，世界模型可以前向 rollout 出未来的连续 4D 视频流，作为策略部署前的离线安全评测环境，在不损坏真实机械臂的前提下预警可能的碰撞与操作失误。
打通仿真到真实（Sim-to-Real）的全新范式：在低成本物理仿真器中大规模生成交互动作轨迹，再借助 ERMV 动作对齐的世界模型，将其推演为具备真实相机传感器物理特性（包括镜头噪点、动态运动模糊与真实材质响应）的多视角逼真视频流，以生成式世界模型大幅缩小 Sim-to-Real 的视知觉鸿沟。

LNR：通过学习邻域实现鲁棒多模型拟合

Sat, 14 Sep 2024 10:33:19 +0000

多结构并存下的最小集组合爆炸：为什么盲目随机选取几乎注定选错

在几何视觉与机器人建图中，多模型拟合（Multi-Model Fitting）要解决的是物理世界中最普遍的混叠现实：场景中往往同时存在数十个不同的几何图元（如多堵交错的墙面、多条道路边缘、多个运动物体的轨迹），且这些结构被淹没在海量的传感器噪声与未匹配外点之中。

在经典几何鲁棒估计中，求解一个基础几何模型只需要极其精简的离散数据点。这就是所谓的“最小样本集（Minimum Sample Set）”——例如在二维空间拟合一条直线只需要 $m=2$ 个点，在三维空间拟合一个平面需要 $m=3$ 个点，求解双视图基础矩阵需要 $m=8$ 对对应点。

如果沿用传统 RANSAC 的均匀随机采样策略，系统会假设每一次无偏抽取都有合理的概率命中正确内点。然而，一旦场景从“单模型”切换到“多模型交织”，这种盲目抽样的数学期望就会发生灾难性的指数坍缩：

设场景中存在 $K$ 个不同的真实结构，若盲目从全部观测中随机抽取两个点，这两个点要么分别属于两个完全无关的物理结构，要么其中至少有一个是环境野点。随着交叠结构的增多与外点率的上升，随机抽取的样本对“恰好全部落在同一个合法结构上”的几率微乎其微。每一组错误的最小采样集，却依然要耗费算力调用底层的代数求解器并执行全量几何残差打分。算力绝大部分都被白白浪费在这些先验即错的候选假设上，这是传统采样机制在多模型场景下的结构性瓶颈。

而如果采用贪心迭代剔除（例如 Sequential RANSAC 先拟合一个模型、剔除其内点再重新开始），又会陷入硬聚类的陷阱：现实中相邻结构往往在交界处共享观测，贪心剔除使得共享观测被前序模型独占，导致紧邻模型失去几何支撑而直接被漏检。

还有三条约束决定了我们最终的做法。方法必须在不知道模型数量的前提下工作，这就排除了一整类把模型数当作输入的方案。速度要能实用。最后，它得能迁移到别的任务，因为每换一个问题就要重新设计一遍的拟合器，算不上通用工具。

查看原图 ↗

学习只落在两个决策点上，其余仍是经典流程。

真正出问题的四件事

我们把问题拆成四种失效情形，方法的每个部件各回答其中一种。

第一，几何特征没有被充分利用。现有方法要么依赖人工设计的判据，只看得到几何信息的一部分；要么是神经网络，从头到尾没有显式地看过几何。

第二，噪声带来的低效优化。大量求解器调用，花在从一开始就没有希望的点集上。

第三，模型重叠。这是拟合一个模型与拟合多个模型的根本差别，而多数形式化描述连把它表达出来都做不到。

第四，流程不可微。离散的最小集采样和任务专用的最小求解器都处在流程中间，两者都没有梯度。想把基于学习的方法接进来，难就难在这里。仅有的两条绕行路线都不好用：拿可微的松弛替换精确求解器，等于把求解器弄丢了；改用策略梯度估计，就得接受方差。

已有方法没能解决的问题

贪心的单模型扩展带着上面说的硬归属问题。MultiRANSAC 每次迭代拟合 K 个模型而不是一个，这就要求 K 事先已知；K 一大，计算上就变得不划算，因为一次迭代里同时找出好几个好模型本身就很难。

迭代式假设生成是更精细的一类，共同的毛病是时间上的耦合。每个新模型都建立在前几轮的结果之上，随着流程推进，误差会沿着模型重叠处层层累积。我们自己的消融实验如实记录了这里的取舍：把更强的学习式采样器换进 LNR，精度上去了，整个过程也明显变慢。我们主动选了代价小的那一边，并且把代价写在论文里。

聚类式方法，包括偏好集聚类和把最小集判为有效或无效的网络，在各自针对的问题上表现不错，却没有考虑数据的复用。评估一个假设时得到的信息，不会带到另一个假设的评估里去。

还有一类方法用全局能量函数替换采样启发式，能量由几何误差和聚类规整项构成；也有人用归属能量的凸松弛，或者在超图上做模式搜索。这些形式化在构造上就能处理重叠，代价是所用代价函数足够复杂，复杂到未必能充分利用数据里真实存在的几何信息，迁移到多样而复杂的场景时效果因此受限。

利用并行计算的高效采样方法很强，但它们需要把实例数量当作先验，适用范围受限。

最后是端到端深度方法，精度不错，以黑箱方式工作。这对可靠部署来说是实打实的障碍，也正是我们不想造的东西。

在决策点上学习，以数据点为条件

我们的做法是把经典流程原封不动保留下来，只把学习放到真正做决策的地方：求解之前，决定哪些最小集值得占用一次求解器调用；求解之后，决定每个假设该往哪里动、它又有多好。

关键的设计选择是网络以什么为条件。所有被学习的量都是数据点几何特征的函数，与假设参数无关。正因如此，采样器和求解器才能留在流程里，在前向过程中作为不可微的黑箱存在，不需要任何梯度穿过它们。

这里需要说准确，因为很容易讲过头。求解器在训练中是参与了的：两个分类器的标签都来自把求解得到的假设与真值实例作比较，粗层的标签也来自对采样集合的求解。没有发生的事情，是穿过求解器或采样器反向求导。两者只走前向。

每个点先用 Fourier 特征映射提升空间频率的编码能力，再经过以逐点卷积实现的共享多层感知机，最后最大池化成全局描述子。逐点特征与全局特征拼接成 256 维向量，其中局部 128 维、全局 128 维，于是每个点既带着自己的局部几何，也带着对整个场景的一份概括。粗层模块需要这种整体视角；后来我们发现，细层模块并不需要。

查看原图 ↗

一个点可以同时为多个假设提供证据，重叠因此可以被表达。

求解之前先筛选

粗层模块随机抽取大量最小集，数量刻意取得偏多，以保证覆盖足够广，然后为每个集合预测一个置信度。只有得分最高的那些能走到求解器面前。

这里有两件事值得展开。第一，采样为什么一直保持随机，而没有变成迭代式。随机采样避开了迭代式生成器那种误差累积，也能保住对整个观测集合的覆盖。这是务实的折中，不是最优解，我们在文中也这么写了。

第二，置信度按二分类问题来训练，这意味着模块学会了挑选有希望的最小集，却不需要任何显式的退化检验。经典流程会写死若干检查来拒绝退化构型（degenerate configuration）；在这里，拒绝是从求解结果与真值的比较里学出来的。我们把一条手写规则换成了一条学出来的规则，好处在于它随数据改变，而不随写规则的人改变。

去掉粗层模块，性能掉得很明显，因为细层网络应付不了那样堆积起来的候选数量。分开预训练粗层、而不是两层联合训练，效果同样更差，原因正是整套训练设计里最有意思的地方。

用邻域判断一个假设

对每一个存活下来的假设，我们划出一块邻域（neighbor region）：在某个任务相关的距离度量下离它足够近的那些数据点。直线用欧氏距离，消失点用方向距离，平面用重投影误差，运动用归一化极线约束。邻域内的点先被编码，再把每个点到该假设的残差拼接到它自己的特征上，点数不足的邻域用零填充以便批处理，最后由两个头读取结果。

一个头预测的是增量，不是一个完整的模型。直线任务里，它预测两个端点各挪一点点；消失点、单应或者基础矩阵任务里，它预测一个对应的调整量，这个调整量直接加到粗层假设上。网络从不凭空造模型。核对并修正一个猜测，比从零生成一个要容易，所以生成交给经典求解器，修正交给网络。

另一个头预测评分。论文在这里的立场常常让人意外：一致性最大化并不偏向最好的那个模型。内点计数是衡量假设质量的标准代理指标，模型一旦重叠，它就是错的代理指标。取而代之的，是从假设周围的数据里学出评分。

邻域表征也是重叠之所以能被表达的原因。两条相交直线在交点附近共享一块邻域，那里的点同时落在两个邻域内部，为两个假设都提供证据。整个流程里没有任何地方做硬归属。

细层模块还刻意丢掉了粗层所依赖的全局上下文。细化单个假设时，局部细节更有用；全局信息会带进来许多无关细节，反而拖慢这件事。同一个特征在筛选时帮忙，在细化时添乱。这种不对称是一条可以复用的由粗到细原则，也说明两个模块不能简单看作同一个网络跑了两遍。

查看原图 ↗

细层依据假设周围的观测打分，而不是只看假设参数。

决定场景里有几个模型

打过分的假设是冗余的。好几个假设描述的是同一个结构，而答案里它只该出现一次。我们把目标检测里的非极大值抑制（non-maximum suppression, NMS）搬到这个场景，把交并比换成几何意义上的相似度：直线看端点距离和夹角，消失点看高斯球面上的邻近程度，单应和基础矩阵则看逐点距离向量之间的相似度。

决定场景里有多少个模型的，也是这套机制。模型数量是抑制过程的输出，而不是方法的输入，这正是我们一开始就想要的效果。

两个模块如何互相训练

三个损失。粗层置信度和细层评分都用二元交叉熵，标签由候选与真值实例的相似度导出。细化头用 Smooth L1 目标函数监督参数增量。

需要解释的是两层之间的耦合。细层的损失会回传到粗层模块，于是选择器学到的是优先挑那些细层能处理得动的假设，而不只是去匹配一个预先定好的标签。两个模块共享编码后的邻域特征，梯度通路就是靠这一点存在的。联合训练优于预训练粗层，原因在于细层的信号重新定义了粗层眼里什么算好。

消融实验里还有一条我们事先没想到的观察。只用更难的场景训练，也就是画面里直线更多的那种，效果与用简单场景训练持平，甚至更好。我们把它归因于数据变化更大，起到了正则化的作用。用来对照的基线采样器上，同样的效应也出现了，只是弱一些。

我们从中得到什么

让学习和不可微部件解耦，靠的是换掉网络的条件，而不是把它们变可微。这份克制是本文方法上最强的表态，也正是精确求解器得以保留的原因。

选择器要对下游的兼容性负责，而不是只对着自己的代理标签优化。预训练会丢掉联合训练能保住的信息。

一致性不等于质量。模型重叠的时候，内点计数是错的度量；把它当成对的，模型就会被少算。

一个特征的价值取决于它出现在哪个阶段。全局上下文对筛选有利，对细化有害。

还要把多实例做进结构里。如果接口规定每个点只能进一个模型，那么无论怎么训练，都表达不了两个。

它假设了什么

两个分类器需要真值实例作为监督。在没有真值模型的领域里表现如何，我们没有刻画。

邻域半径和采样预算是任务相关的量，除了说它们会随任务变化，我们没给出设定办法；抑制阈值同样没有写出来。

跨任务迁移意味着要重新推导四个任务相关的部件：邻域的距离度量、求解器、细化的参数化方式，以及抑制时的相似度。这些是针对每个任务的实际工程工作，我们不宣称零样本迁移。

面对长度不一的邻域，零填充是我们唯一的办法；点很少的邻域会不会因此被稀释，我们没有考察。

随机采样是折中，不是最优。我们自己的消融显示，更强的采样器能提高精度；而一个便宜的学习式采样器能否两头兼顾，我们没有给出答案。

为什么保留两段式流程

保留既有的两段式策略，理由很具体：可解释性。数值方法天生可解释，适用范围也界定得清楚，缺点在于难以充分利用数据的几何特征。端到端深度方法表现很好，却说不清自己是怎么得到结果的。

LNR 保留了流程，输出就是显式的几何模型。网络接受通用的无序点集，图像对应、三维点云和像素坐标都包含在内；损失作用在几何特征上，而不作用在假设上。正是这一点，让它能和各种各样的求解器与采样过程兼容，可微与否都不影响。

我们给自己定的目标刻意不高。希望它为用学习的方式处理多模型拟合带来一点新想法；比起一个精度说不清来由的方法，我们更愿意要一个行为经得起追问的方法。

DiffSAC：扩散引导的采样一致性鲁棒估计

Sat, 31 Aug 2024 11:15:11 +0000

昂贵的地方不在采样，而在无效假设的验证

在三维视觉与机器人状态估计中，从带有大量噪声和外点（Outliers）的观测数据中解算几何模型，采样一致性（Sample Consensus, RANSAC）历经四十余年依然是无可替代的工业标准。然而，这一经典范式存在一个往往被工程实践默认承受的结构性沉重代价：候选最小集的生成是廉价的，但对每一个候选模型进行全局外点检验却是极其昂贵的。

在几何估计中，最小集（Minimal Sample Set）是指能够唯一确定模型参数所需的最少观测数量：拟合空间直线需要 2 个点，拟合三维平面需要 3 个点，估计单应性矩阵（Homography）需要 4 对对应点，而在双视图几何中求解基础矩阵（Fundamental Matrix）通常需要 8 对对应特征点（或 7 对）。经典 RANSAC 依赖全局均匀随机抽样。根据几何概率统计，若数据集中外点比例为 $\epsilon \in (0, 1)$，最小集规模为 $s$，为了以概率 $p$（通常取 0.99）至少抽中一组全内点组合，所需的理论迭代采样次数为：

$$K = \frac{\ln(1 - p)}{\ln\left(1 - (1 - \epsilon)^s\right)}$$

当外点比例温和时，计算尚可接受；但一旦面临恶劣的野外感知或低纹理重复场景，外点比例飙升至 80% 甚至 90% 时，组合数发生灾难性爆炸。在求解 $s=8$ 的基础矩阵且 $\epsilon = 0.8$ 时，全内点组合被命中的先验概率仅为 $(0.2)^8 \approx 2.56 \times 10^{-6}$，理论上需要执行超过 180 万次迭代。即便在工程中硬性截断迭代预算为几千次，绝大多数算力也彻底耗费在解算那些从物理上就注定错误的模型，并在数千个观测点上反复计算投影误差。

不仅如此，随机均匀采样对几何退化完全无感。两对空间距离极近的特征点，其局部坐标可能高度精准，但在数值上却构成病态的超短基线；三维空间中几乎共面的四个点，在求解双视图对极几何时会导致退化解。均匀采样从不考虑一组点作为一个整体的联合几何相容性，盲目抽样的结果就是绝大部分候选集合在进入代数求解前就已经是无效组合。

既有改进方法的得与失

为了让最小集的提议更加高效，过去二十余年学术界沿着多个方向进行了深耕，但各自保留了难以回避的局限：

先验排序与局部邻域启发式：PROSAC 根据特征匹配的局部质量分数（如匹配距离比值）建立排序，优先从高分候选池中抽样；NAPSAC 与 Progressive NAPSAC 则假设内点在欧氏空间中呈现局部聚集特性，限制在空间小球邻域内抽取组合。这类启发式方法在结构化场景下确实能加快收敛，但其缺陷在于：特征匹配质量高并不保证几何分布不退化，而强行限制在局部邻域则极易丢掉跨越大视场的全局长基线约束，在重复纹理（如建筑物玻璃幕墙、地面地砖）产生虚假局部一致性时彻底失效。
假设后处理与局部优化：LO-RANSAC、GC-RANSAC 与 MAGSAC++ 反其道而行之。它们放弃对前序采样提议的干预，转而专注于在发现一个初具雏形的候选假设后，通过图割（Graph Cut）、局部内点加权或连续阈值边缘化来精修模型参数。这些后处理算法极其优异，并且我们在最终系统中也兼容了它们；然而，它们从根本上没有触碰“如何在千万级外点中以极少代价命中第一个高质量候选”这一核心瓶颈。
端到端可微深度估计（DSAC 系列）：DSAC 及其后续工作将离散的假设选择过程松弛化为可微概率分布，使得深度神经网络能够端到端反向传播梯度。这一思路在学术上极为优美，但在工程落地中面临严重的黑箱困境：神经网络内部直接隐式回归模型参数或潜空间权重，一旦在真实自动驾驶或 SLAM 运行中输出严重偏移的位姿，工程团队无法通过残差追溯究竟是哪几个特征点引发了数值漂移，缺乏工业级系统所必须的安全可解释性与故障排查接口。

正是在这一背景下，我们提出了一个直接的问题：能否把最小集的获取过程，从被动的盲目抽样转变为目标导向的条件概率生成？ 我们并不试图用神经网络替代底层的经典代数求解器，而是让学习模型专门承担最困难的任务——直接生成极高质量的候选最小集。

生成候选集合，而非被动试错

DiffSAC 的核心构想是：把鲁棒估计中的采样步骤重塑为几何条件扩散模型（Geometry-Conditioned Diffusion Model）的逆向采样过程。如果神经网络能够学习到“在当前观测点云下，能够成功解算出正确模型的有效最小集”的后验概率分布，那么在推理时，我们只需从该分布中生成极少量的候选集合（例如 10 到 20 个），每一个候选组合都具备极高全内点概率与良好条件数，随后交由确定性的经典求解器与共识函数进行评估。

这在概念上与文本生成图像（Text-to-Image Diffusion）形成了有趣的映射：一段文本提示词可以生成多张构图合理但细节略有不同的高质量图像，用户可以从中挑选最完美的一张；同样，DiffSAC 针对同一批几何观测输入，通过注入不同的高斯初始噪声，并行生成数十组各具特色但全部物理合法的最小集候选。

这种设计巧妙规避了传统生成扩散模型在机器人学中遭遇的高延迟批评。在图像生成中，扩散模型必须去噪百万级的像素张量；而在 DiffSAC 中，每个几何观测点仅对应一个连续的标量置信度（Confidence Scalar）。对于包含数千个特征点的场景，整个扩散向量的维度仅为数千维，结合高阶快速数值求解器，整套扩散逆向过程在主流 GPU 上的耗时能够被严格控制在十余毫秒以内，其节约的巨额代数解算与外点残差验证开销，在计算预算上构成了高度划算的代换。

关键的理论抽象在于：这个连续置信度标量代表什么？ 我们打破了传统方法将置信度定义为“单个点自身是否为内点”的局限，而是将其严格定义为“该观测点是否与其他被选中的点协同构成一个优良最小集”的集合级联合相容属性。

条件扩散过程与数学形式化

设输入的几何观测集合为 $\chi = \{x_i, d_i\}_{i=1}^N$，其中 $x_i \in \mathbb{R}^d$ 表示观测的几何坐标（例如特征点的二维图像坐标或三维空间点），$d_i \in \mathbb{R}^{d_f}$ 表示局部外观描述子向量（如 SuperPoint 或 SIFT 特征）。

记定义在观测集合上的真实置信度目标场为 $\boldsymbol{c}_0 \in [0, 1]^N$。在连续时间扩散框架下，前向加噪过程定义了在时间步 $t \in [0, 1]$ 下将 $\boldsymbol{c}_0$ 逐步扰动为高斯白噪声的伊藤随机微分方程（SDE）：

$$\mathrm{d}\boldsymbol{c}_t = \boldsymbol{f}(\boldsymbol{c}_t, t)\mathrm{d}t + g(t)\mathrm{d}\boldsymbol{w}$$

其对应的逆向逆时去噪过程则由概率流常微分方程（Probability Flow ODE）确定：

$$\mathrm{d}\boldsymbol{c}_t = \left[ \boldsymbol{f}(\boldsymbol{c}_t, t) - \frac{1}{2} g(t)^2 \nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi) \right] \mathrm{d}t$$

其中条件得分函数 $\nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi)$ 由参数化去噪神经网络 $\boldsymbol{s}_\theta(\boldsymbol{c}_t, t, \chi)$ 进行拟合。整个去噪演变以几何观测 $\chi$ 为硬条件，使得置信度的细化过程受到真实三维对极几何与空间法向的强力引导，而非在无约束流形上盲目游走。

在训练阶段，我们采用真值几何模型生成理想的监督信号 $\boldsymbol{c}_0$：对于给定的真值模型，系统在所有真值内点中随机检索出与模型数值相容的最小集，将入选观测的置信度标定为 1，其余所有点标定为 0。去噪网络采用直接预测干净场 $\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$ 的 $x_0$-参数化目标，以均方误差损失函数进行端到端优化：

$$\mathcal{L}_{\text{diff}}(\theta) = \mathbb{E}_{t, \boldsymbol{c}_0, \boldsymbol{\epsilon}}\left[ \left\| \hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi) - \boldsymbol{c}_0 \right\|_2^2 \right]$$

在这一目标下，网络被迫学习在含噪置信度场中捕捉哪些点组合在一起能够消除代数奇异性。

查看原图 ↗

前向污染提供训练目标，逆扩散生成候选最小集。

置换不变的 Transformer 去噪网络架构

在几何估计中，输入特征点的排列次序是完全人为且随机的。如果去噪网络依赖固定坐标索引或一维卷积，模型就会灾难性地学到输入序列特有的虚假拓扑，且无法应对任意规模可变的点数 $N$。

为此，我们将去噪骨架构建为一个 不带任何绝对位置编码（No Positional Encoding）的置换不变 Transformer：

特征投影：将每个观测的几何坐标 $x_i$、外观描述子 $d_i$ 与当前含噪置信度标量 $c_{t, i}$ 进行特征拼接，通过多层感知机（MLP）映射为 $D$ 维的潜在特征向量 $z_i^{(0)}$；
全注意力聚合：堆叠多层标准的自注意力（Self-Attention）与跨注意力层。自注意力机制在所有 $N$ 个观测之间建立全连接注意力图： $$\boldsymbol{A} = \text{Softmax}\left(\frac{\boldsymbol{Q}\boldsymbol{K}^T}{\sqrt{d_k}}\right)$$ 在这种机制下，任何一个观测点在调整自身置信度时，都能够依据整个场景中其他所有点的几何距离、视差梯度与外观相似度进行全景加权，这正是评估多点空间相容性所需的数学运算；
置换不变性保证：由于完全摒弃了位置编码，对于任意置换矩阵 $\boldsymbol{P} \in \mathbb{R}^{N \times N}$，网络满足严格的等变性定理：$\hat{\boldsymbol{c}}_\theta(\boldsymbol{P}\boldsymbol{c}_t, t, \boldsymbol{P}\chi) = \boldsymbol{P}\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$。无论输入的点集如何乱序排列，输出的置信度分布严格保持物理一致。

消融实验证实，将 Transformer 替换为 PointNet++ 或基于 k-NN 图卷积的 DGCNN 骨干网络时，模型在复杂大基线匹配下的泛化性能出现断崖式下跌，证明全局全景自注意力对捕捉跨视场长距离几何约束具有不可替代的作用。

查看原图 ↗

不使用位置编码，保持排列不变性。

推理流程：并行多副本扩散与快速求解

在测试推理阶段，DiffSAC 采用“批量并发扩散—硬提取—经典验证”的高效流水线：

批量副本初始化：将当前帧的观测集合 $\chi$ 在显存中并行复制 $B$ 份（通常设置 $B = 20$）。为每个副本独立采样一个服从标准正态分布的随机置信度向量 $\boldsymbol{c}_1^{(b)} \sim \mathcal{N}(\mathbf{0}, \boldsymbol{I})$；
高阶快速 ODE 求解：采用 DPM-Solver++ 高阶显式求解器，将原本需要上百步的离散去噪过程大幅压缩至 10 至 15 个时间步，各副本在 GPU 上以批处理方式并发完成反向去噪，输出收敛的连续置信度场 $\boldsymbol{c}_0^{(b)}$；
Top-k 最小集硬提取：针对每个副本的置信度场，直接通过硬性 Top-k 索引提取数值最大的 $s$ 个观测点，组成候选最小集 $\mathcal{S}^{(b)}$；
确定性代数求解与共识评估：调用闭式几何求解器（如针对直线/平面的奇异值分解 SVD，针对基础矩阵的归一化八点法或七点法）独立求解模型假设 $\mathcal{M}^{(b)}$。将求得的模型与全量观测 $\chi$ 比对，计算几何投影残差并根据共识评分函数（如 MSAC 或 M-estimator 核函数）遴选出综合得分最高的最终模型。

这种“初始噪声随机、选择过程确定”的设计极为精妙：20 个独立的噪声种子探索了不同的高置信度极值盆地，保证了输出候选的多样性；即使其中某一个副本因偶发退化落在病态解上，其余独立的副本依然能够稳定提供优质候选，彻底消除了单次启发式提议容易陷入局部死锁的风险。

查看原图 ↗

生成的置信度决定哪些观测进入最小集。

查看原图 ↗

条件置信度提议接入经典双视图几何流程。

最关键的消融：为什么迭代去噪无可替代？

在审视 DiffSAC 时，一个自然的疑问是：为什么必须使用复杂的迭代扩散过程？直接训练一个前向回归网络，一次性从输入数据中输出置信度向量难道不行吗？

针对这一问题，我们设计了最具说服力的对照实验：保留完全相同的 Transformer 主干网络结构与训练目标，移除迭代加噪去噪机制，让网络从干净的输入 $\chi$ 中直接单步回归置信度向量 $\hat{\boldsymbol{c}}$。

实验结果展现了巨大的鸿沟：

直接回归网络输出的置信度场表现出严重的均质化与弥散性，无法在微小几何尺度上拉开内点与退化点之间的对比度差距，Top-k 提取的最小集包含外点的概率极高；
相比之下，扩散逆向过程展现出了清晰的逐步自优化行为：在前几个时间步，网络首先利用全局注意力滤除掉绝大部分特征不匹配的外点；在中间时间步，网络开始根据对极几何约束剔除局部共线或视差过小的退化几何点；在最后几个时间步，置信度场迅速极化变尖，将注意力精准聚焦在一小撮高杠杆、大基线的黄金内点组合上。

这一消融雄辩地证明：扩散过程的本质并不是为了追求随机性，而是把原本极其困难的高阶几何组合寻优问题，拆解为一系列沿着梯度场平滑收敛的轻量级低阶细化步骤。

此外，由于 DiffSAC 严格保留了经典的几何求解器与外点共识函数，它与现有的局部优化算法（如 LO-RANSAC、GC-RANSAC）具有天生的正交互补性。当把 DiffSAC 生成的优质初始假设输入给 LO-RANSAC 进行局部二次迭代时，系统的最终估计精度再次获得了显著提升，证明两者的结合完美拼合了“高效宏观提议”与“精细局部收敛”的完整版图。

全面基准评测与局限性审视

我们在合成受控数据集以及包括 ScanNet、MegaDepth、PhotoTourism 在内的多个极具挑战性的真实世界双视图几何基准上，对 DiffSAC 进行了详尽评测。评测任务涵盖了直线拟合、三维点云平面分割、基础矩阵与本质矩阵求解以及单应性矩阵估计：

在 80% 超高外点率的极端合成压力测试下，经典 RANSAC 在 5,000 次迭代内求解成功率不足 15%，而 DiffSAC 凭借仅 20 个并行候选提议，成功率稳定维持在 94% 以上，平均估计误差降低了一个数量级；
在真实大视角变化与重复纹理场景下，DiffSAC 显著降低了退化模型的生成概率，在双视图位姿估计 AUC 指标上大幅超越了 PROSAC、MAGSAC++ 等强基线算法。

在坦诚审视系统表现的同时，我们在论文中同样明确指出了当前的物理边界与局限：

任务特化与泛化边界：当前版本的去噪网络针对特定的几何自由度进行训练（例如针对单应性矩阵与本质矩阵分别需要独立的模型权重）。构建能够跨任务统一处理任意自由度几何约束的通用条件扩散网络是下一步的核心方向；
算力与硬件平台依赖：尽管 DPM-Solver++ 将步数压低至十余步，但 Transformer 在处理数千点集时的自注意力计算仍高度依赖 GPU 的张量并行能力。在缺乏强力显卡的微型边缘端嵌入式系统上，其推理吞吐率仍有待进一步工程剪枝与量化优化。

核心主张与工程哲学

DiffSAC 所追求的工程哲学，是对基于深度学习的计算机视觉研究范式的一次理性回归：将学习模型置于真正困难的高维模式识别与组合提议环节，将经典算法坚守在成熟透彻的代数解算与残差共识验证环节。

在几何视觉中，从数万个杂乱组合中找到满足物理约束的极小集是一个高度非凸、高度非线性的困难模式匹配问题，这正是深度神经网络大显身手的舞台；而通过最小集解算模型参数、计算重投影几何误差，则是经典几何学早已彻底解决的解析代数问题，绝不应该被低效、不可控的端到端黑箱网络盲目替代。

这种分工不仅带来了效率与精度的兼收并蓄，更彻底捍卫了复杂工程系统最珍贵的可解释性与安全审计边界。在任何一次估计发生异常时，算法工程师都能清晰地调阅每一个候选集合的置信度流形、追踪对应代数解的特征矩阵条件数，让系统的每一次决策都有据可循、有理可辨。

RLSAC：强化学习增强的端到端鲁棒估计采样一致性

Sun, 01 Oct 2023 00:00:00 +0000

采样器：没有人训练的那一环

几何视觉的大半江山，是靠鲁棒估计撑起来的。相机位姿、运动分割、宽基线匹配、平面拟合、直线拟合，把应用层剥掉，剩下的都是同一个问题：观测里有很大一部分根本就是错的，怎么还原出正确的那些观测共同认可的那个模型。四十年来，这个问题的默认答案一直是 RANSAC。它抽出一组最小集（minimum set），用这组集合解出一个模型，数一数有多少观测与结果一致，然后重来。两点确定一条直线，八对对应点确定一个基础矩阵。

抽取这一步是刻意盲目的。每个观测都被当作同样值得一试的对象，数据本身的任何信息都进不了这个决策。外点稀少时，这个赌注是划算的。但它很快就变得不划算：外点比例一升高，抽到一组全由内点构成的最小集的概率就往下掉，找到好模型所需的迭代次数跟着往上涨。能让搜索变轻松的证据，就摆在观测数据里，采样器却从来不看一眼。

第二个问题更安静，也是我们写这篇论文的原因。均匀随机抽取不可微。你没法把它接到网络里，也没法用一个位于它下游的目标函数去训练它。于是鲁棒估计器最后停在了学习系统的边缘：一个开箱即用的部件，外面裹着一层接口，从不与周围的部件一起优化。

前人的工作从好几个方向试过，各自都留下了一点没解决的问题。LO-RANSAC 持续在当前最优假设的内点中采样，它改善的是已经找到的那个模型，而不是找到它的那次搜索。NAPSAC 把采样限制在一个局部邻域内，换来条件数更好的集合，代价是失去全局覆盖；PROGRESSIVE NAPSAC 让邻域不断扩张，也只是给这个假设打补丁，并没有把它换掉。GC-RANSAC 和 MAGSAC++ 改变的是假设的打分方式，不动假设的提出方式。PROSAC 和 USAC 对采样顺序做重排或调度，可排序规则是手工设计的，在第一个假设被评分之前就已经固定。NG-RANSAC 这类方法学到了对点的有效偏好，围绕它的过滤式做法会及早丢掉糟糕的候选集合，但两者都没把采样决策的序列当成一件需要规划的事。DSAC 走得最直接，把选择概率化，让梯度能穿过整条流水线。这确实可行，但它要求采样器、求解器和打分环节全部可微，而我们最信任的那些经典部件，恰恰都不可微。

采样就是一个动作：强化学习马尔可夫决策过程（MDP）形式化

我们最初的观察是：这两个问题形状相同。强化学习里，智能体读取状态，选择动作，环境回报发生了什么。抽取一组最小集本来就是这个结构。

我们将几何鲁棒估计序列形式化为马尔可夫决策过程元组 $\langle \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma \rangle$：

状态空间 $\mathcal{S}$：在时间步 $t$，设全部输入观测集合为 $\mathcal{O} = \{o_1, o_2, \dots, o_N\}$。状态矩阵 $\mathbf{X}_t \in \mathbb{R}^{N \times D}$ 将每个观测的表征向量并行排布，融合了静态几何特征与动态历史轨迹。
动作空间 $\mathcal{A}$：动作对应于从 $N$ 个观测中抽选出基数为 $m$ 的最小采样集合 $\mathcal{M}_t = \{i_1, i_2, \dots, i_m\} \subset \{1, \dots, N\}$。例如直线拟合中 $m=2$，双视图基础矩阵估计中 $m=8$，单应矩阵估计中 $m=4$。
环境状态转移 $\mathcal{P}$：经典求解器与共识函数充当确定性环境。求解器 $\mathbf{M}_t = \mathrm{Solver}(\mathcal{M}_t)$ 产生几何模型参数，共识函数计算全局几何残差分布，驱动状态转移至 $\mathbf{s}_{t+1}$。
奖励函数 $\mathcal{R}$：求解器将提出的集合转化为模型假设后，共识函数度量所有观测与该模型的一致性。定义阈值 $\tau$ 下的内点集合为 $\mathcal{I}(\mathbf{M}_t, \tau) = \{ i \in [1, N] \mid \mathrm{dist}(o_i, \mathbf{M}_t) < \tau \}$。标量奖励由瞬时内点比例与历史探索增益共同定义：

$$ \mathcal{R}(\mathbf{s}_t, \mathbf{a}_t) = \frac{|\mathcal{I}(\mathbf{M}_t, \tau)|}{N} + \lambda_{\text{best}} \mathbb{I}\left( |\mathcal{I}(\mathbf{M}_t, \tau)| > \max_{k < t} |\mathcal{I}(\mathbf{M}_k, \tau)| \right), $$

其中第二项为突破历史全局最优记录时的探索奖励指示函数。

这个设计最关键的地方在于：整个强化学习循环中，任何地方都不需要人工标注「哪些观测点是真值内点」。只要几何问题自带闭式最小求解器与几何代数残差定义，物理环境本身就会免费回传稠密奖励。从联合结果出发训练，意味着策略从来不会被告知哪些单个观测在绝对意义上是好是坏，它学到的是什么样的点组合能够解出全局一致性最高的模型。

问题	RLSAC 的回答
学的是什么？	采样策略；求解器与打分函数保持原样
需要什么监督？	除了流水线本来就会算出的共识得分，不需要人工真值标签
状态里放什么？	观测特征、选中的集合、相对上一个假设的残差，以及使用次数
用在哪里？	合成直线拟合与真实双视图基础矩阵估计

策略能看见什么：四路特征编码与残差感知

状态里只放观测是不够的。第一步和第十步看到的数据一模一样，策略无从知道自己已经试过什么。所以构造状态时，我们让它携带上一次决策的后果。

每个观测上堆叠了四路物理特征，形成维度为 $D$ 的状态向量 $\mathbf{x}_{t, i} = [\mathbf{f}_i^{\text{obs}}, a_{t-1, i}, r_{t-1, i}, c_{t, i}]$：

观测原生特征 $\mathbf{f}_i^{\text{obs}}$：提供底层数据描述。直线拟合中为二维点坐标，双视图对应关系中为归一化图像坐标对 $(u_1, v_1, u_2, v_2)$、匹配相关性分数以及局部几何描述子。
上一步动作标记 $a_{t-1, i}$：构成上一轮最小集 $\mathcal{M}_{t-1}$ 的观测记为 $+1$，其余未被选中的观测记为 $-1$。
几何残差场 $r_{t-1, i}$：上一个模型假设 $\mathbf{M}_{t-1}$ 在观测点 $i$ 处诱导的几何残差。对于直线为点线欧氏距离，对于基础矩阵为极线 Sampson 距离。这是一份遍布所有观测的稠密几何梯度反馈，明确指示出当前模型在哪些区域成立、在哪些区域失效。
历史采样频率计数器 $c_{t, i}$：记录观测点 $i$ 在当前回合内已被选中的归一化累积次数。

残差指出哪些区域有希望，计数是一条面包屑防止陷入局部循环，动作标记标出当前位置。它们都不改变底层的几何真实，改变的是策略从几何拓扑中读取模式的能力。

查看原图 ↗

从一次采样到下一次采样：观测特征、所选集合、残差与采样历史共同构成状态转移。

一个回合，一次随机起点：图神经网络与最大熵 SAC

RLSAC 在同一份输入上跑若干个回合，每个回合都以随机抽取的一组最小集开场。这几乎不花什么计算代价，却换回两样东西。一是性能下限有了理论兜底，每个回合都从一次无偏抽取出发，策略只会比它更好；二是策略立刻获得了一个有意义的初始几何残差场作为响应基准。

策略网络采用 EdgeConv 风格的动态图神经网络。观测集合天然无序，将观测当成平坦序列读入的网络会受到排列扰动的影响。EdgeConv 在特征空间构建动态 $k$ 近邻图 $\mathcal{E}_t = \{ (i, j) \mid j \in \mathcal{N}_k(i) \}$，并执行边特征卷积：

$$ \mathbf{h}_i^{(l+1)} = \max_{j \in \mathcal{N}_k(i)} \Theta^{(l)} \left( [ \mathbf{h}_i^{(l)}, \mathbf{h}_j^{(l)} - \mathbf{h}_i^{(l)} ] \right). $$

差分项 $\mathbf{h}_j - \mathbf{h}_i$ 能够显式捕获相邻特征点之间的相对几何导数（如局部线段斜率或局部极线一致性），对称的最大池化算子保证了对观测输入次序的严格置换不变性（Permutation Invariance）。

网络顶层为每个观测输出未归一化的对数几率 $z_i$，通过带温度参数的 Softmax 转化为选择概率分布。在训练阶段，我们采用离散动作空间的 Soft Actor-Critic（SAC）框架，最大化累积奖励与策略熵：

$$ J(\pi_\theta) = \sum_{t=0}^T \mathbb{E}_{(\mathbf{s}_t, \mathbf{a}_t) \sim \rho_\pi} \left[ \mathcal{R}(\mathbf{s}_t, \mathbf{a}_t) + \alpha \mathcal{H}(\pi_\theta(\cdot \mid \mathbf{s}_t)) \right]. $$

最大熵目标 $\mathcal{H}$ 阻止了策略在组合爆炸的离散采样空间中过早坍缩到某一个局部极小值点，保证了充分的组合多样性探索。而在测试推理阶段，策略直接以贪心方式选取概率最高的前 $m$ 个点构成提议集合。

重复的最小集会被显式拒绝。每一个在当前回合中使用过的集合都由哈希表记录，若策略提议的集合已被探索，则按概率递推抽取下一个，直至得到全新集合。这确保了宝贵的采样计算预算不会浪费在重复的假设验证上。

训练中，回合在三种情况下自适应终止：内点数连续两步不再变化，内点率连续三步未能打破本回合最优记录，或者达到步数硬上限。测试时则只保留最大步数上限，给予策略充分搜索时间。

看它在一条直线上怎么工作

在正方形里撒下几百个点，让其中一部分落在一条直线上，其余当作外点。任意两点确定一条候选直线，其余每个点到它都有一个距离，这个距离就是反馈。随着一步步推进，假设肉眼可见地朝真值靠拢。这看着很舒服，但并不是有意思的地方。

有意思的是策略到达之后干什么。一旦找到内点率很高的假设，它就继续在局部做文章，细化这一组集合，而不跳到数据的另一片区域。没有记忆的采样器做不到这一点，因为它无从知道自己已经离得很近。这是把残差和历史特征放进状态最有力的论据，而且在定性轨迹里，它比任何汇总数字都明显得多。

我们的合成数据还把外点放进内点带内部，真实场景里也会出现这种情况。这样一来，「背下坐标」这条捷径就被堵死了。真正可学的是什么样的点组合能构成条件数良好的模型，这正是我们希望策略掌握的东西。

查看原图 ↗

论文示例：候选假设与残差信息随策略状态转移发生变化。

从点扩展到图像对应关系：极几何、Sampson 误差与退化规避

双视图几何换掉了观测的物理载体，却没有换掉 MDP 的接口。现在一个观测是两幅图像上两个局部特征点之间的一次几何匹配 $o_i = (\mathbf{x}_i, \mathbf{x}'_i)$，由归一化坐标、初始匹配置信度与深度特征描述子共同表征。

当智能体抽取 8 个观测组成的最小集送入经典非可微求解器（归一化八点法）时，求解器解算基础矩阵 $\mathbf{F}$ 满足对极几何代数方程：

$$ \mathbf{x}'_i{}^\top \mathbf{F} \mathbf{x}_i = 0. $$

共识函数使用一阶近似的 Sampson 一阶几何误差衡量全部 $N$ 个观测与所得极线几何的一致程度：

$$ d_S(\mathbf{x}_i, \mathbf{x}'_i; \mathbf{F}) = \frac{(\mathbf{x}'_i{}^\top \mathbf{F} \mathbf{x}_i)^2}{(\mathbf{F} \mathbf{x}_i)_1^2 + (\mathbf{F} \mathbf{x}_i)_2^2 + (\mathbf{F}^\top \mathbf{x}'_i)_1^2 + (\mathbf{F}^\top \mathbf{x}'_i)_2^2}. $$

在这一设定中，几何估计面临的经典陷阱是几何退化（Degeneracy）：如果采样的特征点大多共面（如落在同一堵平整墙面上）或空间分布极其狭窄，解出的基础矩阵在代数上秩亏或存在虚假零空间，导致内点计数虚高而在全局空间严重失准。

令人欣慰的是，图网络在连续回合与残差反馈中，自发学会了规避这种退化。策略倾向于在空间大基线、深度落差明显的刚性背景区域（如建筑拐角、远近景交错边缘）抽取点对，而不会将采样配额集中在局部纹理重复或狭窄聚集区。没有人显式编写退化检测规则，这种空间分散性完全是最大化全局共识奖励在图注意力传播下的自然结果。

查看原图 ↗

学习式采样器接收经典几何求解器的反馈。

真正穿越两个任务的东西，与其说是训练好的网络权重，不如说是一份严格解耦的系统约定：编码观测拓扑，提出离散最小集，调用不可微几何求解器，计算物理残差，将几何状态反馈回策略。换到新问题上，仅需提供与任务匹配的物理特征、求解器算子与残差定义。

我们从中得到什么

我们反复回到的一条经验是：奖励可以替代可微性。只要下游有一个物理或几何指标能给输出打分，它就能训练产生这个输出的前端模块。没有必要把 argmax、SVD 分解、求解器或者阈值强行软化为可微版本，可解释且高精度的经典部件就能完整保留在架构内部。

在这里，记忆也比单次预测更值钱。把上一次尝试的残差送回状态，计算开销极小，几何信息密度却极高。训练一个更大参数量的一步到位分类器不仅泛化脆弱，而且在复杂退化场景下根本无法抵御长尾外点。

还有一条工程底线：学习到的采样器绝不该在任何场景下比它取代的随机基线更差。每个回合都用一次无偏随机抽取开局，从算法设计上锁定了系统的理论性能下限。

它仍然受限的地方

一份诚实的清单：

阈值超参数依然存在：内点判定阈值 $\tau$ 仍是手工设定的先验参数，并直接影响奖励标量。这正是 MAGSAC++ 等连续打分框架试图消除的敏感性，我们在当前版本中保留了它，尚未将其转化为完全无参数的连续密度打分。
候选集容量截断：为了控制图卷积的计算复杂度，状态只跟踪初始置信度最高的前 $N$ 个对应关系。若前置特征提取阶段发生了严重的漏检，真实内点完全落在该集合之外，策略受限于输入上界便无法将其召回。
计算延迟与迭代预算的权衡：图网络前向推理、SVD 求解以及稠密 Sampson 误差计算，每一步都需要数十毫秒级耗时。相比纯 C++ 实现的轻量级 RANSAC 变体，RLSAC 在单次迭代上的时间开销明显更大。它的优势在于将传统方案数千次盲目采样压缩至十余次精准决策，但在超高帧率极限场景下，这笔计算开销仍需通过模型轻量化或知识蒸馏进一步优化。

更大的图景

论文的讨论部分给出了我们真正相信的论点。一次性的深度估计器一旦离开训练分布就不可靠，可解释性又差，很难部署到工程场景里。经典估计器行为清晰、适用范围明确，却因为不可微而无法折进学习框架。把两者结合起来，两种性质都能拿到。一个部件只要能被打分，它就能被学习，同时还能继续做那个你信得过的部件。

我们很想知道，同样的处理方式能不能推广到几何栈里其他不可微的部件上。SLAM 中的噪声协方差估计是我们一直在琢磨的那一个。