Guangming Wang | 聂畅

迈向视觉-声音-语言-动作范式：面向声音中心操作的 HEAR 框架

Tue, 17 Mar 2026 03:22:30 +0000

听不见物理的机器人

现在的视觉语言动作模型会看、会理解语言、会运动，唯独不会听。它们工作在一个近乎无声的世界里，而机器人所处的环境其实满是声音：水烧到将沸时的嘶嘶声，碰撞那一下清脆的咔嗒，满容器与空容器截然不同的音色，材料从弯曲转向开裂的那一瞬间。这些声音都在编码相机无法还原的物理状态。

接触声学是能拿到的最便宜的触觉传感器：一只麦克风几美元，不用接触物体，而且一次覆盖整个工作空间。支持这么做的理由并不空泛，问题在于还没有人做出真正能用它的策略。

还没问到策略，线索就已经消失

难点不在建模，把它框成建模问题，恰恰是早先的方案没能解决它的原因。难点来自那套让大规模 VLA 模型得以落地的控制架构。

大骨干网络跑不到控制频率，于是通行做法是动作分块（action chunking）：模型一次给出未来的一小段指令，机器人开环执行完这一段，才轮到模型被再次查询。物理恰好发生在这段空隙里。碰撞、溢锅、按到底，都是短促且不可重复的声学事件，量级在一百毫秒左右，而它们往往整段落在策略没有在看的区间内。在 30 Hz 的控制频率下，一个动作块平均长约一秒。

这个后果要说准一点，因为它和大家通常的假设不一样。反应慢只是延迟；这里真正发生的是证据被销毁。声音到了，没有人在听；等再次查询策略，窗口里只剩安静。如果事件的采样在下一个窗口打开之前就已经结束，窗口里不会留下它的弱化版本，而是什么都没有。我们把两次决策之间的这段间隔称作盲执行区间（Blind Execution Interval），blind 这个词是实打实的。

还有第二类失败，和时序无关。设想机器人守在一台运转中的电器旁边。场景接近静止时，等一秒和等十秒，当前这一帧图像一模一样。专家示范却不同：下一步该做什么取决于已经等了多久，观测本身不体现这一点。只看单帧的策略分不清这两种处境，于是要么慢慢漂移，要么干脆停住。这正是时间上下文本该解决的混叠问题，而离开声音，它确实无从观测。

早先的尝试漏掉了什么

把音频转成文字是最先冒出来的念头，偏偏丢掉了我们需要的东西。语音识别前端会把非语音线索和韵律整个扔掉，还把时间压成离散 token，一声提示音什么都产生不了。更微妙的是，肯定的语气与犹疑的反问会坍缩成几乎相同的 token 序列，语用意图上的差别就此消失，而转写准确率看上去完美无缺。

第二种直觉是把波形画成图像，当作又一路相机视角。它能反映幅度变化，却掩盖了频谱结构，也就是频率轮廓与音色，材料和接触的信息恰好藏在那里。这种表示还对事件落在渲染窗口里的位置很敏感，性能起伏的原因与物理本身无关。

更近的一条路线把语音接进 VLA 模型，保留韵律和说话人身份。这是实实在在的进展，但它对准的是明确的口头命令，而不是操作过程里环境自身的声学物理，这是另一个题目。全模态系统离得更近，我们的保留意见则是结构性的：它们的设计是先听后做，用声音建立上下文、推断一次动作的意图，而不是把声音当作接触过程中的低层反馈。以上工作都没有处理瞬时事件与分块执行之间的错位，而那才是真正的瓶颈。

CLAP、ImageBind 这类音频基础模型在定长片段上离线、各自独立地训练，部署时又是无状态的，片段之间带不了任何时间上下文。紧凑的音频原生策略跑得快，也处理得了接触，但规模摆在那里，长时程、多阶段的行为很容易垮掉。原生处理音频是必要条件，远不是充分条件。

最容易想到的捷径是提高重规划频率：把动作块截短，查询得更勤，盲区间自然缩小。这些变体我们都试过。收益比看上去应该有的小得多，代价却落在运动质量上：轨迹不连续，抖动明显，还会引入局部的动作循环。它也修不好系统延迟，再高的查询频率都消不掉延迟。因为延迟丢掉的那条线索，问多少次都是丢的。

基准测试同样帮不上忙，因为标准仿真器都是无声的。RLBench 和 ManiSkill 在完全没有声学通道的环境里考察空间推理与视觉控制。真正用声音的导航基准允许智能体移动底座来改善听音几何，机械臂没有这条路：它必须一边干活，一边产生自己的机械噪声。

把感知节拍和决策节拍分开

我们的答案来自一个判断：这是速率不匹配，不是信息缺失。声音一直在，只是策略被问得太少，接不住它。

于是，与其把策略做得更快，我们把两种速率解开。一份持久记忆跟着音频流逐包更新，不看策略何时发起查询。等到真正要决策，记忆里已经装下了此前到达的一切，包括发生在盲区间里的事件。机器人回应的不是上一个窗口，而是刚刚过去这一秒的聆听，其中浓缩着近期的历史。

这是整个设计的核心动作，架构里其余部分都是围着它做的记账。需要一个东西记住，一个东西解释，一个东西预测接下来的声音，还有一个东西去行动。我们照着这个分工给它们起了名字。

两条约束塑造了设计。其一，音频通路必须严格因果：任何环节都不能去看尚未到达的采样，分词器为某一段生成编码时也只能依赖这一段本身。其二，记忆跨度要是指标，不能是运气。它得覆盖最坏情况下的决策间隔，再加上实测的系统延迟，否则这个保证就只是统计意义上的。

四个模块

Historizer。 两次决策边界之间，机器人可能收到一长串连续的音频包，每个约四十毫秒。Historizer 在它们到达时逐一消费，更新一份流式的有状态 Transformer 记忆。这份记忆只在决策时刻读出，其余时间不读。它存在的全部理由就是前面那条证据消失的论证：只开一个窗口的接口，表示不了窗口打开前刚刚发生的事。我们也试过因果 GRU，以及把指数滑动平均池化用在音频特征上；流式注意力多出来的容量对得起它的开销。我们最终选的是短窗口加持久摘要，而不是超长窗口，因为长窗口会把不同的交互阶段搅在一起，结果还取决于窗口边界恰好切在哪里。

Envisioner。 解释分成两层，因为两件事的频率差得很远。高层模型读取多视角图像、当前声学窗口、指令、本体感觉和记忆，产出三样东西：语义隐向量、KV cache，以及一段对当前任务阶段的简短结构化描述，形如 {"stage": "wait", "subgoal": "listen for beep"}。这段阶段文本出自高层模型自己的文本头。随后一个更小的低层模型复用该 cache，结合当前机器人状态得到控制特征。这样分层，把昂贵的语义解释挡在快路径之外。阶段监督比看上去更要紧：少了它，需要快速改变行为的任务会明显变差，因为没有任何东西迫使隐向量说出自己处在哪个阶段，而声学上有意义的阶段，在视觉上往往长得一模一样。

Advancer。 它预测从当前决策到下一次决策之间会到达的声音，形式是流式分词器给出的离散编码，以交叉熵训练。这个模块只在训练时使用，部署时直接丢掉，推理阶段不花任何成本。它的作用，是让隐向量对时间流逝和过程推进有具体的感知。倒水、沸腾、报警、对话，各自的声学未来都不一样；把未来预测出来，会逼着共享表征编码出机器人此刻位于过程的哪一步。没有它，失败的样子和 Historizer 缺席时不同：失败来得晚。声音已经告诉机器人该停了，它还在继续倒。正是这种不对称说明，两个模块解决的是不同的问题，而不是彼此重复。

Realizer。 动作由条件流匹配生成，从高斯先验积到动作块，用几步 Euler 积分解出，控制特征通过自适应归一化注入条件。选流匹配而不是扩散，图的是步数少。这里有个细节要多说两句：平滑为什么重要。把 Realizer 换成直接回归会产生抖动，抖动把机械自噪声灌进麦克风信号，盖住系统其余部分正想听清的那些短促线索。一次由控制选择造成的感知失败。最尖锐的说法是：一边运动一边聆听的策略，必须以让聆听成为可能的方式运动。在这个场景里，感知与控制分不开。

查看原图 ↗

Historizer 把落在盲执行区间里的线索保留下来。

查看原图 ↗

高层模型负责语义和任务阶段，低层模型生成控制特征。

查看原图 ↗

Advancer 只在训练阶段使用，部署时被移除。

三个训练目标加权求和，权重在微调的前一阶段逐步升上来，模型于是先学会模仿，再被要求具备时间感。

数据从哪来：它原本并不存在

没有任何机器人数据集带同步音频。Open X-Embodiment 里根本没有麦克风；真实的同步音频噪声大、绑定具体硬件，没法跨实验室铺开；标准仿真器也都不建模声学。

这两件事我们都做了。OpenX-Sound 从视频出发，为已有的回合补上音频，同时保留全部原始信号，我们手工抽查了一部分样本，核对同步性与语义相关性。有一点要说清楚：这是给表征学习用的冷启动机制，替代不了真实的物理数据。合成音频可能漏掉细微的接触线索，可能把事件时间挪位，也可能凭空编出一个没有物理来源的声音。论文里每一个结果，都是先把 OpenX-Sound 检查点在有真实音频的任务专属示范上微调之后得到的。合成音频让预训练的声学先验成为可能，真正让行为奏效的，是后面那些真实数据。

另一半是 HEAR-Bench。它建在双臂仿真器上，另起一个异步音频线程，按控制周期推出的精确采样位置注入环境噪声和触发片段，并且只有在提示音之后达成几何目标才判成功。那条时序规则就是它的全部贡献。没有它，回合一开始就按下按钮，和闹铃真正响起时再按，看上去毫无区别。

真机实验的精心设计：为什么是这几项任务？

在验证端到端多模态具身大模型（VLA）的声音感知操作能力时，我们没有随意选取玩具场景，而是针对纯视觉策略在物理世界中的根本盲区，精心设计了每一项真机实验：

1. 摩卡壶煮咖啡：真正的机器人咖啡师 vs 虚假的开环按键

现存绝大多数声称“机器人煮咖啡”的研究或演示，本质上只是让机械臂走到商用胶囊咖啡机或全自动咖啡机前，开环按下一个固定的塑料按键，然后静止等待内部集成芯片完成倒计时。这种操作根本不需要感知物理状态，本质上只是一次机械开关触发，没有任何温度、流体或烹饪物理变化的理解。

我们在真实厨房台面布置了意大利经典的金属摩卡壶明火加热萃取任务。摩卡壶由完全不透明的双层金属腔体构成，内部加压沸水、滤网咖啡粉饼以及向上喷涌的咖啡液完全深藏在金属壳体内，外部视觉相机与红外传感器根本无法穿透金属窥视内部液位与流动。

一名经验丰富的专业咖啡师绝不依赖秒表，而是全凭双耳监听锅炉内部的声音变化：

静默加热相：底壶水温逐渐上升，仅有微弱的热传导声；
平缓沸腾与层流萃取相：水蒸气压力推动热水穿过粉饼，发出持续、温和的轻微咕嘟声；
暴烈喷溅爆发相（Sputtering Phase / 气穴空化喷涌）：下壶水即将耗尽，高温高压蒸汽混合残存咖啡液从导流烟囱剧烈喷出，伴随着极具辨识度的“嘶嘶喷溅”声。

这是决定咖啡品质的绝对分水岭：早一秒离火，萃取不足导致口感酸涩水感；晚两秒离火，干烧将导致咖啡粉过萃焦苦甚至烧毁壶底。

HEAR 是真正的机器人咖啡师：它通过端到端 VLA 大模型实时监听高频声学频谱的突变，在捕捉到微弱喷溅声涌现的瞬间，以毫秒级响应发出离火动作块，将摩卡壶稳健移离电热炉。

查看原图 ↗

对比传统开环按键与 HEAR 监听金属摩卡壶内部声学相变的本质差异。

2. 摇瓶辨物：主动声学探测（Active Acoustic Probing）

在日常生活中，大量药品瓶、食品罐、封闭包装盒都是完全不透明的。被动视觉观测在面对不透明容器时彻底失效（无论如何调整相机视角，都只能看到静止的外表面）。

机器人必须具备“主动感知（Active Exploration）”的能力：先通过抓持摇晃瓶体施加外力激发碰撞，再从物体撞击容器壁的高频碰撞音色、共振阻尼与撞击频率中，解耦出内部是否存在物体、物体的物理材质与充盈程度。在真机演示中，我们采用装有实物的非空瓶，展示机器人通过主动摇晃准确捕捉内部撞击音并做出分类判断。

3. 真实闹钟：视觉静止下的时序混叠消歧

闹钟在静止状态与响起状态下，视觉外观完全相同。若无声学反馈，端到端策略很容易因捷径学习（Shortcut Learning）直接按停按钮。实验要求策略必须在闹铃真正骤响时才瞬间响应，验证 VLA 对瞬态声学触发事件的时间对齐精度。

4. 往不透明容器倒水与接听电话

往不透明容器里倒水，是声音成为唯一信号的典型场景。液面完全被遮挡，真正的决策变量是水流撞击容器底部与共鸣腔体缩小时倒水声的频率上升变化率。接听电话则检验长程复杂流程中，机械臂根据电话铃声响起到位、根据人声对话停顿判断聆听、并在通话结束挂断音响起后执行复位挂机，验证端到端 VLA 在连续声学事件驱动下的多阶段状态流转。

真机实验视频

所有演示均保留现场真实声音；点击后播放。

摩卡壶煮咖啡机器人化身咖啡师，监听封闭金属摩卡壶内部的剧烈喷溅声，精准判定萃取完成并执行离火。

接听电话铃声、语音和通话结束声帮助机器人区分视觉上相似的任务阶段。

摇瓶辨物机器人主动摇晃不透明容器，通过内部实物撞击的碰撞音色与共振阻尼判定所装物品。

真实闹钟机器人等闹钟真正响起后才按下停止按钮。

核心技术沉淀与工程认识

将高频连续声学信号深度融入端到端具身大模型（VLA），远不止在模型输入端增加一个声学特征编码通道那么简单。传统做法将声音当成额外的视觉通道对待，但声音的物理本质是事件驱动的高频瞬态信号，它要求端到端大模型在底层架构层面解决异步时序节拍的解耦与对齐。

这种张力并不局限于声音。任何以高于策略查询频率产生短促、不可重复事件的接触物理模态（最典型的便是高频触觉与微振动），都会遭遇同样的速率不匹配瓶颈。这种速率与因果不对称性，无法通过单纯把 VLA 大模型推理速度做快来解决。

单纯提高大模型的动作重规划频率并不能弥合瞬态事件捕获问题，反而会由于过高的推理抖动引入控制不稳定，拿系统的长程稳定性去换取盲目的瞬态反应，只会为控制系统引入高频噪声。唯有在架构内部建立显式的局部时序状态记忆与跨模态对齐表征，才能使端到端具身大模型既具备宏观语义因果理解，又拥有毫秒级声学物理闭环能力。辅助的声学未来预测自监督目标可以在推理零开销的前提下提供紧凑的时间锚定，而严格考虑时间触发因果的评测基准，才真正把“看起来做对了”推进到“确实听懂了物理世界”。

目前还做不到的事

只有一个工作空间麦克风，既无法定位声源，也分不开重叠的事件，这实际上就是鸡尾酒会问题。我们想要一个麦克风阵列，或者用底座加末端执行器组成一对来做波束成形。系统完全靠离线模仿训练，鲁棒性受限于示范中噪声与时间变化的多样性，在真实房间里做在线微调或强化学习是最直接的补救。音频和视觉仍作为两路独立的流处理，在表征层面融合，我们猜测，能把音色与接触直接关联起来的原生视听编码器会做得更好。至于不受约束的真实烹饪声学，仍是开放问题，真机部署的难度明显高于仿真。

更大的图景

我们出发时面对的那处张力，也就是高频的瞬时感知事件与低频、带延迟的策略更新之间的落差，并不是声音独有的。每一种把信息放在时间里的物理模态都会遇到它。HEAR 是我们的一次尝试：说明修法在架构上，并且把可以复用的东西留下来，包括 VSLA 的表述、预训练语料和评测基准，让后来的人接着往上做。

MovSAM：基于深度思考的单图像运动物体分割

Sun, 19 Oct 2025 00:00:00 +0000

一张照片里没有位移，却蕴含运动

在计算机视觉与机器人自主导航的传统技术谱系中，运动物体分割（Moving Object Segmentation, MOS）历来被理所当然地定义为一个时间差分测量问题：通过比对连续相邻视频帧，或者求解逐像素的光流场（Optical Flow），发生表观位移的像素区域便被划定为运动物体。这一时序前提是如此根深蒂固，以至于整个领域几乎默认了一个技术假设：没有时间序列，运动分割便无从谈起。

然而，在极其严苛的真实物理世界中，基于时间测量的流程频繁遭遇结构性失效：

静态意图与前驱运动：行人在斑马线边缘前倾重心、准备跨步的瞬间，其身体在像素空间内的瞬时位移几乎为零，光流法完全无法捕捉这一强烈的动态意图；
自运动（Ego-Motion）与动态物体的深度缠绕：当搭载相机的机器人或无人机自身高速移动或颠簸时，画面中所有像素都在剧烈变动。差分计算无法解耦哪些位移源自相机的刚体自运动，哪些源自环境中的独立动态目标；
动态遮挡与瞬态观测丢失：在传感器丢包、无线通信间歇性中断或相机快门高动态捕获的工况下，算法只能拿到孤立的单张单帧图像。传统基于时序的多帧模型因缺乏历史状态无法降级运行，只能彻底陷入停滞。

这项工作源于一个质朴却深刻的物理直觉：人类在观察一张定格的照片时，往往能够毫无困难地指出画面中哪些物体正在运动、甚至预判其接下来的轨迹。人类并不依赖肉眼测量微小的帧间像素漂移，而是通过对场景物理语义的深度阅读：奔跑者前倾失衡的身体姿态、被气流掀起的衣角发丝、脱离地面的车轮悬空状态、以及高速移动产生的边缘运动模糊。运动在这里并非测量出的物理量，而是通过语义推理与常识归纳得出的因果断言。

MovSAM（发表于 IROS 2025）正是旨在赋予机器人这种超越瞬时测量的单图像运动推断能力。通过构建多模态大模型深思引导的“提出—分割—批判”闭环，我们探索了如何在完全缺失时序维度的极端条件下，从单张静态图像中稳健分割出潜在的运动实体。

既有时序与大模型方法的盲区

为了解决无时序条件下的动态理解，现有算法路线各自存在无法回避的技术短板：

时序光流与视频分割范式：经典视频分割方法极度依赖两帧或多帧之间的高信噪比运动线索。它们并非在“利用”时间信息，而是在“消耗”时间信息。一旦将输入截断为单张静态切片，整套依赖特征相关（Cost Volume）与时序记忆传播的网络架构便彻底失效，输出退化为全零掩码；
通用大模型与 Segment Anything（SAM）的表征错配：Meta 发布的 SAM 模型具备非凡的零样本通用分割能力，但其原始设计面向点（Point）和几何包围盒（Box）提示，并不具备原生的自然语言指令接口。更致命的是，SAM 的视觉骨干专注于底层边缘、纹理与颜色梯度的解算，完全缺乏全局场景因果理解能力，它根本无法区分哪块具有清晰边缘的纹理属于静止背景，哪块属于正在移动的实体；
视觉语言分割（Reasoning Segmentation）的运动盲区：近年来涌现的开集指令分割网络（如 LISA 等）尝试将多模态大语言模型（MLLM）接入分割网络。然而，这类方法的核心落脚点在于“识别物体是什么”（Object Categorization），而非“判定物体是否在动”（Motion Reasoning）。它们在面对“运动错觉（Motion Illusion）”时表现极其脆弱——例如一辆喷涂了动感赛车条纹但静止停泊的汽车，或者一幅印有奔跑运动员的街头广告牌，常规模型极易产生虚假激活；
单向级联架构的幻觉累积：简单地将 MLLM 生成的文本提示单向输入给分割网络，在复杂非结构化场景中往往导致灾难性的误差传递。大模型生成的文本描述可能存在空间错位或物体混淆，而下游分割网络由于缺乏反思通道，只能机械地将错误提示渲染为离散掩码，整个系统缺乏纠错韧性。

单图推断运动的物理与几何困难

在没有时间跨度的静态图像中，分割运动物体面临着一系列本质的理论困难：

特征的启发性而非充分性：单张图像中所有可用的运动表征（如衣物飘动、离地腾空、单一支撑点倾斜姿态、径向运动模糊）本质上都是经验启发式线索。它们暗示运动的存在，但没有任何一条在严格物理意义上能够充要证明运动。模型必须综合权衡环境重力场、支撑接触面与力学平衡，才能做出合乎物理规律的推断；
自运动不可观测定理：在单张图像中，绝对自运动在数学构造上是不可逆重构的。画面中若出现倾斜地平线或模糊，无法仅凭单帧纯几何测量区分出“是周围物体在动”还是“相机自身在旋转倾斜”；
视觉空间细节与高层语义的表征鸿沟：SAM 提取的高分辨率图像嵌入（Image Embedding）富含精细的几何边缘与像素级空间坐标，但缺乏语义类别先验；视觉语言模型（VLM，如 BEiT-3）产生的多模态嵌入具有强大的概念推理能力，但在空间分辨率上极度粗糙。如何让两者在不相互污染的前提下实现无损对齐，是算法架构设计的核心挑战；
监督信号的稀缺与构造：全球计算机视觉界从未存在专门标注“单张图像运动物体”的大规模真实数据集，因为这个标签本身就带有主观推理属性。我们必须通过逆向清洗主流视频运动数据集，剔除自运动干扰严重的片段，提纯出具备明确单帧物理运动表征的独立图像，自研构建评测基准。

闭环假设验证：让掩码成为可以被反思的主张

针对上述难题，MovSAM 放弃了脆弱的单向流水线，而是将感知过程构建为一个类似科学家探索假说的闭环推理系统：语言负责生成运动假设，分割网络负责将假设落地为像素级几何主张，反思模型则对生成的视觉证据进行冷酷批判并迭代修正。

整个系统由三个紧密协同的阶段构成：

1. 深度思维链引导的运动假设提出（Deep Thinking Proposer）

多模态大模型首先观察整幅图像。为了防止模型在开放词汇空间中发散甚至产生视觉幻觉，我们设计了结构化的深度思维链（Chain-of-Thought, CoT）推理流程：

智能体首先遍历场景中的所有显著实体及其空间相对布局；
结合重力常识与力学平衡条件，重点扫描不具备稳定物理支撑的物体（如空中飞鸟、投掷出的球体、抬腿奔跑的行人）；
输出带有显式几何定位与运动因果的标准化文本描述：$\mathcal{P} = \langle \text{类别}, \text{空间相对方位}, \text{推断运动动作}, \text{物理线索理由} \rangle$。例如输出：“画面右上角有一只正在空中滑翔的飞鸟，双翼展开且完全脱离树枝支撑”。

2. 特征聚合网络与多模态像素分割（Grounding Segmenter）

在分割网络中，我们以冻结权重的 SAM 2 图像编码器为基础提取稠密空间特征，引入预训练的 BEiT-3 视觉语言模型注入高阶语义理解。针对表征错配问题，我们设计了轻量级的 特征聚合网络（Feature Aggregation Network, FAN）：

FAN 由五层带有跳跃连接的二维卷积层与自适应全局池化层构成。它反向操作：并不试图让 SAM 具备高阶语义，而是提取 SAM 图像嵌入中的多尺度空间拓扑信息，将其压缩为一个紧凑的空间先验向量，随后无缝拼接至 BEiT-3 的多模态输入流中；
调整后的提示编码器接收融合了空间先验的多模态特征，直接激活 SAM 的掩码解码器，输出候选二进制掩码 $\boldsymbol{M}^{(k)} \in \{0, 1\}^{H \times W}$。

3. 多模态反思批判与循环修正（Reflective Critic Loop）

这是 MovSAM 区别于以往所有指令分割模型的关键所在。生成的候选掩码被半透明色彩高亮渲染回原始图像中：

$$I_{\text{overlay}}^{(k)} = \alpha I + (1 - \alpha) \text{Color}(\boldsymbol{M}^{(k)})$$

渲染后的合成图像被重新交由 MLLM 批判者进行多维度审查：

语义正确性检验：高亮区域覆盖的实体到底是否真正处于运动状态？是否误将背景静态雕塑或反光广告牌划入？
空间完整性审查（Under-Segmentation）：掩码是否漏掉了运动主体的关键附属部分？（例如分割了奔跑的人体，却漏掉了其甩起的双臂或腾空的脚踝）；
边缘纯净度审查（Over-Segmentation）：掩码是否由于边缘溢出，把不动的地面阴影或邻近静止护栏错误吞噬？

若批判者判定当前掩码不符合物理真实，它将明确驳回当前结果，并生成带有精准修正意见的二阶提示词（例如：“驳回初版掩码：当前掩码仅包含了飞鸟的主干身躯，遗漏了展开的右侧翅膀，请向右上方向扩充边缘”）；分割网络根据新提示重新计算掩码，进入下一轮迭代。系统设置最大迭代上限为 5 轮，一旦批判者认可其物理一致性，循环立即收敛输出。

查看原图 ↗

MovSAM 借助场景语义与外观，从单张图像中推断可能运动的物体。

查看原图 ↗

每一帧独立处理，遮挡不会把误差沿时间传播开来。

网络训练与复合损失函数

为了在最大化保留基础模型开放泛化能力的同时适应单图像运动推断任务，我们采取了分层微调策略：

参数冻结：SAM 2 的 ViT 大规模图像编码器全程保持权重冻结，以保留其在数亿图像上建立的通用底层边缘提取能力；多模态大语言模型（如 GPT-4o 或开源本地 Qwen-VL）以黑箱 API 或冻结模式运行，保障其通用因果常识不受任务微调的表征侵蚀；
优化模块：仅对特征聚合网络（FAN）、视觉语言适配器以及 SAM 的轻量级掩码解码器进行端到端联合训练；
复合分割损失函数：结合二值交叉熵（Focal BCE）与连续 Dice 损失函数，构建均衡的监督目标： $$\mathcal{L}_{\text{seg}} = \lambda_{\text{BCE}} \mathcal{L}_{\text{BCE}}(\hat{\boldsymbol{M}}, \boldsymbol{M}_{\text{gt}}) + \lambda_{\text{Dice}} \left(1 - \frac{2 \sum \hat{\boldsymbol{M}} \odot \boldsymbol{M}_{\text{gt}}}{\sum \hat{\boldsymbol{M}} + \sum \boldsymbol{M}_{\text{gt}}}\right)$$ BCE 负责逐像素把控精细边界分类，Dice 损失则有效规避了微小运动物体在整幅高分辨率图像中所面临的严重前景/背景正负样本失衡问题。

实验评测与消融洞察

我们在主流视频分割数据集的独立单帧抽样基准，以及由真实机器人车载相机采集的非结构化图像测试集上进行了系统评测：

与传统时序模型的静态退化对比：当人为截断为单帧输入时，传统基于光流与时序记忆传播的视频目标分割算法（如 ProMRA、DeAOT）因缺乏时间差分线索而近乎完全瘫痪，只能输出全零或严重破碎的掩码；而 MovSAM 依靠 LLM 与 VLM 的高层场景因果推理，在单张静态图像上实现了稳健的分割表现，证明了常识物理推理填补时序空白的可行性；
批判反思循环的边际收益：消融实验表明，在加入 LLM 多模态批判反思机制后，复杂动态遮挡与细长四肢漏分割的现象显著减少。多轮迭代使得最终输出不仅是“几何上的边缘聚类”，更是“语义上经得起物理推敲的完整实体”；
特征聚合网络（FAN）的不可替代性：若将 FAN 模块移除，直接将未经空间调制的 VLM 语义特征强行灌入掩码解码器，分割边界会出现大面积锯齿与结构断裂，充分印证了跨模态空间细节补偿机制的关键作用。

查看原图 ↗

单图像运动物体分割的定性对比。

物理局限与未来演进

在论文中，我们以严谨的学术态度指出了基于单帧纯语义推断运动的客观物理边界：

纯粹刚体匀速平移的不可推断性：如果一个表面光滑的刚性球体在无摩擦平面上以匀速低速滚动，且未产生任何运动模糊、形变或阴影脱节，那么在任何单张照片中，该物体与静止状态在物理上是完全不可区分的。MovSAM 的推断基于常识物理线索，无法创造物理世界本身未曾留存的信息；
多轮批判带来的推理时延：由于引入了大语言模型的多轮反思对话，单帧全流程推理耗时在当前硬件条件下处于秒级范围，尚无法直接满足百赫兹级的高速动态避障需求。其现阶段的主要应用场景在于高层态势感知、离线故障时空诊断以及通信降级状态下的关键目标锁定。

总结与工程反思

MovSAM 的核心学术贡献，在于向领域展示了：语言与多模态常识不仅可以用于描述世界，更可以作为一种强大的先验假说，去恢复由于物理传感器受损而缺失的物理时间维度。

通过将基础感知模型（SAM 2）、跨模态对齐网络与大语言模型的深度反思能力有机编织为一个自愈闭环，系统在极度匮乏时序观测的严苛工况下依然保持了对真实动态世界的理解深度。这一探索为机器人面对传感器偶发失效、非连续通信以及极端非结构化环境时的感知韧性提供了崭新的解题范式。

ERMV：面向具身智能的 4D 多视角机器人世界模型

Wed, 23 Jul 2025 12:41:11 +0000

示范数据很贵，可我们手里已经有了

视觉-语言-动作（Vision-Language-Action，VLA）模型在多视角图像序列上训练，每一帧都对应产生它的那个动作。采这类数据又慢又贵，而且扩不起来：一段操作序列就可能包含上千张图像，高质量专家示范的稀缺，是这些策略能否泛化到开放世界场景的主要限制之一。

这项工作的起点是一个观察：数据早就存在了，缺的是多样性。一段抓起盒子的示范教会了策略该怎么做，却只给出了这件事发生的那一个世界版本。如果策略见过的盒子永远只在那张桌子上、那个房间里，它没有任何理由迁移过去。

为了突破这一数据孤岛，具身智能亟需一个能够理解物理交互、保持多视角时空一致性、且严格遵循机器人动作规律的机器人世界模型（Robotic World Model）。如果世界模型能够以已有的高质量动作为条件，在保持物理交互过程绝对保真的前提下，推演生成不同场景外观、光照、背景的反事实世界状态，海量高价值的 VLA 训练数据就能够被成倍激活。

这正是 ERMV 的核心定位：构建一个动作与状态条件化的 4D 多视角机器人具身世界模型。它不仅仅是在做静态的画面编辑，而是把整条 4D 时空物理交互轨迹当作一个可控的状态转移流来建模。

这其中的核心挑战在于物理动作配对。一段真实的机器人示范不是普通的单视角视频，它是若干同步的高频相机视图，加上高精度的机械臂位姿状态和控制指令。一旦世界模型在生成推演时产生空间漂移、改变了相机的几何投影关系，或者破坏了机械臂与操作物体之间的物理接触因果，整段轨迹就变成了违背物理规律的错误示范。这种生成数据比数据稀缺更加致命。

查看原图 ↗

视觉变化在同步视图之间传播，而记录下来的动作保持不变。

现有生成式模型为什么建不好机器人世界

近年来，基于大算力的通用视频生成模型（如 Sora 等）展现出了惊人的视觉合成能力，也有不少研究尝试将其引入具身领域构建世界模型。然而，在机器人精细操作领域，通用的非条件视频生成或者自动驾驶环视世界模型根本无法直接迁移：

自动驾驶世界模型的刚性先验在机械臂操作中彻底失效：为自动驾驶设计的环视世界模型依赖于固定的车规相机阵列以及扁平的鸟瞰图（BEV）投影先验，跨视角注意力被硬编码在相邻相机的已知相对位置上。但机器人操作场景通常配备动态运动的腕部相机（Eye-in-Hand）与多路自由视角的第三人称相机，相机的相对位姿在毫秒级快速变化，刚性空间拓扑先验根本不复存在。
缺乏严格动作条件化（Action-Conditioning）的视频模型会发生物理幻觉：通用视频模型虽然能生成连贯画面，但无法把机器人末端执行器的物理位姿、关节转角和夹爪动作严格作为动力学控制条件。画面里的物体可能无缘无故位移、形变，甚至机械臂穿模或凭空抓起物体——这种生成视频对于端到端策略训练而言是致命的“毒药”。
逐帧单图修复（Inpainting）破坏 4D 时空连续性：单图增强方法虽然能换背景，但它完全丧失了时间维度与相机间的约束，生成出来的物体在不同视角之间“穿帮”，连续播放时剧烈闪烁。
静态 3D 重建难以表达高动态接触物理：基于 NeRF 或 3DGS 的静态重建虽然保住了多视角几何，但很难建模机械臂与非刚体、流体、小物体之间复杂的瞬态接触力学与遮挡关系，更无法应对高速运动产生的运动模糊。

具身智能真正需要的世界模型，必须是在机器人动作与运动状态强约束下、保证多相机视角几何一致、且能稳定进行长时程 4D 物理推演的生成系统。

难在哪里

相机阵列不是固定的。操作数据来自一个不断运动的、以自我为中心的多相机系统，任何依赖已知静态相机间几何的一致性机制到这里就失效了。

运动模糊破坏了我们本来可以依赖的几何。相机和物体同时在动，于是在一张模糊图像里沿精确极线采到的特征，未必对应真实的像素位置。让多视角注意力成立的那个约束，在运动条件下反而是错的。

误差会累积。编辑后的帧要作为历史喂回下一个窗口，小误差不会一直小下去。放到长时程上看，它表现为语义漂移和细节模糊。这个领域对误差的容忍度格外低，因为机械臂和被操作的物体必须在整段序列里保持一致。一旦不一致，这段序列不只是看上去不对，它不再是有效的训练数据。

算力上的矛盾是结构性的，不是偶发的小麻烦。长程记忆想要大一点的工作窗口，而在 L 个时间步、N 路视角的窗口上做密集注意力，又要吃掉一大块显存。我们希望它在一块消费级 GPU 上就能训练。

保住真正要紧的物体，没有便宜的解法。为被操作物体训练一个通用分割器不可行，因为这类物体种类繁杂，常常是从未见过的，还被以自我为中心的刁钻角度拍摄。对上万张图像逐帧人工标注，同样负担不起。

文本提示也缺少这个任务需要的粒度。让模型把背景换成办公室，颜色、房间类型、朝向全都没有定义，出来的结果还可能和机器人正在做的事情相冲突。

用机器人数据自带的结构

机器人数据的结构化程度好得少见。它自带标定过的相机、记录下来的相机位姿、记录下来的机器人状态，以及一个共享的时钟。我们的想法是，别再为编辑另造一套描述规范，直接把这套结构用起来，再加一张手工编辑的关键帧。

主相机的第一帧由图像修复模型或人工编辑，这张编辑后的图像就是视觉层面的规范。论文里叫它 blueprint（蓝图），这个词用得很准。颜色、布局、朝向它都表达得毫不含糊，一句话做不到这一点，而人只需要改一帧，不是上千帧。

从这套结构里引出两个设计决定，它们都在放宽约束，而不是去满足约束。

第一个关于极线几何。一个正在运动的夹爪被运动模糊在像素上抹开，由位姿算出的极线指向的是夹爪静止时应该在的位置。严格施加这个约束，匹配到的是错误的像素。所以我们把极线几何留作搜索结构，同时让模型去学那个偏移。一个小网络根据局部图像特征和运动条件预测运动造成的偏移，注意力沿着平移后的直线进行。约束是被放宽了，但没有被丢掉。

第二个关于注意力。密集时空注意力是维持序列一致性的默认做法，代价很高。支持我们不做它的那个领域观察是：在很多操作场景里背景基本静止，图像变化缓慢，需要靠密集机制去捕捉的帧间差异并不多。所以我们采样。

查看原图 ↗

固定预算的观测为整个窗口提供长程上下文。

稀疏上下文，以及把稀疏拿掉的东西还回去

稀疏时空上下文（Sparse Spatio-Temporal context）在一个滑动时间窗口上采样固定数量的一组图像，规模远小于完整的时间×视角网格。采样是随机的，这一点值得直说，不必往它身上安一个本来没有的智能。

真正起作用的在后半段。每张被采样的图像都带着自己原本的时间索引和相机索引，这些身份被显式编码成条件。下采样破坏了时空结构，于是我们把结构重新注入进去。三秒前的一帧仍然被标记为三秒前，它因此能贡献外观证据，又不会被误当成当前状态。这个想法很小，适用范围却很宽：对结构化数据做下采样时，把结构放回去。

还有第二个决定，把它和常见的自回归方案区分开来。采样得到的历史不只是作为条件注入网络，它还会和未来帧一起被生成出来。未来帧因此能在生成过程中从历史里提取几何结构，而不是仅仅以历史为条件。

在窗口大小固定的前提下，稀疏采样省下的显存大约是两倍。正是这个倍数，让单卡训练成为可能。

运动条件放在哪里

每张目标图像都以相机位姿、机器人状态，以及这两者的时间差为条件。静态项为每个视角提供几何上的落点，时间差项才让模型有能力渲染出运动模糊。这件事比听上去更要紧。去掉运动条件之后，图像看上去反而更锐利，毕竟模糊也是一种“不锐利”，可它们不再具备真实相机会拍到的那些物理特征。感知上的锐利不等于物理上的真实，而在一批不可能锐利的图像上训练出来的策略，学到的是一个并不存在的分布。

训练的前提是同步的位姿与状态记录确实存在。对机器人示范来说这个前提成立，这也是方法在这里行得通、换到任意视频上就行的原因。

查看原图 ↗

极线是搜索结构，一个学到的偏移量负责解释运动模糊。

把人力花在真正需要的地方

生成的帧会作为历史反馈回去，而历史恰恰是误差累积的地方。与其去指望一个更好的生成器，我们在系统层面处理它，引入一个验证器。

一个多模态大模型充当自动检查器，用思维链（chain-of-thought）提示把每张生成图像与原始图像做比较。它按十分制给核心物体的退化程度打分，并给出一致性判断。检查不通过时，系统向专家索取核心物体的分割掩码，这个掩码成为一次纠错式重生成的额外条件。

我们把它描述为 MLLM 审核加专家纠正，并且把它当作一条务实的中间路线，而不是一个已经解决的问题。两个显而易见的极端都走不通：为被操作物体训练通用分割器训不出来，逐帧标注又负担不起。这个环节把人工标注限制在模型失手的少数情况上，而这些地方正是专家时间真正值得花的地方。

关于这条流水线究竟有多自动，应该讲清楚。它不是全自动的。引导帧由人来产出，也可能有人被要求提供掩码。让这条边界往后推属于未来工作，我们提到语义分割和目标检测是可能替代当前部分人工干预的工具。

查看原图 ↗

自动检查捕捉退化，只在它失败的地方请求人工纠正。

我们从中学到什么

被违反的物理约束应该被放宽，而不是被丢弃。模糊破坏了极线几何，有用的应对是学出偏移，同时把几何留在那里当骨架。丢掉约束，等于丢掉了让跨视角注意力得以成立的那套结构。

稀疏化的理由应该来自领域统计，而不是泛泛的效率论证。背景基本静止是操作场景的真实性质，正是它让稀疏注意力站得住脚，而不只是便宜。

对结构化数据下采样时，把被采掉的结构重新注入。每个样本多带两个索引，代价很小，换来的是模型能正确解读它们。

误差累积可以在系统层面处理，不必塞进生成器内部。一个便宜的外部验证器是更好的模型之外的合理选项，它还有个附带好处：把模型的薄弱处定位出来。

还有一点，去做增强，而不是重新采集。这是最实际的主张，也是为什么即使它需要一张引导帧、偶尔还需要人工搭把手，这个方法依然值得做。

系统边界与物理约束

作为面向真实机器人操作的 4D 世界模型，我们也需要诚实界定 ERMV 的系统边界：

轻量表征与隐式几何：ERMV 目前采用多视角 2D 扩散机制结合极线注意力来隐式维持 4D 几何，尚未显式引入深度图、点云或 3D 高斯泼溅（3DGS）等显式三维表征。引入显式 3D 几何先验有望进一步抑制极端大位移下的几何畸变，这是未来架构升级的自然方向。
人机协同的纠错闭环：当前的 MLLM 验证器虽然极大减轻了人工负担，但在遇到高度透明物体或极端复杂流体时，其多模态审视仍可能漏判。目前的设计务实地保留了极少数关键掩码的人工介入通道，实现无人值守的全自主闭环验证仍需更强的高精度大模型支持。
物理保真度与动力学遵循：ERMV 是基于示教动作与运动学先验驱动的生成式世界模型。它能高保真地渲染出光影、材质、背景和遮挡关系的真实时空演变，但它不是通用力学解析器。当动作导致未建模的剧烈破碎或复杂刚体碰撞动力学突变时，世界模型依然依赖于训练分布中记录的物理线索。

通向哪里：可控具身世界模型的未来

ERMV 的核心贡献，在于证明了构建高保真、可控的 4D 多视角机器人具身世界模型不必依赖不可控的黑盒通用视频模型，而是可以深度结合机器人本体的运动学状态与相机几何约束，以极具算力性价比的方式实现物理环境的推演与反事实生成。

作为机器人具身世界模型，ERMV 展现出几个极具变革性的应用图景：

反事实世界推演引擎（Counterfactual World Engine）：给定一段真实示范的物理动作与状态流，世界模型可以推演该动作在无数个平行物理世界中的多视角展开（不同桌面材质、不同光影环境、杂乱背景与反光表面），直接为端到端 VLA 具身大模型提供几乎无限的泛化训练数据。
动作条件化未来推演与安全验证：给定任务初始环境与一段规划动作，世界模型可以前向 rollout 出未来的连续 4D 视频流，作为策略部署前的离线安全评测环境，在不损坏真实机械臂的前提下预警可能的碰撞与操作失误。
打通仿真到真实（Sim-to-Real）的全新范式：在低成本物理仿真器中大规模生成交互动作轨迹，再借助 ERMV 动作对齐的世界模型，将其推演为具备真实相机传感器物理特性（包括镜头噪点、动态运动模糊与真实材质响应）的多视角逼真视频流，以生成式世界模型大幅缩小 Sim-to-Real 的视知觉鸿沟。

LNR：通过学习邻域实现鲁棒多模型拟合

Sat, 14 Sep 2024 10:33:19 +0000

多结构并存下的最小集组合爆炸：为什么盲目随机选取几乎注定选错

在几何视觉与机器人建图中，多模型拟合（Multi-Model Fitting）要解决的是物理世界中最普遍的混叠现实：场景中往往同时存在数十个不同的几何图元（如多堵交错的墙面、多条道路边缘、多个运动物体的轨迹），且这些结构被淹没在海量的传感器噪声与未匹配外点之中。

在经典几何鲁棒估计中，求解一个基础几何模型只需要极其精简的离散数据点。这就是所谓的“最小样本集（Minimum Sample Set）”——例如在二维空间拟合一条直线只需要 $m=2$ 个点，在三维空间拟合一个平面需要 $m=3$ 个点，求解双视图基础矩阵需要 $m=8$ 对对应点。

如果沿用传统 RANSAC 的均匀随机采样策略，系统会假设每一次无偏抽取都有合理的概率命中正确内点。然而，一旦场景从“单模型”切换到“多模型交织”，这种盲目抽样的数学期望就会发生灾难性的指数坍缩：

设场景中存在 $K$ 个不同的真实结构，若盲目从全部观测中随机抽取两个点，这两个点要么分别属于两个完全无关的物理结构，要么其中至少有一个是环境野点。随着交叠结构的增多与外点率的上升，随机抽取的样本对“恰好全部落在同一个合法结构上”的几率微乎其微。每一组错误的最小采样集，却依然要耗费算力调用底层的代数求解器并执行全量几何残差打分。算力绝大部分都被白白浪费在这些先验即错的候选假设上，这是传统采样机制在多模型场景下的结构性瓶颈。

而如果采用贪心迭代剔除（例如 Sequential RANSAC 先拟合一个模型、剔除其内点再重新开始），又会陷入硬聚类的陷阱：现实中相邻结构往往在交界处共享观测，贪心剔除使得共享观测被前序模型独占，导致紧邻模型失去几何支撑而直接被漏检。

还有三条约束决定了我们最终的做法。方法必须在不知道模型数量的前提下工作，这就排除了一整类把模型数当作输入的方案。速度要能实用。最后，它得能迁移到别的任务，因为每换一个问题就要重新设计一遍的拟合器，算不上通用工具。

查看原图 ↗

学习只落在两个决策点上，其余仍是经典流程。

真正出问题的四件事

我们把问题拆成四种失效情形，方法的每个部件各回答其中一种。

第一，几何特征没有被充分利用。现有方法要么依赖人工设计的判据，只看得到几何信息的一部分；要么是神经网络，从头到尾没有显式地看过几何。

第二，噪声带来的低效优化。大量求解器调用，花在从一开始就没有希望的点集上。

第三，模型重叠。这是拟合一个模型与拟合多个模型的根本差别，而多数形式化描述连把它表达出来都做不到。

第四，流程不可微。离散的最小集采样和任务专用的最小求解器都处在流程中间，两者都没有梯度。想把基于学习的方法接进来，难就难在这里。仅有的两条绕行路线都不好用：拿可微的松弛替换精确求解器，等于把求解器弄丢了；改用策略梯度估计，就得接受方差。

已有方法没能解决的问题

贪心的单模型扩展带着上面说的硬归属问题。MultiRANSAC 每次迭代拟合 K 个模型而不是一个，这就要求 K 事先已知；K 一大，计算上就变得不划算，因为一次迭代里同时找出好几个好模型本身就很难。

迭代式假设生成是更精细的一类，共同的毛病是时间上的耦合。每个新模型都建立在前几轮的结果之上，随着流程推进，误差会沿着模型重叠处层层累积。我们自己的消融实验如实记录了这里的取舍：把更强的学习式采样器换进 LNR，精度上去了，整个过程也明显变慢。我们主动选了代价小的那一边，并且把代价写在论文里。

聚类式方法，包括偏好集聚类和把最小集判为有效或无效的网络，在各自针对的问题上表现不错，却没有考虑数据的复用。评估一个假设时得到的信息，不会带到另一个假设的评估里去。

还有一类方法用全局能量函数替换采样启发式，能量由几何误差和聚类规整项构成；也有人用归属能量的凸松弛，或者在超图上做模式搜索。这些形式化在构造上就能处理重叠，代价是所用代价函数足够复杂，复杂到未必能充分利用数据里真实存在的几何信息，迁移到多样而复杂的场景时效果因此受限。

利用并行计算的高效采样方法很强，但它们需要把实例数量当作先验，适用范围受限。

最后是端到端深度方法，精度不错，以黑箱方式工作。这对可靠部署来说是实打实的障碍，也正是我们不想造的东西。

在决策点上学习，以数据点为条件

我们的做法是把经典流程原封不动保留下来，只把学习放到真正做决策的地方：求解之前，决定哪些最小集值得占用一次求解器调用；求解之后，决定每个假设该往哪里动、它又有多好。

关键的设计选择是网络以什么为条件。所有被学习的量都是数据点几何特征的函数，与假设参数无关。正因如此，采样器和求解器才能留在流程里，在前向过程中作为不可微的黑箱存在，不需要任何梯度穿过它们。

这里需要说准确，因为很容易讲过头。求解器在训练中是参与了的：两个分类器的标签都来自把求解得到的假设与真值实例作比较，粗层的标签也来自对采样集合的求解。没有发生的事情，是穿过求解器或采样器反向求导。两者只走前向。

每个点先用 Fourier 特征映射提升空间频率的编码能力，再经过以逐点卷积实现的共享多层感知机，最后最大池化成全局描述子。逐点特征与全局特征拼接成 256 维向量，其中局部 128 维、全局 128 维，于是每个点既带着自己的局部几何，也带着对整个场景的一份概括。粗层模块需要这种整体视角；后来我们发现，细层模块并不需要。

查看原图 ↗

一个点可以同时为多个假设提供证据，重叠因此可以被表达。

求解之前先筛选

粗层模块随机抽取大量最小集，数量刻意取得偏多，以保证覆盖足够广，然后为每个集合预测一个置信度。只有得分最高的那些能走到求解器面前。

这里有两件事值得展开。第一，采样为什么一直保持随机，而没有变成迭代式。随机采样避开了迭代式生成器那种误差累积，也能保住对整个观测集合的覆盖。这是务实的折中，不是最优解，我们在文中也这么写了。

第二，置信度按二分类问题来训练，这意味着模块学会了挑选有希望的最小集，却不需要任何显式的退化检验。经典流程会写死若干检查来拒绝退化构型（degenerate configuration）；在这里，拒绝是从求解结果与真值的比较里学出来的。我们把一条手写规则换成了一条学出来的规则，好处在于它随数据改变，而不随写规则的人改变。

去掉粗层模块，性能掉得很明显，因为细层网络应付不了那样堆积起来的候选数量。分开预训练粗层、而不是两层联合训练，效果同样更差，原因正是整套训练设计里最有意思的地方。

用邻域判断一个假设

对每一个存活下来的假设，我们划出一块邻域（neighbor region）：在某个任务相关的距离度量下离它足够近的那些数据点。直线用欧氏距离，消失点用方向距离，平面用重投影误差，运动用归一化极线约束。邻域内的点先被编码，再把每个点到该假设的残差拼接到它自己的特征上，点数不足的邻域用零填充以便批处理，最后由两个头读取结果。

一个头预测的是增量，不是一个完整的模型。直线任务里，它预测两个端点各挪一点点；消失点、单应或者基础矩阵任务里，它预测一个对应的调整量，这个调整量直接加到粗层假设上。网络从不凭空造模型。核对并修正一个猜测，比从零生成一个要容易，所以生成交给经典求解器，修正交给网络。

另一个头预测评分。论文在这里的立场常常让人意外：一致性最大化并不偏向最好的那个模型。内点计数是衡量假设质量的标准代理指标，模型一旦重叠，它就是错的代理指标。取而代之的，是从假设周围的数据里学出评分。

邻域表征也是重叠之所以能被表达的原因。两条相交直线在交点附近共享一块邻域，那里的点同时落在两个邻域内部，为两个假设都提供证据。整个流程里没有任何地方做硬归属。

细层模块还刻意丢掉了粗层所依赖的全局上下文。细化单个假设时，局部细节更有用；全局信息会带进来许多无关细节，反而拖慢这件事。同一个特征在筛选时帮忙，在细化时添乱。这种不对称是一条可以复用的由粗到细原则，也说明两个模块不能简单看作同一个网络跑了两遍。

查看原图 ↗

细层依据假设周围的观测打分，而不是只看假设参数。

决定场景里有几个模型

打过分的假设是冗余的。好几个假设描述的是同一个结构，而答案里它只该出现一次。我们把目标检测里的非极大值抑制（non-maximum suppression, NMS）搬到这个场景，把交并比换成几何意义上的相似度：直线看端点距离和夹角，消失点看高斯球面上的邻近程度，单应和基础矩阵则看逐点距离向量之间的相似度。

决定场景里有多少个模型的，也是这套机制。模型数量是抑制过程的输出，而不是方法的输入，这正是我们一开始就想要的效果。

两个模块如何互相训练

三个损失。粗层置信度和细层评分都用二元交叉熵，标签由候选与真值实例的相似度导出。细化头用 Smooth L1 目标函数监督参数增量。

需要解释的是两层之间的耦合。细层的损失会回传到粗层模块，于是选择器学到的是优先挑那些细层能处理得动的假设，而不只是去匹配一个预先定好的标签。两个模块共享编码后的邻域特征，梯度通路就是靠这一点存在的。联合训练优于预训练粗层，原因在于细层的信号重新定义了粗层眼里什么算好。

消融实验里还有一条我们事先没想到的观察。只用更难的场景训练，也就是画面里直线更多的那种，效果与用简单场景训练持平，甚至更好。我们把它归因于数据变化更大，起到了正则化的作用。用来对照的基线采样器上，同样的效应也出现了，只是弱一些。

我们从中得到什么

让学习和不可微部件解耦，靠的是换掉网络的条件，而不是把它们变可微。这份克制是本文方法上最强的表态，也正是精确求解器得以保留的原因。

选择器要对下游的兼容性负责，而不是只对着自己的代理标签优化。预训练会丢掉联合训练能保住的信息。

一致性不等于质量。模型重叠的时候，内点计数是错的度量；把它当成对的，模型就会被少算。

一个特征的价值取决于它出现在哪个阶段。全局上下文对筛选有利，对细化有害。

还要把多实例做进结构里。如果接口规定每个点只能进一个模型，那么无论怎么训练，都表达不了两个。

它假设了什么

两个分类器需要真值实例作为监督。在没有真值模型的领域里表现如何，我们没有刻画。

邻域半径和采样预算是任务相关的量，除了说它们会随任务变化，我们没给出设定办法；抑制阈值同样没有写出来。

跨任务迁移意味着要重新推导四个任务相关的部件：邻域的距离度量、求解器、细化的参数化方式，以及抑制时的相似度。这些是针对每个任务的实际工程工作，我们不宣称零样本迁移。

面对长度不一的邻域，零填充是我们唯一的办法；点很少的邻域会不会因此被稀释，我们没有考察。

随机采样是折中，不是最优。我们自己的消融显示，更强的采样器能提高精度；而一个便宜的学习式采样器能否两头兼顾，我们没有给出答案。

为什么保留两段式流程

保留既有的两段式策略，理由很具体：可解释性。数值方法天生可解释，适用范围也界定得清楚，缺点在于难以充分利用数据的几何特征。端到端深度方法表现很好，却说不清自己是怎么得到结果的。

LNR 保留了流程，输出就是显式的几何模型。网络接受通用的无序点集，图像对应、三维点云和像素坐标都包含在内；损失作用在几何特征上，而不作用在假设上。正是这一点，让它能和各种各样的求解器与采样过程兼容，可微与否都不影响。

我们给自己定的目标刻意不高。希望它为用学习的方式处理多模型拟合带来一点新想法；比起一个精度说不清来由的方法，我们更愿意要一个行为经得起追问的方法。

DiffSAC：扩散引导的采样一致性鲁棒估计

Sat, 31 Aug 2024 11:15:11 +0000

昂贵的地方不在采样，而在无效假设的验证

在三维视觉与机器人状态估计中，从带有大量噪声和外点（Outliers）的观测数据中解算几何模型，采样一致性（Sample Consensus, RANSAC）历经四十余年依然是无可替代的工业标准。然而，这一经典范式存在一个往往被工程实践默认承受的结构性沉重代价：候选最小集的生成是廉价的，但对每一个候选模型进行全局外点检验却是极其昂贵的。

在几何估计中，最小集（Minimal Sample Set）是指能够唯一确定模型参数所需的最少观测数量：拟合空间直线需要 2 个点，拟合三维平面需要 3 个点，估计单应性矩阵（Homography）需要 4 对对应点，而在双视图几何中求解基础矩阵（Fundamental Matrix）通常需要 8 对对应特征点（或 7 对）。经典 RANSAC 依赖全局均匀随机抽样。根据几何概率统计，若数据集中外点比例为 $\epsilon \in (0, 1)$，最小集规模为 $s$，为了以概率 $p$（通常取 0.99）至少抽中一组全内点组合，所需的理论迭代采样次数为：

$$K = \frac{\ln(1 - p)}{\ln\left(1 - (1 - \epsilon)^s\right)}$$

当外点比例温和时，计算尚可接受；但一旦面临恶劣的野外感知或低纹理重复场景，外点比例飙升至 80% 甚至 90% 时，组合数发生灾难性爆炸。在求解 $s=8$ 的基础矩阵且 $\epsilon = 0.8$ 时，全内点组合被命中的先验概率仅为 $(0.2)^8 \approx 2.56 \times 10^{-6}$，理论上需要执行超过 180 万次迭代。即便在工程中硬性截断迭代预算为几千次，绝大多数算力也彻底耗费在解算那些从物理上就注定错误的模型，并在数千个观测点上反复计算投影误差。

不仅如此，随机均匀采样对几何退化完全无感。两对空间距离极近的特征点，其局部坐标可能高度精准，但在数值上却构成病态的超短基线；三维空间中几乎共面的四个点，在求解双视图对极几何时会导致退化解。均匀采样从不考虑一组点作为一个整体的联合几何相容性，盲目抽样的结果就是绝大部分候选集合在进入代数求解前就已经是无效组合。

既有改进方法的得与失

为了让最小集的提议更加高效，过去二十余年学术界沿着多个方向进行了深耕，但各自保留了难以回避的局限：

先验排序与局部邻域启发式：PROSAC 根据特征匹配的局部质量分数（如匹配距离比值）建立排序，优先从高分候选池中抽样；NAPSAC 与 Progressive NAPSAC 则假设内点在欧氏空间中呈现局部聚集特性，限制在空间小球邻域内抽取组合。这类启发式方法在结构化场景下确实能加快收敛，但其缺陷在于：特征匹配质量高并不保证几何分布不退化，而强行限制在局部邻域则极易丢掉跨越大视场的全局长基线约束，在重复纹理（如建筑物玻璃幕墙、地面地砖）产生虚假局部一致性时彻底失效。
假设后处理与局部优化：LO-RANSAC、GC-RANSAC 与 MAGSAC++ 反其道而行之。它们放弃对前序采样提议的干预，转而专注于在发现一个初具雏形的候选假设后，通过图割（Graph Cut）、局部内点加权或连续阈值边缘化来精修模型参数。这些后处理算法极其优异，并且我们在最终系统中也兼容了它们；然而，它们从根本上没有触碰“如何在千万级外点中以极少代价命中第一个高质量候选”这一核心瓶颈。
端到端可微深度估计（DSAC 系列）：DSAC 及其后续工作将离散的假设选择过程松弛化为可微概率分布，使得深度神经网络能够端到端反向传播梯度。这一思路在学术上极为优美，但在工程落地中面临严重的黑箱困境：神经网络内部直接隐式回归模型参数或潜空间权重，一旦在真实自动驾驶或 SLAM 运行中输出严重偏移的位姿，工程团队无法通过残差追溯究竟是哪几个特征点引发了数值漂移，缺乏工业级系统所必须的安全可解释性与故障排查接口。

正是在这一背景下，我们提出了一个直接的问题：能否把最小集的获取过程，从被动的盲目抽样转变为目标导向的条件概率生成？ 我们并不试图用神经网络替代底层的经典代数求解器，而是让学习模型专门承担最困难的任务——直接生成极高质量的候选最小集。

生成候选集合，而非被动试错

DiffSAC 的核心构想是：把鲁棒估计中的采样步骤重塑为几何条件扩散模型（Geometry-Conditioned Diffusion Model）的逆向采样过程。如果神经网络能够学习到“在当前观测点云下，能够成功解算出正确模型的有效最小集”的后验概率分布，那么在推理时，我们只需从该分布中生成极少量的候选集合（例如 10 到 20 个），每一个候选组合都具备极高全内点概率与良好条件数，随后交由确定性的经典求解器与共识函数进行评估。

这在概念上与文本生成图像（Text-to-Image Diffusion）形成了有趣的映射：一段文本提示词可以生成多张构图合理但细节略有不同的高质量图像，用户可以从中挑选最完美的一张；同样，DiffSAC 针对同一批几何观测输入，通过注入不同的高斯初始噪声，并行生成数十组各具特色但全部物理合法的最小集候选。

这种设计巧妙规避了传统生成扩散模型在机器人学中遭遇的高延迟批评。在图像生成中，扩散模型必须去噪百万级的像素张量；而在 DiffSAC 中，每个几何观测点仅对应一个连续的标量置信度（Confidence Scalar）。对于包含数千个特征点的场景，整个扩散向量的维度仅为数千维，结合高阶快速数值求解器，整套扩散逆向过程在主流 GPU 上的耗时能够被严格控制在十余毫秒以内，其节约的巨额代数解算与外点残差验证开销，在计算预算上构成了高度划算的代换。

关键的理论抽象在于：这个连续置信度标量代表什么？ 我们打破了传统方法将置信度定义为“单个点自身是否为内点”的局限，而是将其严格定义为“该观测点是否与其他被选中的点协同构成一个优良最小集”的集合级联合相容属性。

条件扩散过程与数学形式化

设输入的几何观测集合为 $\chi = \{x_i, d_i\}_{i=1}^N$，其中 $x_i \in \mathbb{R}^d$ 表示观测的几何坐标（例如特征点的二维图像坐标或三维空间点），$d_i \in \mathbb{R}^{d_f}$ 表示局部外观描述子向量（如 SuperPoint 或 SIFT 特征）。

记定义在观测集合上的真实置信度目标场为 $\boldsymbol{c}_0 \in [0, 1]^N$。在连续时间扩散框架下，前向加噪过程定义了在时间步 $t \in [0, 1]$ 下将 $\boldsymbol{c}_0$ 逐步扰动为高斯白噪声的伊藤随机微分方程（SDE）：

$$\mathrm{d}\boldsymbol{c}_t = \boldsymbol{f}(\boldsymbol{c}_t, t)\mathrm{d}t + g(t)\mathrm{d}\boldsymbol{w}$$

其对应的逆向逆时去噪过程则由概率流常微分方程（Probability Flow ODE）确定：

$$\mathrm{d}\boldsymbol{c}_t = \left[ \boldsymbol{f}(\boldsymbol{c}_t, t) - \frac{1}{2} g(t)^2 \nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi) \right] \mathrm{d}t$$

其中条件得分函数 $\nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi)$ 由参数化去噪神经网络 $\boldsymbol{s}_\theta(\boldsymbol{c}_t, t, \chi)$ 进行拟合。整个去噪演变以几何观测 $\chi$ 为硬条件，使得置信度的细化过程受到真实三维对极几何与空间法向的强力引导，而非在无约束流形上盲目游走。

在训练阶段，我们采用真值几何模型生成理想的监督信号 $\boldsymbol{c}_0$：对于给定的真值模型，系统在所有真值内点中随机检索出与模型数值相容的最小集，将入选观测的置信度标定为 1，其余所有点标定为 0。去噪网络采用直接预测干净场 $\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$ 的 $x_0$-参数化目标，以均方误差损失函数进行端到端优化：

$$\mathcal{L}_{\text{diff}}(\theta) = \mathbb{E}_{t, \boldsymbol{c}_0, \boldsymbol{\epsilon}}\left[ \left\| \hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi) - \boldsymbol{c}_0 \right\|_2^2 \right]$$

在这一目标下，网络被迫学习在含噪置信度场中捕捉哪些点组合在一起能够消除代数奇异性。

查看原图 ↗

前向污染提供训练目标，逆扩散生成候选最小集。

置换不变的 Transformer 去噪网络架构

在几何估计中，输入特征点的排列次序是完全人为且随机的。如果去噪网络依赖固定坐标索引或一维卷积，模型就会灾难性地学到输入序列特有的虚假拓扑，且无法应对任意规模可变的点数 $N$。

为此，我们将去噪骨架构建为一个 不带任何绝对位置编码（No Positional Encoding）的置换不变 Transformer：

特征投影：将每个观测的几何坐标 $x_i$、外观描述子 $d_i$ 与当前含噪置信度标量 $c_{t, i}$ 进行特征拼接，通过多层感知机（MLP）映射为 $D$ 维的潜在特征向量 $z_i^{(0)}$；
全注意力聚合：堆叠多层标准的自注意力（Self-Attention）与跨注意力层。自注意力机制在所有 $N$ 个观测之间建立全连接注意力图： $$\boldsymbol{A} = \text{Softmax}\left(\frac{\boldsymbol{Q}\boldsymbol{K}^T}{\sqrt{d_k}}\right)$$ 在这种机制下，任何一个观测点在调整自身置信度时，都能够依据整个场景中其他所有点的几何距离、视差梯度与外观相似度进行全景加权，这正是评估多点空间相容性所需的数学运算；
置换不变性保证：由于完全摒弃了位置编码，对于任意置换矩阵 $\boldsymbol{P} \in \mathbb{R}^{N \times N}$，网络满足严格的等变性定理：$\hat{\boldsymbol{c}}_\theta(\boldsymbol{P}\boldsymbol{c}_t, t, \boldsymbol{P}\chi) = \boldsymbol{P}\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$。无论输入的点集如何乱序排列，输出的置信度分布严格保持物理一致。

消融实验证实，将 Transformer 替换为 PointNet++ 或基于 k-NN 图卷积的 DGCNN 骨干网络时，模型在复杂大基线匹配下的泛化性能出现断崖式下跌，证明全局全景自注意力对捕捉跨视场长距离几何约束具有不可替代的作用。

查看原图 ↗

不使用位置编码，保持排列不变性。

推理流程：并行多副本扩散与快速求解

在测试推理阶段，DiffSAC 采用“批量并发扩散—硬提取—经典验证”的高效流水线：

批量副本初始化：将当前帧的观测集合 $\chi$ 在显存中并行复制 $B$ 份（通常设置 $B = 20$）。为每个副本独立采样一个服从标准正态分布的随机置信度向量 $\boldsymbol{c}_1^{(b)} \sim \mathcal{N}(\mathbf{0}, \boldsymbol{I})$；
高阶快速 ODE 求解：采用 DPM-Solver++ 高阶显式求解器，将原本需要上百步的离散去噪过程大幅压缩至 10 至 15 个时间步，各副本在 GPU 上以批处理方式并发完成反向去噪，输出收敛的连续置信度场 $\boldsymbol{c}_0^{(b)}$；
Top-k 最小集硬提取：针对每个副本的置信度场，直接通过硬性 Top-k 索引提取数值最大的 $s$ 个观测点，组成候选最小集 $\mathcal{S}^{(b)}$；
确定性代数求解与共识评估：调用闭式几何求解器（如针对直线/平面的奇异值分解 SVD，针对基础矩阵的归一化八点法或七点法）独立求解模型假设 $\mathcal{M}^{(b)}$。将求得的模型与全量观测 $\chi$ 比对，计算几何投影残差并根据共识评分函数（如 MSAC 或 M-estimator 核函数）遴选出综合得分最高的最终模型。

这种“初始噪声随机、选择过程确定”的设计极为精妙：20 个独立的噪声种子探索了不同的高置信度极值盆地，保证了输出候选的多样性；即使其中某一个副本因偶发退化落在病态解上，其余独立的副本依然能够稳定提供优质候选，彻底消除了单次启发式提议容易陷入局部死锁的风险。

查看原图 ↗

生成的置信度决定哪些观测进入最小集。

查看原图 ↗

条件置信度提议接入经典双视图几何流程。

最关键的消融：为什么迭代去噪无可替代？

在审视 DiffSAC 时，一个自然的疑问是：为什么必须使用复杂的迭代扩散过程？直接训练一个前向回归网络，一次性从输入数据中输出置信度向量难道不行吗？

针对这一问题，我们设计了最具说服力的对照实验：保留完全相同的 Transformer 主干网络结构与训练目标，移除迭代加噪去噪机制，让网络从干净的输入 $\chi$ 中直接单步回归置信度向量 $\hat{\boldsymbol{c}}$。

实验结果展现了巨大的鸿沟：

直接回归网络输出的置信度场表现出严重的均质化与弥散性，无法在微小几何尺度上拉开内点与退化点之间的对比度差距，Top-k 提取的最小集包含外点的概率极高；
相比之下，扩散逆向过程展现出了清晰的逐步自优化行为：在前几个时间步，网络首先利用全局注意力滤除掉绝大部分特征不匹配的外点；在中间时间步，网络开始根据对极几何约束剔除局部共线或视差过小的退化几何点；在最后几个时间步，置信度场迅速极化变尖，将注意力精准聚焦在一小撮高杠杆、大基线的黄金内点组合上。

这一消融雄辩地证明：扩散过程的本质并不是为了追求随机性，而是把原本极其困难的高阶几何组合寻优问题，拆解为一系列沿着梯度场平滑收敛的轻量级低阶细化步骤。

此外，由于 DiffSAC 严格保留了经典的几何求解器与外点共识函数，它与现有的局部优化算法（如 LO-RANSAC、GC-RANSAC）具有天生的正交互补性。当把 DiffSAC 生成的优质初始假设输入给 LO-RANSAC 进行局部二次迭代时，系统的最终估计精度再次获得了显著提升，证明两者的结合完美拼合了“高效宏观提议”与“精细局部收敛”的完整版图。

全面基准评测与局限性审视

我们在合成受控数据集以及包括 ScanNet、MegaDepth、PhotoTourism 在内的多个极具挑战性的真实世界双视图几何基准上，对 DiffSAC 进行了详尽评测。评测任务涵盖了直线拟合、三维点云平面分割、基础矩阵与本质矩阵求解以及单应性矩阵估计：

在 80% 超高外点率的极端合成压力测试下，经典 RANSAC 在 5,000 次迭代内求解成功率不足 15%，而 DiffSAC 凭借仅 20 个并行候选提议，成功率稳定维持在 94% 以上，平均估计误差降低了一个数量级；
在真实大视角变化与重复纹理场景下，DiffSAC 显著降低了退化模型的生成概率，在双视图位姿估计 AUC 指标上大幅超越了 PROSAC、MAGSAC++ 等强基线算法。

在坦诚审视系统表现的同时，我们在论文中同样明确指出了当前的物理边界与局限：

任务特化与泛化边界：当前版本的去噪网络针对特定的几何自由度进行训练（例如针对单应性矩阵与本质矩阵分别需要独立的模型权重）。构建能够跨任务统一处理任意自由度几何约束的通用条件扩散网络是下一步的核心方向；
算力与硬件平台依赖：尽管 DPM-Solver++ 将步数压低至十余步，但 Transformer 在处理数千点集时的自注意力计算仍高度依赖 GPU 的张量并行能力。在缺乏强力显卡的微型边缘端嵌入式系统上，其推理吞吐率仍有待进一步工程剪枝与量化优化。

核心主张与工程哲学

DiffSAC 所追求的工程哲学，是对基于深度学习的计算机视觉研究范式的一次理性回归：将学习模型置于真正困难的高维模式识别与组合提议环节，将经典算法坚守在成熟透彻的代数解算与残差共识验证环节。

在几何视觉中，从数万个杂乱组合中找到满足物理约束的极小集是一个高度非凸、高度非线性的困难模式匹配问题，这正是深度神经网络大显身手的舞台；而通过最小集解算模型参数、计算重投影几何误差，则是经典几何学早已彻底解决的解析代数问题，绝不应该被低效、不可控的端到端黑箱网络盲目替代。

这种分工不仅带来了效率与精度的兼收并蓄，更彻底捍卫了复杂工程系统最珍贵的可解释性与安全审计边界。在任何一次估计发生异常时，算法工程师都能清晰地调阅每一个候选集合的置信度流形、追踪对应代数解的特征矩阵条件数，让系统的每一次决策都有据可循、有理可辨。

RLSAC：强化学习增强的端到端鲁棒估计采样一致性

Sun, 01 Oct 2023 00:00:00 +0000

采样器：没有人训练的那一环

几何视觉的大半江山，是靠鲁棒估计撑起来的。相机位姿、运动分割、宽基线匹配、平面拟合、直线拟合，把应用层剥掉，剩下的都是同一个问题：观测里有很大一部分根本就是错的，怎么还原出正确的那些观测共同认可的那个模型。四十年来，这个问题的默认答案一直是 RANSAC。它抽出一组最小集（minimum set），用这组集合解出一个模型，数一数有多少观测与结果一致，然后重来。两点确定一条直线，八对对应点确定一个基础矩阵。

抽取这一步是刻意盲目的。每个观测都被当作同样值得一试的对象，数据本身的任何信息都进不了这个决策。外点稀少时，这个赌注是划算的。但它很快就变得不划算：外点比例一升高，抽到一组全由内点构成的最小集的概率就往下掉，找到好模型所需的迭代次数跟着往上涨。能让搜索变轻松的证据，就摆在观测数据里，采样器却从来不看一眼。

第二个问题更安静，也是我们写这篇论文的原因。均匀随机抽取不可微。你没法把它接到网络里，也没法用一个位于它下游的目标函数去训练它。于是鲁棒估计器最后停在了学习系统的边缘：一个开箱即用的部件，外面裹着一层接口，从不与周围的部件一起优化。

前人的工作从好几个方向试过，各自都留下了一点没解决的问题。LO-RANSAC 持续在当前最优假设的内点中采样，它改善的是已经找到的那个模型，而不是找到它的那次搜索。NAPSAC 把采样限制在一个局部邻域内，换来条件数更好的集合，代价是失去全局覆盖；PROGRESSIVE NAPSAC 让邻域不断扩张，也只是给这个假设打补丁，并没有把它换掉。GC-RANSAC 和 MAGSAC++ 改变的是假设的打分方式，不动假设的提出方式。PROSAC 和 USAC 对采样顺序做重排或调度，可排序规则是手工设计的，在第一个假设被评分之前就已经固定。NG-RANSAC 这类方法学到了对点的有效偏好，围绕它的过滤式做法会及早丢掉糟糕的候选集合，但两者都没把采样决策的序列当成一件需要规划的事。DSAC 走得最直接，把选择概率化，让梯度能穿过整条流水线。这确实可行，但它要求采样器、求解器和打分环节全部可微，而我们最信任的那些经典部件，恰恰都不可微。

采样就是一个动作：强化学习马尔可夫决策过程（MDP）形式化

我们最初的观察是：这两个问题形状相同。强化学习里，智能体读取状态，选择动作，环境回报发生了什么。抽取一组最小集本来就是这个结构。

我们将几何鲁棒估计序列形式化为马尔可夫决策过程元组 $\langle \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma \rangle$：

状态空间 $\mathcal{S}$：在时间步 $t$，设全部输入观测集合为 $\mathcal{O} = \{o_1, o_2, \dots, o_N\}$。状态矩阵 $\mathbf{X}_t \in \mathbb{R}^{N \times D}$ 将每个观测的表征向量并行排布，融合了静态几何特征与动态历史轨迹。
动作空间 $\mathcal{A}$：动作对应于从 $N$ 个观测中抽选出基数为 $m$ 的最小采样集合 $\mathcal{M}_t = \{i_1, i_2, \dots, i_m\} \subset \{1, \dots, N\}$。例如直线拟合中 $m=2$，双视图基础矩阵估计中 $m=8$，单应矩阵估计中 $m=4$。
环境状态转移 $\mathcal{P}$：经典求解器与共识函数充当确定性环境。求解器 $\mathbf{M}_t = \mathrm{Solver}(\mathcal{M}_t)$ 产生几何模型参数，共识函数计算全局几何残差分布，驱动状态转移至 $\mathbf{s}_{t+1}$。
奖励函数 $\mathcal{R}$：求解器将提出的集合转化为模型假设后，共识函数度量所有观测与该模型的一致性。定义阈值 $\tau$ 下的内点集合为 $\mathcal{I}(\mathbf{M}_t, \tau) = \{ i \in [1, N] \mid \mathrm{dist}(o_i, \mathbf{M}_t) < \tau \}$。标量奖励由瞬时内点比例与历史探索增益共同定义：

$$ \mathcal{R}(\mathbf{s}_t, \mathbf{a}_t) = \frac{|\mathcal{I}(\mathbf{M}_t, \tau)|}{N} + \lambda_{\text{best}} \mathbb{I}\left( |\mathcal{I}(\mathbf{M}_t, \tau)| > \max_{k < t} |\mathcal{I}(\mathbf{M}_k, \tau)| \right), $$

其中第二项为突破历史全局最优记录时的探索奖励指示函数。

这个设计最关键的地方在于：整个强化学习循环中，任何地方都不需要人工标注「哪些观测点是真值内点」。只要几何问题自带闭式最小求解器与几何代数残差定义，物理环境本身就会免费回传稠密奖励。从联合结果出发训练，意味着策略从来不会被告知哪些单个观测在绝对意义上是好是坏，它学到的是什么样的点组合能够解出全局一致性最高的模型。

问题	RLSAC 的回答
学的是什么？	采样策略；求解器与打分函数保持原样
需要什么监督？	除了流水线本来就会算出的共识得分，不需要人工真值标签
状态里放什么？	观测特征、选中的集合、相对上一个假设的残差，以及使用次数
用在哪里？	合成直线拟合与真实双视图基础矩阵估计

策略能看见什么：四路特征编码与残差感知

状态里只放观测是不够的。第一步和第十步看到的数据一模一样，策略无从知道自己已经试过什么。所以构造状态时，我们让它携带上一次决策的后果。

每个观测上堆叠了四路物理特征，形成维度为 $D$ 的状态向量 $\mathbf{x}_{t, i} = [\mathbf{f}_i^{\text{obs}}, a_{t-1, i}, r_{t-1, i}, c_{t, i}]$：

观测原生特征 $\mathbf{f}_i^{\text{obs}}$：提供底层数据描述。直线拟合中为二维点坐标，双视图对应关系中为归一化图像坐标对 $(u_1, v_1, u_2, v_2)$、匹配相关性分数以及局部几何描述子。
上一步动作标记 $a_{t-1, i}$：构成上一轮最小集 $\mathcal{M}_{t-1}$ 的观测记为 $+1$，其余未被选中的观测记为 $-1$。
几何残差场 $r_{t-1, i}$：上一个模型假设 $\mathbf{M}_{t-1}$ 在观测点 $i$ 处诱导的几何残差。对于直线为点线欧氏距离，对于基础矩阵为极线 Sampson 距离。这是一份遍布所有观测的稠密几何梯度反馈，明确指示出当前模型在哪些区域成立、在哪些区域失效。
历史采样频率计数器 $c_{t, i}$：记录观测点 $i$ 在当前回合内已被选中的归一化累积次数。

残差指出哪些区域有希望，计数是一条面包屑防止陷入局部循环，动作标记标出当前位置。它们都不改变底层的几何真实，改变的是策略从几何拓扑中读取模式的能力。

查看原图 ↗

从一次采样到下一次采样：观测特征、所选集合、残差与采样历史共同构成状态转移。

一个回合，一次随机起点：图神经网络与最大熵 SAC

RLSAC 在同一份输入上跑若干个回合，每个回合都以随机抽取的一组最小集开场。这几乎不花什么计算代价，却换回两样东西。一是性能下限有了理论兜底，每个回合都从一次无偏抽取出发，策略只会比它更好；二是策略立刻获得了一个有意义的初始几何残差场作为响应基准。

策略网络采用 EdgeConv 风格的动态图神经网络。观测集合天然无序，将观测当成平坦序列读入的网络会受到排列扰动的影响。EdgeConv 在特征空间构建动态 $k$ 近邻图 $\mathcal{E}_t = \{ (i, j) \mid j \in \mathcal{N}_k(i) \}$，并执行边特征卷积：

$$ \mathbf{h}_i^{(l+1)} = \max_{j \in \mathcal{N}_k(i)} \Theta^{(l)} \left( [ \mathbf{h}_i^{(l)}, \mathbf{h}_j^{(l)} - \mathbf{h}_i^{(l)} ] \right). $$

差分项 $\mathbf{h}_j - \mathbf{h}_i$ 能够显式捕获相邻特征点之间的相对几何导数（如局部线段斜率或局部极线一致性），对称的最大池化算子保证了对观测输入次序的严格置换不变性（Permutation Invariance）。

网络顶层为每个观测输出未归一化的对数几率 $z_i$，通过带温度参数的 Softmax 转化为选择概率分布。在训练阶段，我们采用离散动作空间的 Soft Actor-Critic（SAC）框架，最大化累积奖励与策略熵：

$$ J(\pi_\theta) = \sum_{t=0}^T \mathbb{E}_{(\mathbf{s}_t, \mathbf{a}_t) \sim \rho_\pi} \left[ \mathcal{R}(\mathbf{s}_t, \mathbf{a}_t) + \alpha \mathcal{H}(\pi_\theta(\cdot \mid \mathbf{s}_t)) \right]. $$

最大熵目标 $\mathcal{H}$ 阻止了策略在组合爆炸的离散采样空间中过早坍缩到某一个局部极小值点，保证了充分的组合多样性探索。而在测试推理阶段，策略直接以贪心方式选取概率最高的前 $m$ 个点构成提议集合。

重复的最小集会被显式拒绝。每一个在当前回合中使用过的集合都由哈希表记录，若策略提议的集合已被探索，则按概率递推抽取下一个，直至得到全新集合。这确保了宝贵的采样计算预算不会浪费在重复的假设验证上。

训练中，回合在三种情况下自适应终止：内点数连续两步不再变化，内点率连续三步未能打破本回合最优记录，或者达到步数硬上限。测试时则只保留最大步数上限，给予策略充分搜索时间。

看它在一条直线上怎么工作

在正方形里撒下几百个点，让其中一部分落在一条直线上，其余当作外点。任意两点确定一条候选直线，其余每个点到它都有一个距离，这个距离就是反馈。随着一步步推进，假设肉眼可见地朝真值靠拢。这看着很舒服，但并不是有意思的地方。

有意思的是策略到达之后干什么。一旦找到内点率很高的假设，它就继续在局部做文章，细化这一组集合，而不跳到数据的另一片区域。没有记忆的采样器做不到这一点，因为它无从知道自己已经离得很近。这是把残差和历史特征放进状态最有力的论据，而且在定性轨迹里，它比任何汇总数字都明显得多。

我们的合成数据还把外点放进内点带内部，真实场景里也会出现这种情况。这样一来，「背下坐标」这条捷径就被堵死了。真正可学的是什么样的点组合能构成条件数良好的模型，这正是我们希望策略掌握的东西。

查看原图 ↗

论文示例：候选假设与残差信息随策略状态转移发生变化。

从点扩展到图像对应关系：极几何、Sampson 误差与退化规避

双视图几何换掉了观测的物理载体，却没有换掉 MDP 的接口。现在一个观测是两幅图像上两个局部特征点之间的一次几何匹配 $o_i = (\mathbf{x}_i, \mathbf{x}'_i)$，由归一化坐标、初始匹配置信度与深度特征描述子共同表征。

当智能体抽取 8 个观测组成的最小集送入经典非可微求解器（归一化八点法）时，求解器解算基础矩阵 $\mathbf{F}$ 满足对极几何代数方程：

$$ \mathbf{x}'_i{}^\top \mathbf{F} \mathbf{x}_i = 0. $$

共识函数使用一阶近似的 Sampson 一阶几何误差衡量全部 $N$ 个观测与所得极线几何的一致程度：

$$ d_S(\mathbf{x}_i, \mathbf{x}'_i; \mathbf{F}) = \frac{(\mathbf{x}'_i{}^\top \mathbf{F} \mathbf{x}_i)^2}{(\mathbf{F} \mathbf{x}_i)_1^2 + (\mathbf{F} \mathbf{x}_i)_2^2 + (\mathbf{F}^\top \mathbf{x}'_i)_1^2 + (\mathbf{F}^\top \mathbf{x}'_i)_2^2}. $$

在这一设定中，几何估计面临的经典陷阱是几何退化（Degeneracy）：如果采样的特征点大多共面（如落在同一堵平整墙面上）或空间分布极其狭窄，解出的基础矩阵在代数上秩亏或存在虚假零空间，导致内点计数虚高而在全局空间严重失准。

令人欣慰的是，图网络在连续回合与残差反馈中，自发学会了规避这种退化。策略倾向于在空间大基线、深度落差明显的刚性背景区域（如建筑拐角、远近景交错边缘）抽取点对，而不会将采样配额集中在局部纹理重复或狭窄聚集区。没有人显式编写退化检测规则，这种空间分散性完全是最大化全局共识奖励在图注意力传播下的自然结果。

查看原图 ↗

学习式采样器接收经典几何求解器的反馈。

真正穿越两个任务的东西，与其说是训练好的网络权重，不如说是一份严格解耦的系统约定：编码观测拓扑，提出离散最小集，调用不可微几何求解器，计算物理残差，将几何状态反馈回策略。换到新问题上，仅需提供与任务匹配的物理特征、求解器算子与残差定义。

我们从中得到什么

我们反复回到的一条经验是：奖励可以替代可微性。只要下游有一个物理或几何指标能给输出打分，它就能训练产生这个输出的前端模块。没有必要把 argmax、SVD 分解、求解器或者阈值强行软化为可微版本，可解释且高精度的经典部件就能完整保留在架构内部。

在这里，记忆也比单次预测更值钱。把上一次尝试的残差送回状态，计算开销极小，几何信息密度却极高。训练一个更大参数量的一步到位分类器不仅泛化脆弱，而且在复杂退化场景下根本无法抵御长尾外点。

还有一条工程底线：学习到的采样器绝不该在任何场景下比它取代的随机基线更差。每个回合都用一次无偏随机抽取开局，从算法设计上锁定了系统的理论性能下限。

它仍然受限的地方

一份诚实的清单：

阈值超参数依然存在：内点判定阈值 $\tau$ 仍是手工设定的先验参数，并直接影响奖励标量。这正是 MAGSAC++ 等连续打分框架试图消除的敏感性，我们在当前版本中保留了它，尚未将其转化为完全无参数的连续密度打分。
候选集容量截断：为了控制图卷积的计算复杂度，状态只跟踪初始置信度最高的前 $N$ 个对应关系。若前置特征提取阶段发生了严重的漏检，真实内点完全落在该集合之外，策略受限于输入上界便无法将其召回。
计算延迟与迭代预算的权衡：图网络前向推理、SVD 求解以及稠密 Sampson 误差计算，每一步都需要数十毫秒级耗时。相比纯 C++ 实现的轻量级 RANSAC 变体，RLSAC 在单次迭代上的时间开销明显更大。它的优势在于将传统方案数千次盲目采样压缩至十余次精准决策，但在超高帧率极限场景下，这笔计算开销仍需通过模型轻量化或知识蒸馏进一步优化。

更大的图景

论文的讨论部分给出了我们真正相信的论点。一次性的深度估计器一旦离开训练分布就不可靠，可解释性又差，很难部署到工程场景里。经典估计器行为清晰、适用范围明确，却因为不可微而无法折进学习框架。把两者结合起来，两种性质都能拿到。一个部件只要能被打分，它就能被学习，同时还能继续做那个你信得过的部件。

我们很想知道，同样的处理方式能不能推广到几何栈里其他不可微的部件上。SLAM 中的噪声协方差估计是我们一直在琢磨的那一个。