Yanzi Miao | 聂畅

MRASfM：驾驶场景中的多相机运动恢复结构与聚合

Sat, 31 Jan 2026 00:00:00 +0000

驾驶数据的形态不适合摄影测量

驾驶场景的图像重建，通常交给视觉 SLAM 去做。可一旦目标是高精地图或者新视角合成，SLAM 这条路就暴露出一个结构性的短板：它的估计是增量式的，只在局部做优化，全局修正无从谈起，长轨迹上的漂移便一点点攒起来。运动恢复结构（structure-from-motion, SfM）走的是相反的路子，一次性读入全部数据，最后统一做一次全局束调整（bundle adjustment）。离线这个特点让它上不了实时机器人，也恰恰是它在这里的价值所在，因为它可以把实时系统花不起的算力花掉。

顺理成章的下一步，是把 SfM 用在驾驶上。但驾驶数据有三个特点，让这件事比看上去难得多。

第一个是采集几何。经典 SfM 假设你绕着目标走一圈，从各个方向拍照；汽车却是沿着一条走廊往前开。视点几乎共线，而共线正是 SfM 所依赖的平移估计最怕的情形。

第二个是数据本身就是碎的。驾驶场景往往只录很短一段时间，重叠有限，覆盖同一片区域的两段行程甚至可能相隔几周。两个最终要落进同一张地图的数据集之间，常常连一张共享图像都没有。

第三个是标定，也是它改变了我们设计整套方法的思路。车辆标定本来就不容易，初值里带着误差，到了起伏路面上误差还会更大。于是出发时手上的那组外参（extrinsics），并不是真正需要的那组，可它偏偏又是能拿到的最强先验。这对矛盾贯穿了整个设计。

已有方法默认了什么

多相机 SLAM 系统精度不错，代价是把精确的相机间相对位姿与内参当成输入。标定必须在部署之前完成，换一套相机配置就很难适应，实际使用中的灵活性因此受限。

增量式 SfM 是最接近的基线，我们对它的批评也很具体。它在增量重建的过程中完全不理会相机组的先验，等重建结束，才在刚性束调整里把先验加回去。到那个时候，增量估计阶段攒下的误差已经没有机会纠正，刚性束调整也抹不掉已经烙进结构里的漂移。逐图像束调整有另一个相关的毛病：相机之间的相对位姿在帧与帧之间可能对不上。

全局多相机 SfM 确实从一开始就固定住相机之间的相对位姿，但它对误匹配敏感，而且当估计出的相对平移接近共线时容易退化。驾驶场景的轨迹默认就接近共线，所以这不是边界情况，而是结构性的隐患。

里程计引导的 SfM 押的是相反的一边，直接拿里程计位姿和相机外参做配准。这对标定精度和里程计精度要求都很高，而这两样恰恰是实地部署最难稳定提供的。这类工作用单应（homography）寻找重叠图像对，这个思路我们借用了；“先验可以信任”这个前提，我们没有借。

还有一个跟这个场景绑在一起的匹配问题。传统描述子在弱纹理图像里提不出多少特征点，而道路场景里到处都是弱纹理表面。

最后，现有的聚合模块在合并重建时，一般默认待合并的两段之间存在共享图像。真实数据里，共享图像通常并不存在。

难在哪里

先验要用，却不能被信任。外参和里程计是车上最强的信号，也是最不可靠的东西。全信，会得到一类失败；完全不用，会得到另一类。两者之间可以腾挪的设计空间很窄。

共线是真正的退化，不是数值上的小毛病。固定相机组的全局方法把成败押在相对平移估计上，直线行驶让这个估计变得病态。

失败模式恰好落在有用信号的位置上。路面在每张图像里都占去很大面积，却几乎不含纹理，于是既提不出足够的匹配，提出来的也多半不可靠。更麻烦的是车辆阴影的边缘：对比度高，会被当成特征点检测出来。阴影边缘不是场景里的一个点，阴影一动，这个特征就跟着动，等于把运动注进了路面，而那正是结构最要紧的地方。

遮挡在相机组上和单相机上完全是两回事。单目系统里，一个相机被挡住就等于全线失败；环视相机组里，其他相机仍然看得见世界。但这份冗余只有在配准真的共享位姿时才算数，逐相机独立估计会把这点好处白白扔掉。

鲁棒性也是有代价的。相机越多，束调整里要优化的位姿越多，效率随之下降。覆盖度买来鲁棒性，账单记在优化规模上，而抵消这笔开销，正是我们很大一部分设计存在的理由。

相机组才是单元

我们的做法是换掉重建的原子。不再把每张图像当作一个待求解的独立相机，而是让刚性单元（rigid unit），也就是同一时刻拍下的全部图像，成为拿位姿的那个对象。这个位姿按定义就是该时刻的车辆位姿。

好处在于，相机组的位姿可以分解成一个随时间变化的车辆位姿和一个静态的组内相对位姿。一个观测充分的相机，能把那些什么也看不到的相机的位姿一并背起来。相机组只估计一次，不必在每一帧重新学一遍。

关键在这个分解用在哪里。我们把它当作配准和束调整内部的重参数化（reparameterization），而不是事后追加的约束。就这一个决定，同时带来三件事。位姿变量从“每相机每时刻一个”降到“每时刻一个加每相机一个”。优化出的相机组在帧间保持一致，因为本来就只有一个相机组需要一致。标定也从一项必须正确的输入，变成一个可以被改正的量。

搭起一次重建

先做对应关系搜索。SuperPoint 负责检测，SuperGlue 负责匹配；匹配点落在不同语义类别的图像对直接丢掉，其余交给几何验证。图像对不是全都试一遍：手上有粗略的组内相对位姿和车辆位姿，就能估出每张图像大致的视场，只去匹配那些有机会重叠的图像对。这么过滤，效率和精度都会好一些，因为两两全匹配本身就昂贵，还会把永远不会共享内容的图像对所带来的噪声引进来。

接下来配准分三步。先在对应关系最丰富的那些图像上估计 PnP。这些逐图像的估计换算成逐单元的估计，再用局部鲁棒旋转平均和平移平均融合成一个单元位姿。该单元里剩下的每张图像，拿单元位姿和标定一复合，位姿就出来了。

中间那一步，正是本方法在前文两类失败模式之间的落点。它和全局那一类一样做平均，但平均的对象是从可靠图像推出来的单元假设，不是原始的相对平移，这才让它扛得住共线。

对这个模块的交代要诚实，而且范围很窄。它对平均位姿精度和效率的作用都很小，真正的用处在遮挡视角上；对应关系丰富的场景里，它并不显眼。我们把这个取舍写出来，而不是把这个模块说成人人受益，因为冗余的价值本来就更集中在长尾。

查看原图 ↗

某个相机被遮挡，不再让整个单元失败。

先把路面挪开

一个单元配准完成之后，我们用 LO-RANSAC 在路面点上拟合平面模型，再把它们去掉。这一步直接冲着阴影边缘的问题去。移动的阴影边缘会产生一个并不附着在场景上的特征，而它落在视野里面积最大、纹理最少的那个表面上，三角化的噪声于是默认往那里集中。去掉这些点，重建精度会提高，收敛也更快。

这里用的假设是路面局部平坦，而我们自己采集的真实场景里就有坡度变化，所以这是一个近似，不是保证。

查看原图 ↗

在噪声最集中的地方，去掉阴影驱动和纹理贫乏的点。

在相机组上做束调整

相机组束调整（camera set bundle adjustment, CSBA）优化的对象是车辆位姿和组内相对位姿，靠代换约束（substitution constraints）把每个相机位姿写成车辆位姿与相机组几何的组合，局部阶段使用 Cauchy 鲁棒损失。变量包括内参、车辆位姿、组内相对位姿和场景点。

它有两种模式，这个划分很要紧。局部 CSBA 固定内参和组内相对位姿，只动新注册的单元及其邻居。全局 CSBA 在所有已注册单元上优化全部变量，当还有大量单元没被优化时，我们就触发一次。

全局 CSBA 重新优化内参和相对位姿，这就是论文所说的在线标定（online calibration）能力。它也是实际收益的所在，因为这一步把实地最不可靠的输入变成了输出。局部 CSBA 更便宜，而它冻结的恰恰是这几个参数，取舍就在这里：便宜的模式修不了标定，能修标定的模式更贵。

从“每相机每时刻一个位姿”到“每时刻一个加每相机一个”的削减，值得多花点笔墨。六个相机跑一条长轨迹，逐图像的写法要优化出六倍于所需的位姿，而每多一个变量，就多一个噪声可以藏身的自由度。变量少了，收敛更快，结果也更一致。在这个问题上，鲁棒性和效率是同一条杠杆，这样的情况并不常见。

查看原图 ↗

车辆位姿与组内相对位姿联合优化，标定才有可能在实地越用越准。

合并没有共享图像的行程

聚合必须在没有共享图像的前提下工作，所以整套策略是粗到细的。先用卫星定位把场景放进一个全局坐标系，用轨迹中点来代表它：一个场景放在几何中心，最近的若干邻居成为候选，再由单应引导的空间图像对，从候选里挑出视觉重叠最大的那一个。

粗放置与真实位置之间差着一个未知变换，因为定位误差比对齐容差更大。那就把这个变换本身当成变量。把新场景里的一张图像重定位，得到一个更精确的位姿，由此求出粗放置与真实放置之间的变换，再用这个变换一次性把整个刚性单元注册进去。接着是三角化，然后一个基于变换的束调整优化这个变换与场景点，同时固定住参考场景的相机位姿。

配准、三角化和调整轮流迭代，直到新场景的每个单元都被吸收进来。合并后的结果接着成为下一段场景的新参考，于是聚合是链式推进的，而不是围绕单一全局锚点展开。道理很简单：链式推进，误差就不会全部来自某一次可能出错的粗对齐。

这一阶段的设计意图是，聚合在粗对齐那一步永远不必精确，只要近到足够重定位即可。

查看原图 ↗

卫星定位把场景放到大概位置，视觉再把它修准。

我们从中得到什么

物理不变量最好的用法是重参数化，而不是加约束。事后强制刚性，拦不住此前已经积累的误差；把刚性写进变量结构，误差从一开始就没有积累的机会。

先验应该用来剪枝，不该用来下结论。粗略位姿决定匹配哪些图像对、从哪里起步，几何最终仍然来自匹配到的证据。这正是我们的做法与我们批评的那类做法之间的分界。

设计时，要让先验可以被改正，而不只是被信任。把相对位姿变成可优化量，最不可靠的输入才会变成输出。

还有一点：判断一个模块的价值，要去它失败模式所在的地方看。相机组配准几乎不改变平均位姿误差，可当某个相机被遮挡时，它就是成功与失败的分水岭。聚合指标足以把一个模块的全部价值盖住。

它仍然假设了什么

方法把粗略轨迹、粗略标定和语义信息当作输入。语义从哪里来，我们只做了假设，没有交代；标签质量对结果的影响，也没有报告。

多场景聚合没做消融。大约三个候选场景这个选择，以及以几何中心为参考的启发式，论文里只做了陈述，既没有给出理由，也没有失败分析。

刚性单元完全由“同时”来定义，这个假设松动时会怎样，我们没有测。相机时间同步误差和支架形变都会破坏它，而这两点都没有讨论。在线标定只做了声明，没有刻画：全局阶段对内参和相对位姿的优化，在多大的运动多样性、多少个相机之下才是良态的，我们没有说。

平面模型假定路面局部平坦，而我们自己的部署里就有坡度变化。跨不同多相机配置的通用性只有论断，实验也只在六相机和七相机的相机组上做过。动机里提到了阴影之外的动态物体，正文里没有专门处理。

它通向哪里

如果要我们概括自己的贡献，那就是换了一个单元，其余的一切都由它推出来。这个更换换来了什么，值得说清楚：把相机组当作配准与优化的原子单元，能在复杂环境里得到稳健的位姿估计，效率也高于传统的逐相机方法。再配合路面过滤和聚合阶段，整条流程能从那些本来没打算合并的行程里，做出统一的一张地图。

我们有意从两个方向做了验证。真实车辆上的实验说明它在数据集之外也站得住，公开基准则把精度上的论断摆到传统基线旁边。这件事实际的分量在于：智能车辆能更可靠地感知周围环境、估计自身位姿，而下游任务真正消费的，就是这两样东西。

MovSAM：基于深度思考的单图像运动物体分割

Sun, 19 Oct 2025 00:00:00 +0000

一张照片里没有位移，却蕴含运动

在计算机视觉与机器人自主导航的传统技术谱系中，运动物体分割（Moving Object Segmentation, MOS）历来被理所当然地定义为一个时间差分测量问题：通过比对连续相邻视频帧，或者求解逐像素的光流场（Optical Flow），发生表观位移的像素区域便被划定为运动物体。这一时序前提是如此根深蒂固，以至于整个领域几乎默认了一个技术假设：没有时间序列，运动分割便无从谈起。

然而，在极其严苛的真实物理世界中，基于时间测量的流程频繁遭遇结构性失效：

静态意图与前驱运动：行人在斑马线边缘前倾重心、准备跨步的瞬间，其身体在像素空间内的瞬时位移几乎为零，光流法完全无法捕捉这一强烈的动态意图；
自运动（Ego-Motion）与动态物体的深度缠绕：当搭载相机的机器人或无人机自身高速移动或颠簸时，画面中所有像素都在剧烈变动。差分计算无法解耦哪些位移源自相机的刚体自运动，哪些源自环境中的独立动态目标；
动态遮挡与瞬态观测丢失：在传感器丢包、无线通信间歇性中断或相机快门高动态捕获的工况下，算法只能拿到孤立的单张单帧图像。传统基于时序的多帧模型因缺乏历史状态无法降级运行，只能彻底陷入停滞。

这项工作源于一个质朴却深刻的物理直觉：人类在观察一张定格的照片时，往往能够毫无困难地指出画面中哪些物体正在运动、甚至预判其接下来的轨迹。人类并不依赖肉眼测量微小的帧间像素漂移，而是通过对场景物理语义的深度阅读：奔跑者前倾失衡的身体姿态、被气流掀起的衣角发丝、脱离地面的车轮悬空状态、以及高速移动产生的边缘运动模糊。运动在这里并非测量出的物理量，而是通过语义推理与常识归纳得出的因果断言。

MovSAM（发表于 IROS 2025）正是旨在赋予机器人这种超越瞬时测量的单图像运动推断能力。通过构建多模态大模型深思引导的“提出—分割—批判”闭环，我们探索了如何在完全缺失时序维度的极端条件下，从单张静态图像中稳健分割出潜在的运动实体。

既有时序与大模型方法的盲区

为了解决无时序条件下的动态理解，现有算法路线各自存在无法回避的技术短板：

时序光流与视频分割范式：经典视频分割方法极度依赖两帧或多帧之间的高信噪比运动线索。它们并非在“利用”时间信息，而是在“消耗”时间信息。一旦将输入截断为单张静态切片，整套依赖特征相关（Cost Volume）与时序记忆传播的网络架构便彻底失效，输出退化为全零掩码；
通用大模型与 Segment Anything（SAM）的表征错配：Meta 发布的 SAM 模型具备非凡的零样本通用分割能力，但其原始设计面向点（Point）和几何包围盒（Box）提示，并不具备原生的自然语言指令接口。更致命的是，SAM 的视觉骨干专注于底层边缘、纹理与颜色梯度的解算，完全缺乏全局场景因果理解能力，它根本无法区分哪块具有清晰边缘的纹理属于静止背景，哪块属于正在移动的实体；
视觉语言分割（Reasoning Segmentation）的运动盲区：近年来涌现的开集指令分割网络（如 LISA 等）尝试将多模态大语言模型（MLLM）接入分割网络。然而，这类方法的核心落脚点在于“识别物体是什么”（Object Categorization），而非“判定物体是否在动”（Motion Reasoning）。它们在面对“运动错觉（Motion Illusion）”时表现极其脆弱——例如一辆喷涂了动感赛车条纹但静止停泊的汽车，或者一幅印有奔跑运动员的街头广告牌，常规模型极易产生虚假激活；
单向级联架构的幻觉累积：简单地将 MLLM 生成的文本提示单向输入给分割网络，在复杂非结构化场景中往往导致灾难性的误差传递。大模型生成的文本描述可能存在空间错位或物体混淆，而下游分割网络由于缺乏反思通道，只能机械地将错误提示渲染为离散掩码，整个系统缺乏纠错韧性。

单图推断运动的物理与几何困难

在没有时间跨度的静态图像中，分割运动物体面临着一系列本质的理论困难：

特征的启发性而非充分性：单张图像中所有可用的运动表征（如衣物飘动、离地腾空、单一支撑点倾斜姿态、径向运动模糊）本质上都是经验启发式线索。它们暗示运动的存在，但没有任何一条在严格物理意义上能够充要证明运动。模型必须综合权衡环境重力场、支撑接触面与力学平衡，才能做出合乎物理规律的推断；
自运动不可观测定理：在单张图像中，绝对自运动在数学构造上是不可逆重构的。画面中若出现倾斜地平线或模糊，无法仅凭单帧纯几何测量区分出“是周围物体在动”还是“相机自身在旋转倾斜”；
视觉空间细节与高层语义的表征鸿沟：SAM 提取的高分辨率图像嵌入（Image Embedding）富含精细的几何边缘与像素级空间坐标，但缺乏语义类别先验；视觉语言模型（VLM，如 BEiT-3）产生的多模态嵌入具有强大的概念推理能力，但在空间分辨率上极度粗糙。如何让两者在不相互污染的前提下实现无损对齐，是算法架构设计的核心挑战；
监督信号的稀缺与构造：全球计算机视觉界从未存在专门标注“单张图像运动物体”的大规模真实数据集，因为这个标签本身就带有主观推理属性。我们必须通过逆向清洗主流视频运动数据集，剔除自运动干扰严重的片段，提纯出具备明确单帧物理运动表征的独立图像，自研构建评测基准。

闭环假设验证：让掩码成为可以被反思的主张

针对上述难题，MovSAM 放弃了脆弱的单向流水线，而是将感知过程构建为一个类似科学家探索假说的闭环推理系统：语言负责生成运动假设，分割网络负责将假设落地为像素级几何主张，反思模型则对生成的视觉证据进行冷酷批判并迭代修正。

整个系统由三个紧密协同的阶段构成：

1. 深度思维链引导的运动假设提出（Deep Thinking Proposer）

多模态大模型首先观察整幅图像。为了防止模型在开放词汇空间中发散甚至产生视觉幻觉，我们设计了结构化的深度思维链（Chain-of-Thought, CoT）推理流程：

智能体首先遍历场景中的所有显著实体及其空间相对布局；
结合重力常识与力学平衡条件，重点扫描不具备稳定物理支撑的物体（如空中飞鸟、投掷出的球体、抬腿奔跑的行人）；
输出带有显式几何定位与运动因果的标准化文本描述：$\mathcal{P} = \langle \text{类别}, \text{空间相对方位}, \text{推断运动动作}, \text{物理线索理由} \rangle$。例如输出：“画面右上角有一只正在空中滑翔的飞鸟，双翼展开且完全脱离树枝支撑”。

2. 特征聚合网络与多模态像素分割（Grounding Segmenter）

在分割网络中，我们以冻结权重的 SAM 2 图像编码器为基础提取稠密空间特征，引入预训练的 BEiT-3 视觉语言模型注入高阶语义理解。针对表征错配问题，我们设计了轻量级的 特征聚合网络（Feature Aggregation Network, FAN）：

FAN 由五层带有跳跃连接的二维卷积层与自适应全局池化层构成。它反向操作：并不试图让 SAM 具备高阶语义，而是提取 SAM 图像嵌入中的多尺度空间拓扑信息，将其压缩为一个紧凑的空间先验向量，随后无缝拼接至 BEiT-3 的多模态输入流中；
调整后的提示编码器接收融合了空间先验的多模态特征，直接激活 SAM 的掩码解码器，输出候选二进制掩码 $\boldsymbol{M}^{(k)} \in \{0, 1\}^{H \times W}$。

3. 多模态反思批判与循环修正（Reflective Critic Loop）

这是 MovSAM 区别于以往所有指令分割模型的关键所在。生成的候选掩码被半透明色彩高亮渲染回原始图像中：

$$I_{\text{overlay}}^{(k)} = \alpha I + (1 - \alpha) \text{Color}(\boldsymbol{M}^{(k)})$$

渲染后的合成图像被重新交由 MLLM 批判者进行多维度审查：

语义正确性检验：高亮区域覆盖的实体到底是否真正处于运动状态？是否误将背景静态雕塑或反光广告牌划入？
空间完整性审查（Under-Segmentation）：掩码是否漏掉了运动主体的关键附属部分？（例如分割了奔跑的人体，却漏掉了其甩起的双臂或腾空的脚踝）；
边缘纯净度审查（Over-Segmentation）：掩码是否由于边缘溢出，把不动的地面阴影或邻近静止护栏错误吞噬？

若批判者判定当前掩码不符合物理真实，它将明确驳回当前结果，并生成带有精准修正意见的二阶提示词（例如：“驳回初版掩码：当前掩码仅包含了飞鸟的主干身躯，遗漏了展开的右侧翅膀，请向右上方向扩充边缘”）；分割网络根据新提示重新计算掩码，进入下一轮迭代。系统设置最大迭代上限为 5 轮，一旦批判者认可其物理一致性，循环立即收敛输出。

查看原图 ↗

MovSAM 借助场景语义与外观，从单张图像中推断可能运动的物体。

查看原图 ↗

每一帧独立处理，遮挡不会把误差沿时间传播开来。

网络训练与复合损失函数

为了在最大化保留基础模型开放泛化能力的同时适应单图像运动推断任务，我们采取了分层微调策略：

参数冻结：SAM 2 的 ViT 大规模图像编码器全程保持权重冻结，以保留其在数亿图像上建立的通用底层边缘提取能力；多模态大语言模型（如 GPT-4o 或开源本地 Qwen-VL）以黑箱 API 或冻结模式运行，保障其通用因果常识不受任务微调的表征侵蚀；
优化模块：仅对特征聚合网络（FAN）、视觉语言适配器以及 SAM 的轻量级掩码解码器进行端到端联合训练；
复合分割损失函数：结合二值交叉熵（Focal BCE）与连续 Dice 损失函数，构建均衡的监督目标： $$\mathcal{L}_{\text{seg}} = \lambda_{\text{BCE}} \mathcal{L}_{\text{BCE}}(\hat{\boldsymbol{M}}, \boldsymbol{M}_{\text{gt}}) + \lambda_{\text{Dice}} \left(1 - \frac{2 \sum \hat{\boldsymbol{M}} \odot \boldsymbol{M}_{\text{gt}}}{\sum \hat{\boldsymbol{M}} + \sum \boldsymbol{M}_{\text{gt}}}\right)$$ BCE 负责逐像素把控精细边界分类，Dice 损失则有效规避了微小运动物体在整幅高分辨率图像中所面临的严重前景/背景正负样本失衡问题。

实验评测与消融洞察

我们在主流视频分割数据集的独立单帧抽样基准，以及由真实机器人车载相机采集的非结构化图像测试集上进行了系统评测：

与传统时序模型的静态退化对比：当人为截断为单帧输入时，传统基于光流与时序记忆传播的视频目标分割算法（如 ProMRA、DeAOT）因缺乏时间差分线索而近乎完全瘫痪，只能输出全零或严重破碎的掩码；而 MovSAM 依靠 LLM 与 VLM 的高层场景因果推理，在单张静态图像上实现了稳健的分割表现，证明了常识物理推理填补时序空白的可行性；
批判反思循环的边际收益：消融实验表明，在加入 LLM 多模态批判反思机制后，复杂动态遮挡与细长四肢漏分割的现象显著减少。多轮迭代使得最终输出不仅是“几何上的边缘聚类”，更是“语义上经得起物理推敲的完整实体”；
特征聚合网络（FAN）的不可替代性：若将 FAN 模块移除，直接将未经空间调制的 VLM 语义特征强行灌入掩码解码器，分割边界会出现大面积锯齿与结构断裂，充分印证了跨模态空间细节补偿机制的关键作用。

查看原图 ↗

单图像运动物体分割的定性对比。

物理局限与未来演进

在论文中，我们以严谨的学术态度指出了基于单帧纯语义推断运动的客观物理边界：

纯粹刚体匀速平移的不可推断性：如果一个表面光滑的刚性球体在无摩擦平面上以匀速低速滚动，且未产生任何运动模糊、形变或阴影脱节，那么在任何单张照片中，该物体与静止状态在物理上是完全不可区分的。MovSAM 的推断基于常识物理线索，无法创造物理世界本身未曾留存的信息；
多轮批判带来的推理时延：由于引入了大语言模型的多轮反思对话，单帧全流程推理耗时在当前硬件条件下处于秒级范围，尚无法直接满足百赫兹级的高速动态避障需求。其现阶段的主要应用场景在于高层态势感知、离线故障时空诊断以及通信降级状态下的关键目标锁定。

总结与工程反思

MovSAM 的核心学术贡献，在于向领域展示了：语言与多模态常识不仅可以用于描述世界，更可以作为一种强大的先验假说，去恢复由于物理传感器受损而缺失的物理时间维度。

通过将基础感知模型（SAM 2）、跨模态对齐网络与大语言模型的深度反思能力有机编织为一个自愈闭环，系统在极度匮乏时序观测的严苛工况下依然保持了对真实动态世界的理解深度。这一探索为机器人面对传感器偶发失效、非连续通信以及极端非结构化环境时的感知韧性提供了崭新的解题范式。