聂畅

机器人化学家：面向生化实验的双臂移动操作全栈系统

Sun, 06 Sep 2026 00:00:00 +0000

在生化实验室自动化与“AI for Science”的研究范式中，计算化学模型与大型语言模型（LLM）已经能够自主设计分子逆合成路线与高通量反应条件。然而，智能科学探索的真正瓶颈在于物理世界的实验闭环验证（Wet-Lab Physical Validation）。传统的自动化移液工作站体积庞大、管路复杂且高度专用化，无法操作标准的人类实验仪器（如通风橱、旋转蒸发仪、台式离心机、分析天平与磁力搅拌器）。构建具备人类操作尺度与高机动性的通用双臂移动机器人化学家系统，成为打通全流程自主生化合成的关键突破口。

然而，将双臂协作机器人部署进真实生化实验室，面临着远超传统工业流水线的物理与感知挑战。系统必须在非结构化环境中应对完全透明反光的玻璃器皿、严苛的机械装配公差、流体晃动飞溅风险，以及包含数十个连续步骤的长时序实验任务。

本项目基于轮式全向移动底盘与协作双臂平台，研发了面向生化实验台操作的全栈软硬件系统：结合多视角几何感知、运动学重定向示教、参数化技能库与物理状态契约核验，实现试管与烧杯协同操作、试剂微升转移以及离心机精密对称配平装配等实验流程的自主闭环。

实验室场景的真实挑战与系统分层

实验室操作不同于工业产线标准刚性工件的流水线装配，它对机器人的空间感知精度、双臂协调柔顺性和任务容错性提出了极高要求：

系统层次	核心工程挑战	我们采取的应对方案
环境与本体感知	透明石英/高硼硅玻璃器皿导致常规深度点云出现大量空洞与折射失真	结合多视角轮廓提取、空间圆锥交会几何与隐式先验，高精度解算 6D 抓取位姿
移动与空间布局	底盘停靠微小偏差与化学通风橱狭小有限空间的臂体作业干涉	移动底盘提供粗定位，到达工位后基于视觉标记与局部特征二次对齐最佳可操作度构型
精密接触技能库	易碎薄壁玻璃防破损防滑脱、微型离心机精密孔位装配防卡滞	将操作解耦为抓取、倾倒、对准、插拔等参数化原子技能块，引入自适应柔顺对齐与寻孔微动
流体运动稳定性	运输液体试剂途中液面晃动溢出、倾倒时表面张力挂壁与液滴失准	基于流体动力学约束优化加加速度平滑轨迹，结合手眼视觉实时监测倾倒状态
智能体规划与自愈	跨越数十个连续操作步骤的长时序流程中，微小误差累积导致整体任务阻断	VLM 驱动的任务层在每个动作前后核验物理状态契约，触发局部重试与异常恢复分支

系统与算法架构

实验意图 → 技能学习 → 物理执行 → 闭环反馈

移动底盘高效穿梭实验工位，仿生双臂执行高精度器皿操作，智能体分层规划驱动技能调用并闭环检验物理结果。

技能学习路径

01示教与动作映射时序动作理解 · 人机异构映射

02虚实结合训练场景重建 · 教师与学生策略 · 迁移

03可复用技能抓取 · 放置 · 倾倒 · 工位交互

任务执行路径

04任务与场景理解实验指令 · 物体状态 · 步骤前提

05全身运动控制移动底盘 · 双臂 · 可达性与接触

06评估与恢复检查完成状态 · 重试或重新规划

执行反馈 → 场景更新与技能改进研究目标：把真实交互中的问题转化为下一轮学习的依据。

核心技术实现：从物理先验到闭环自愈

为了在真实生化实验台前实现无人值守的高可靠作业，我们构建了多模态感知、运动学映射、动力学平稳控制与契约状态核验的全链条系统。

1. 透明与反光玻璃器皿的 6D 空间位姿精密解算

在生化实验中，烧杯、试管与量筒大多采用透明高硼硅玻璃或石英材质制成。主动结构光相机投射的红外散斑会直接穿透玻璃表面，并在器皿内部和背面形成严重的焦散二次反射，导致常规传感器输出的深度图出现大面积飞点与空洞。

针对透明物体的几何感知退化，我们构建了多视角轮廓相交与 CAD 几何约束联合优化流程：

边缘提取与空间圆锥交会：利用车体与手眼多路高分辨率相机从不同视角拍摄玻璃器皿，提取高精度器皿轮廓边缘；通过多视角视线反向投影构建空间椭圆锥面，解析求解多锥面的公共切相交流形，精准恢复器皿口部三维圆环的空间位置与法向朝向。
CAD 几何模型约束与法向对齐：以提取的口部特征为基准，将试管与烧杯的几何模型沿主轴展开，在局部有效点云上进行法向约束对齐，将透明器皿的 6D 位姿解算误差稳定控制在毫米级以内，为末端柔顺抓取提供了高可靠几何基准。

2. 人类示教动作的人机运动学重定向与奇异点规避

经验丰富的化学家在操作移液枪、旋开瓶盖与转移试剂时动作敏捷平顺。为了提取人类双手操作的专家先验，我们搭建了基于穿戴式动捕与双目视觉的人类示范采集系统。然而，协作机械臂受到固定的连杆长度、关节力矩极限与运动奇异点的严格约束。如果直接将手腕笛卡尔位姿硬映射给机器人，在操作特定工作台边缘时极易引发关节速度超限或运动顿挫。

我们设计了考虑可操作度优化与平滑约束的运动学重定向机制：

操作特征流形提取：从人类示范中解耦出器皿间相对接触姿态、进出法向量与末端速度特征标尺，过滤人体抖动噪声；
任务空间逆运动学投影优化：在逆运动学求解中引入机械臂可操作度指标与参考舒适姿态偏离惩罚，引导机械臂在逼真复现双手协同操作逻辑的同时，始终运行在远离奇异位形的高刚度安全区域内。

3. 微型离心机工位的高精度轴向对齐与柔顺装配

台式离心机是生化实验的核心设备，转子内部均匀分布着倾斜深度孔位，装配间隙极其微小。若离心管插入时的姿态轴线发生轻微倾斜，管体会立即卡滞在转子孔口边缘，强行下压会导致试管破裂或电机报警。

为此，我们设计了“全局定位 + 眼在手视觉伺服 + 柔顺螺旋探孔”的三阶段装配控制架构：

全局粗定位：底盘停靠于离心机操作台前方后，双臂首先将试管转运至离心机转子正上方的待命平面；
眼在手同轴度伺服导引：安装在机械臂末端的高清微距相机对离心机孔位边缘执行拟合，解算出孔位几何中心与试管底部的相对位置与轴线偏角，通过视觉伺服动态驱动机械臂微调末端姿态，使对准同轴度误差迅速收敛；
轴向定力下沉与螺旋微动探孔：末端开启轴向柔顺阻抗控制，以微速垂直向下插入试管，同时实时监控腕部力传感器的纵向阻力。若检测到阻力异常突增，判定为管口发生轻微干涉，系统自动激活微幅高频水平螺旋搜索微动，顺畅滑入孔底，实现连续高可靠的安全落座。

4. 流体运输平稳控制与微量倾倒

在生化实验中，转运敞口烧杯与试管时，液面晃动不仅容易造成液体飞溅污染台面，晃动的流体还会持续产生偏心力矩扰动末端抓持。

流体运动抑制与平滑轨迹规划：结合容器几何尺寸与液深特性，在机器人末端轨迹生成层设计加加速度（Jerk）受限的平滑滤波器，对加减速脉冲进行滤波整形，有效消除加速、急停与换向过程中的激振，实现运输全流程液面平稳无溢出。
倾倒弯月面视觉监控：在将试剂自管口倒入烧杯时，双臂协同控制倾斜角度。通过高帧率手眼相机实时监测管口液体的表面张力弯月面与液滴分离状态，实现对流体转移量的精准闭环调节。

烧杯抓取与转移

细长物体抓取

试管对齐与入架

5. 显式物理状态契约核验与长时序异常自愈

在包含数十个离散步骤的复杂生化实验中（例如取管、旋盖、天平称量、移液、振荡、离心对角配平装载、离心分离等），开环顺序执行极易由于微小偶发异常导致整组实验中断。

我们构建了基于显式物理契约的分层自愈执行引擎：

分层任务编排架构：顶层由具身规划 Agent 负责长程时序推理，中层将实验流程实例化为带有参数化约束的原子技能块，底层运动控制器负责执行与轨迹插值，确保逻辑推演与高频控制解耦互不阻塞。
前置与后置物理断言校验：为每个技能节点配置多模态物理断言条件（例如抓取技能校验夹爪开度与自重拉力突变，配重装载技能校验对角对称位置的质量平衡等）。
局部分支自愈重试机制：一旦某一后置契约校验未通过，系统不会直接报错中断实验，而是根据异常特征自动触发局部的恢复动作分支（如释放夹爪、回退安全位姿、重新局部多视角对齐并自适应补偿后再次抓取），显著提升长时序实验的整体鲁棒性。

实机演示与功能验证

试管与烧杯精密协同操作实机原速记录：机器人在实验台自主执行微米级器皿识别、自适应抓取与高稳定流体转移。

离心机精密工位自主作业实机原速记录：机械臂自主定位离心机狭窄孔位，以高精度对齐完成试管插拔与配重装载。

上面两段实机视频记录了机器人在真实生化实验台前的全流程作业实况：

微型器皿精准识别与流体转移：机器人在光照复杂的实验台前准确识别出透明试管与敞口烧杯的三维几何位姿，双臂平稳协作完成液体吸取、转运与注入，全流程液面平静无晃动溢出；
离心机狭窄工位精密作业：机械臂依靠眼在手微距相机精准锁定微型离心机内部微小倾斜孔位，以亚毫米级的同轴度顺畅完成试管垂直插拔与对角对称装载，并在动作完毕后平滑撤出通风橱安全区。

工程总结与技术积累

生化实验室场景下的双臂移动操作，是机器人从工业确定性环境迈向非结构化复杂精细作业的试金石。在研发落地过程中沉淀了以下关键技术认知：

突破光学退化需要几何先验与隐式神经表征融合：面对透明反光的玻璃器皿，单纯依赖常规深度传感器是不可行的。将 2D 亚像素边缘流形、空间圆锥交会几何与隐式 3D 场景重建有机融合，是保证接触可靠性的根本前提。
将动力学特性内化于动作规划中：易碎器皿抓持与流体转运在本质上是多体动力学约束问题。只有将接触力矩上限、振动抑制与输入整形显式纳入底层轨迹生成器，才能真正实现高柔顺、防晃动、无飞溅的专业级实验操作。
显式契约断言是长时序可靠性的唯一保障：在涉及数十个步骤的物理实验流中，开环假设是极其危险的。给每个原子技能赋予自检与自愈能力，让系统具备“感知-行动-断言-重试”的物理闭环，是具身智能体走出实验室走向真实科研自动化的核心路径。
软硬件协同设计对抗空间非结构化：在通风橱等受限作业空间内，移动底盘的宏观位姿冗余与双臂操作微观构型的协同解耦，是避免关节死锁与作业奇异性的关键支撑。

香港中文大学合作项目：图书馆书架智能整理与双臂移动操作机器人

Mon, 21 Sep 2026 00:00:00 +0000

在半结构化物理环境中，“把一本书放回书架”看似平淡无奇，对自主移动双臂机器人系统而言却涉及空间几何、接触力学与长时序决策的多重强约束：

书架上的书籍紧密排列，相邻书本存在倾斜挤压与大面积侧向摩擦力，操作间隙通常处于毫米量级；
书脊表面纹理差异大，且覆有塑封膜反光，常导致视觉位姿估计出现角度漂移；
移动底盘只要停偏数厘米，机械臂在伸入书架进深操作时就会迅速触碰关节奇异点或机械限位，亦或遮挡手腕相机的观测光路；
抽取或插入单本书籍时若缺乏对侧向力的约束，极易引发相邻书本的多米诺式倾覆。

本项目与开展深入合作，研发面向图书馆书籍自主归架与书架整理的移动双臂机器人系统。我负责其中的 AI Agent 决策与物理执行闭环架构，探索如何将高层整理意图转化为可靠、可核验的连续物理动作。

项目背景

香港中文大学 · 刘云辉教授团队

图书馆书籍归架是典型的半结构化长时序密集操作：书脊反光、书本紧贴倾斜、操作间隙极小，且底盘停靠位姿直接制约机械臂的工作空间。本项目通过智能体与对象中心世界模型，实现高容错的书架整理操作。

预期攻关目标与交付重点: 打通密集书架环境下毫米级缝隙抽取与插入全流程；预期达成双臂协同抽取成功率超 92%、卡阻自愈成功率超 80% 的实机操作目标

我在项目中的工作

作为项目负责人，搭建移动双臂操作框架，负责同轴视觉伺服与智能体闭环执行；推进密集书架整理方案研发，以 1.5–3.0 mm 缝隙下双臂协同抽取成功率超 92%、插入卡阻自愈率超 80% 为预期攻关目标。

物理挑战与移动操作的本质转变

将双臂操作从传统的固定工业工作站迁移到可移动的轮式平台上，系统面临的科学问题与工程约束发生了本质转变。在固定工位中，未知物体的状态通常归结为局部的视线遮挡问题；机械臂基座坐标系与工件台相对刚性固定，逆运动学求解存在确定的几何包络。而在移动操作场景下，问题被重塑为三个核心维度：

环境尺度的部分可观测性（Environment-Scale Partial Observability）：目标书籍可能位于完全不同的架位、被读者翻阅后错放、或者被厚重的大开本书籍遮挡在货架纵深处。机器人不仅需要推断当前视野中被遮挡的局部，更需要进行全局尺度的空间推理，在多层书架与通道间规划主动探索路径，并维持一张持久化的环境拓扑与对象记忆图谱。
底盘停靠作为一等决策变量（Base Placement as a First-Class Decision）：移动底盘的最终停靠位姿直接决定了后续机械臂所有候选抓取轨迹的运动学可达性。底盘离书架过近会导致机械臂无法弯曲展开，肘部甚至可能与窄通道后方的墙面干涉；底盘离得过远则无法探入书架内侧进深。此外，底盘停靠角度直接制约机载相机对目标书脊与抓取缝隙的视线锥。底盘停靠绝不能仅仅委托给传统的全局路径导航模块，而必须作为由后续操作收益驱动的一等决策变量。
导航与操作转换周期的不确定性累积（Uncertainty Accumulation across Cycles）：移动底盘在经过长距离行进与制动后，由于轮面打滑、机械回差以及悬挂系统的微小形变，实际停车位姿往往存在厘米级的平移漂移与数度的航向角偏差。如果直接采用导航前的全局目标坐标驱动机械臂开环下发轨迹，末端执行器必定会发生硬碰撞。系统必须在底盘制动后建立严格的“二次局部感知—状态精修—力控闭环”执行链条。

研究架构

看清书架，再决定如何归架

停靠改变可见性与可达性；每次移动后重新观察，每次放置后核验结果。

观察与决策

01识别书籍与架位书籍身份 · 空间关系 · 遮挡

02更新世界模型区域记忆 · 局部状态 · 不确定性

03选择停靠与技能AI Agent · 可见性 · 可达性

执行与核验

04导航、停靠、再观察校正停车误差 · 局部对齐

05取出与放回双臂配合 · 支撑 · 插入

06核验与局部恢复正确书籍 · 正确架位 · 有界重试

观测与执行结果 → 更新状态与计划仿真与示教支持技能开发；控制层约束实际运动。

软硬件分工与确定性控制边界

为确保复杂的 AI 推理能够安全受控地落地到物理硬件上，系统在架构上划定了明确的职责边界：AI Agent 与世界模型仅负责任务级与技能级的高层逻辑推理与参数派发，而底层的轨迹规划、运动学求解、碰撞检测、力矩限制与急停响应则由确定性的机器人控制栈严格承载。

高层智能体规划系统：基于 ROS 2 架构部署，运行独立的大模型推理适配器 agent_planner，结合当前的结构化任务状态、技能库定义与对象世界模型，输出符合严格 JSON 模式声明的结构化操作方案；
底层确定性控制栈：采用 ROS 2 与 MoveIt 2 作为运动学与规划中枢。臂部运动基于 OMPL 进行无碰撞自由空间寻优，局部切入与抽离则强制采用笛卡尔空间直线插补算法；底盘导航采用 Nav2 维护分层代价地图，结合全向轮移动底盘实现横向与旋转复合平滑制动；
计算平台与通信架构：机载端部署 NVIDIA 高算力工控主机，负责感知分割、世界模型维护、局部轨迹生成与技能状态监控；底层执行器通过实时以太网总线与机械臂关节控制器及全向底盘建立高频双向通信，确保高层异常发生时能够在毫秒级触发安全受控刹车。

移动底盘停靠与双臂可操作度联合建模

在狭窄书架通道中（通道净宽通常仅为 0.8 米至 1.0 米），将底盘停靠位姿与机械臂灵巧操作解耦规划会导致严重的运动学死锁。针对这一问题，我们将底盘停靠位姿求解形式化为一个多目标约束优化问题，综合考量机械臂关节可操作度（避开奇异点构型与行程极限）、手腕相机对书脊的视线投影余量（避免机械臂自遮挡光路）以及底盘移动能耗与安全避障裕度。

底盘运动到位后，系统并不立即伸出手臂，而是触发“两阶段局部精修流程”：机载双目与手腕相机对书架标志物及目标书脊进行二次立体视觉重构，解算出微调偏置矩阵，将底盘打滑带来的 1-3 厘米残余误差在前置规划阶段彻底吸收。

仿生双臂协同与接触力控攻关

书架整理最脆弱的物理环节在于书籍抽离与重新插入时的侧向受力。在密集挤压排布下，单臂强行抽出书本会因强大的表面静摩擦力带动整排书籍同向滑动并倾倒；而在插入时，若目标缝隙宽度仅比书本厚度大 1 至 2 毫米，微小的几何偏角都会产生硬性卡滞。为此，我们设计了分工明确的仿生双臂协同作业机制。

1. 辅助臂的侧向支护与防倾倒约束

在主操作臂接触目标书籍前，辅助机械臂首先执行空间展开，将带有柔性防滑垫的末端平贴于目标书籍相邻侧的书堆边缘，施加轻微且受控的侧向预载荷（通常维持在 5 N 至 8 N 的恒定压力）：

这一恒定侧向力相当于在书堆一侧临时构建了刚性侧壁，有效抑制了相邻倾斜书籍在摩擦力牵引下的姿态坍塌；
辅助臂末端配置六维力矩传感器，实时监测侧向反力变化；若检测到相邻书堆产生滑动突变，系统会动态微调支撑位姿，确保书架整体处于静力学稳定状态。

2. 主操作臂切向顺应抽取

主臂末端装配薄型自适应平行夹爪。视觉算法首先定位目标书脊的上下轮廓顶点与局部法向，主臂沿书脊外法线切向缓缓滑入书缝缝隙：

夹爪闭合时执行电流-力矩双重反馈控制，确保夹持力维持在刚性抓紧但又不损伤纸张封面的阈值区间内；
抽取阶段沿垂直书架平面的法向平缓后移，主臂在侧向（Y 轴）和俯仰角上开启柔顺阻抗控制，容忍微小的法向对齐偏差，避免因刚性强拔损坏书籍书脊。

3. 微倾角接触微搜索与狭缝滑入

将整理后的书籍插回缝隙是接触动力学要求最高的环节。由于缝隙两侧存在书页毛刺与封面凸起，正对直推极易引发机械自锁。我们采用“倾角切入—阻抗微搜索—滑顺推进”的三步策略：

倾角预入：控制书籍底角以约 12 至 15 度的微小俯仰角先接触缝隙下沿，使接触面积从面接触退化为点线接触，显著降低初始切入阻力；
阻抗力控与微幅顺应：在末端建立柔顺阻抗控制模型，设定插入主推进方向为低刚度虚拟顺应，在检测到推力突增时主动减速，同时在航向角与侧向施加微小角位移扰动（微幅自适应抖动搜索），引导书籍顺着缝隙天然导轨滑入；
全行程入架：当六维力传感器显示推入阻力回归至基线、位移传感器确认书籍完全齐平书架外边缘时，释放夹爪平稳撤回。

面向货架的对象中心世界模型

书架整理通常涉及数十本物理实体的状态演变。传统的稠密三维体素网格（Voxel Grid）在内存占用与跨视角更新效率上难以支撑长周期推理，而纯隐式表征又缺乏离散物体的物理交互句柄。为此，我们研发了面向书架的对象中心世界模型（Object-Centric World Model）。

1. 结构化对象节点与拓扑属性

世界模型将感知到的物理世界维护为一张显式的几何-语义异质图谱。图中的每个节点对应一本独立实体书籍或货架隔板单元，携带完备的物理状态参数：

几何与空间属性：三维有向包围盒（3D OBB）、书脊局部坐标系在全局地图下的后验位姿均值与协方差矩阵 $\Sigma_p$；
语义与身份特征：书脊光学字符识别（OCR）文本、条形码/RFID 唯一数字标识、外观全局特征嵌入向量；
拓扑与接触关系：左邻节点 ID、右邻节点 ID、当前支撑面、垂直倾斜角度 $\phi_{\text{tilt}}$ 以及相邻紧实度指数。

2. 跨视角跨时序图谱数据关联

随着移动底盘在通道中穿行，不同视角采集到的点云与 RGB 观测不断汇入。世界模型通过匈牙利匹配算法，将新检测到的书脊轮廓与历史图谱节点进行联合代价配准。匹配代价综合了空间几何欧氏距离、外观嵌入相似度与拓扑相对邻接顺序。当同一本书被重新观测到时，卡尔曼滤波框架递归更新其 3D 位姿估计与不确定性椭球；若发现原本记录的架位出现几何留白，模型自动标记为“空置插槽（Vacant Slot）”，供后续回放规划调用。

3. 反事实模拟与动作前瞻评估（Counterfactual Simulation）

世界模型的核心优势在于支持 AI Agent 在物理动作发出前进行虚拟前瞻模拟。当 Agent 规划出某个底盘停靠点与抓取顺序时，世界模型在内部推演动作可能产生的状态演变：

评估在当前位姿下，机械臂包络体是否会侵入邻近立柱的凸包；
评估抽出该书后，根据相邻节点的倾角与重力分布，剩余书堆是否满足无支护条件下的静力平衡条件；
如果反事实模拟显示倾覆风险指标超过安全阈值，Agent 自动否决单臂直接抽取方案，转为生成带有“辅助臂前置侧向抵靠”的双臂协同行为树。

AI Agent 闭环任务编排与自愈机制

作为 AI Agent 方向的负责人，我构建了上层语言推理与底层机器人动作执行之间的统一语义转译框架，将复杂的整理任务组织为行为树（BehaviorTree.CPP）与严格的物理技能契约。

1. 结构化任务规划与严格模式校验

当用户输入非结构化的高层指令（如“请将归还车中的三本计算机科学类书籍归架到 B 区第二层书架，并整理歪斜书堆”）时：

机载 agent_planner 结合场景图谱的当前符号状态（包含底盘当前所在区域、各货架空槽分布、归还车书籍清单），通过本地语言模型进行任务分层剖析，生成有向无环的任务调度逻辑；
输出结果被限定在包含 NavigateToArea, DockAtShelf, ScanSpines, StabilizeCluster, ExtractBook, VerifyHolding, InsertBook, RetractArm 等标准技能库集合内；
确定性模式校验器（Schema Validator）介入审查：检查每一个技能调用的参数合法性、目标实体 ID 是否真实存在、坐标系变换是否存在数值奇异。通过校验后，任务被实例化为行为树控制节点。

2. 显式前置与后置物理检验契约

为杜绝开环假设带来的级联失效，每一个原子技能节点都绑定了严密的物理感知断言（Verification Contracts）：

以 ExtractBook 为例，其前置条件严格要求辅助臂已建立稳定的侧向力平衡，且主臂夹爪已对齐书脊轴线；
动作执行后，系统并不仅凭轨迹执行器返回“Success”即认定完成，而是同时读取机械臂末端安装的微型红外对射光电传感器与夹爪位移编码器：若红外光路被遮断且夹爪开度处于书本厚度合理公差区间，后置条件方才判定通过；若检测到空夹或光电未触发，技能直接返回 FAILURE 状态，阻止流程盲目向下一环节推进。

3. 多层级有界自愈状态机（Bounded Recovery）

在密集狭缝插入与抽取中，由于纸张边缘褶皱或定位残余误差，机械卡阻是不可避免的物理偶发事件。我们设计了有界自愈机制（Bounded Recovery Logic）：

局部微回退重试：当插入阻抗力超过预设安全极值（例如推力超过 25 N）且位移未到位时，系统判定发生硬卡滞。行为树自动挂起主干流程，触发局部自愈恢复子树：主臂沿原路回退 20 毫米，末端在偏航角方向反向微调 1.5 度，重新执行微幅顺应插入；
有限重试与安全退避：若连续执行三次局部自愈仍无法顺利完全入架，系统终止尝试，执行安全退出动作：平稳抽出该书籍，回转并平放在机载置物托盘上，将当前插槽在世界模型中标记为“几何受阻”，记录详细的错误日志与传感器时间序列，随后继续调度执行下一本书籍的整理，避免单点阻塞瘫痪整个自动化流程。

递进式里程碑规划与预期指标

为了系统验证整套技术方案在真实硬件上的鲁棒性，项目规划了由易到难的四个演进里程碑（M1 至 M4）：

M1：会议室桌面清理闭环。在开放平整环境中验证自然语言任务生成、底盘可达性停靠、单臂与双臂基础抓放及机载托盘管理，打通全流程软硬件通信链路；
M2：图书馆书架密集整理与归架。引入狭窄通道导航、高密度书籍挤压提取、毫米级窄缝柔顺插入、辅助臂协同防倾倒与卡阻自愈，验证高难度物理交互的稳定性；
M3：高价值物品与药剂核验转运。在密集操作基础上叠加封闭容器开启、细径瓶管轻柔夹持、条形码/电子标签精确识读以及全程时空审计溯源，满足严苛的确定性容错需求；
M4：完全未知布局长程自主泛化。在从未建图与建模的多房间复杂场景下，验证对象中心世界模型的跨区域自主探索、未知实体拓扑推理与长时序持续任务稳定性。

针对 M2 阶段密集书架整理的仿真预演与指标规划，项目设定了明确的预期目标与性能基准：

在书本间隙低至 1.5 至 3.0 毫米的密集排列场景下，预期双臂协同书籍抽取成功率超 92%，有效防范相邻书堆连带倾覆；
底盘停靠优化预期在 88% 以上的首发停靠中将机械臂置于高灵巧操作包络内，大幅压缩二次伺服微调窗口；
针对插入偶发性卡滞，规划的有界自愈机制预期自主恢复超 80% 的摩擦机械自锁状态，最小化人工介入频次。

工程反思与技术积累

这项工作为移动双臂操作提供了一个具体的实践切片。从最初面对密集书架时频繁遭遇的机械卡死与视觉遮挡，到最终构建起软硬件分层的稳健闭环，我们沉淀了若干关键的工程经验：

不可替代的确定性控制底座：当前具身智能领域对端到端大模型寄予厚望，但在毫米级缝隙插拔与刚性接触场景中，端到端策略输出的高频抖动极易引发硬件损伤。将大模型与语义推理约束在任务规划与反事实世界模型层面，让经典的阻抗力控、逆运动学求解与确定性行为树牢牢把控底层执行，是现阶段保障真实物理部署安全的实用工程范式。
移动性与操作性必须一体化考量：移动机械臂不是简单的“底盘加上手臂”。把底盘停靠当成孤立的导航终点是早期频繁出现奇异点与视线遮挡的根源。从末端任务的几何与视觉需求反向推导底盘的最佳停靠流形，将移动性直接转化为操作工作空间的有效延伸，是解决狭窄空间移动操作的核心解法。
真实世界的确定性来自对失败的严密防御：在长时序物理操作中，指望每一个原子动作永远 100% 成功是不切实际的。系统的韧性不在于从不出错，而在于能否在动作执行后通过多模态物理传感如实检验结果，并在发生偏差时具备局部有界自愈与优雅退避的能力。这套架构积累的经验，为密集仓储货架运维、实验室半结构化操作与移动双臂具身机器人的工程化落地提供了长期的技术支撑。

华威大学国际合作：面向长时序任务的分层具身智能与 AI Agent 架构

Mon, 21 Sep 2026 00:00:00 +0000

在面向开放非结构化环境与长时序复杂任务的具身智能操作中，机器人系统面临着极高的物理不确定性。无论是工业装配、实验室样本处理，还是半结构化场景下的物流分拣，任务跨度往往包含数十个连续步骤。在这种场景下，任何单步动作的微小误差积累都会引发后续规划的全局失效。

本项目与华威大学团队开展深入学术交流与系统联合研发，聚焦于面向长时序任务的分层具身智能与 AI Agent 闭环架构。我负责搭建机器人软硬件闭环系统，打通多模态感知、高层任务分解、度量几何规划与底层阻抗控制接口，构建具备物理自愈能力的自主操作体系。

项目背景

华威大学 · Sai Gu 教授团队

面对日常与工业非结构化场景，单一端到端模型往往难以兼顾全局长时序逻辑与高频局部几何运动。本项目通过分层解耦架构，让 AI Agent 在高层组织语义与阶段目标，底层专用控制器专注几何与连续控制，并以多模态感知提供持续环境反馈。

预期攻关目标与交付重点: 打通 8–15 步长时序具身操作闭环；预期将端到端长程任务成功率提升至 84% 以上，局部偶发卡阻自愈率超 70%，视雷多模态融合定位误差控制在 3 mm 以内

我在项目中的工作

作为项目负责人，主导搭建分层 Agent 具身操作架构，针对 8–15 步长时序操作，以端到端任务成功率由 35% 提升至 84% 以上、局部物理偶发卡阻自愈率超 70% 为预期攻关目标。

长时序物理操作的脆弱性与复合误差挑战

在具身操作领域，长时序任务的核心难点在于“复合误差传递（Compound Error Propagation）”。以一个包含 10 个物理交互子阶段的长程任务为例（例如在复杂台面上识别药剂瓶、开盖、移液、旋紧瓶盖、装盒并转运），即便每个原子技能拥有 90% 的执行可靠性，在开环无物理自愈状态下，连续十步相乘后的综合成功率也仅约 35%，步骤进一步拉长则指数级衰减。这意味着在没有物理反馈与局部自愈机制的情况下，开环执行系统几乎必然在某一中间环节遭遇失败。目前学术界探索的两种主流范式，在应对长时序真实物理操作时均暴露出明显的局限性：

端到端纯策略模型（Vision-Language-Action Models）的脆弱性：纯策略模型擅长在固定分布内进行局部反应式小动作生成。然而，在跨越数分钟、数十个动作阶段的长任务中，由于隐向量缺乏显式的符号记忆与因果约束，累积漂移难以避免；更关键的是，端到端大模型通常只能在 5 Hz 至 20 Hz 的低频频段运行，无法直接满足物理接触瞬间所需的百赫兹级阻抗力控响应，且在遭遇机械阻卡或局部滑脱时缺乏系统性的回退重试能力。
大语言模型直接生成轨迹代码（LLM-as-Planner）的几何幻觉：直接让大模型输出关节路点或空间坐标，虽然具备常识推理优势，但大模型内部缺乏精确的度量几何模型与机器人逆运动学（IK）硬约束。模型生成的路径容易侵入工作空间的机械盲区、触碰关节软硬件限位，或在密集障碍物边缘产生轨迹穿透干涉，同时极易产生“指令已经发出即等同于物理动作已经达成”的开环幻觉。

面对上述问题，我们的核心设计理念是：决策与执行分层解耦、几何与物理严格闭环。将任务逻辑的符号推理交由高层智能体，将高频轨迹跟踪与力学顺应交给确定性控制栈，并通过多模态感知在每一步动作后建立确定性的物理核验断言。

研究架构

三维感知 → 分层决策 → 机器人执行

任务规划与运动控制分层协同，由观测与执行状态连接起来。

感知与空间理解

01视觉与毫米波互补观测 · 多模态感知

02三维场景表示物体 · 几何 · 空间关系

03语义与时序对应指令含义 · 相关事件

AI Agent 机器人系统

04高层任务决策理解指令 · 组织中间目标

05底层动作执行机器人技能 · 运动控制

06状态反馈与更新观测结果 · 持续规划

我的职责：搭建贯通感知、规划与执行的机器人系统以统一任务闭环支撑双方研究能力的系统集成。

三层解耦的分层具身智能架构

为了在保证高层语义泛化性的同时消除低层物理执行的不确定性，我们设计了严格的三层分工体系：

1. Level 3：语义与长程任务规划层（AI Agent Brain，0.5 Hz - 2 Hz）

负责解析非结构化的自然语言指令或复杂的长任务目标，将其分解为带有严格前置依赖的有向无环任务图（DAG）或动态行为树：

智能体通过本地大模型适配器运行，推理输入包含环境的当前符号状态、对象全局场景图谱与已执行的历史动作序列；
智能体输出严格受限于经过形式化验证的参数化原子技能集合（例如 ApproachObject, AlignEndEffector, ExecutePinchGrasp, VerifyEngagement, LinearExtract）；
该层不产生任何底层电机电压或关节力矩指令，其决策空间完全在任务拓扑与技能前置条件的合法性范畴内。

2. Level 2：度量几何与技能综合层（Skill Synthesis & Trajectory Generator，10 Hz - 50 Hz）

将 Level 3 派发的参数化技能指令映射为精确的三维笛卡尔空间或关节空间轨迹：

结合机载深度相机与毫米波雷达重建的局部欧氏符号距离场（ESDF），调用 OMPL 运动规划库与 Pinocchio 刚体动力学引擎，计算满足机械臂关节位置、速度与加速度极限的平滑多项式轨迹；
针对接触交互阶段（如抽屉拉出、螺纹旋合、试管插入），自动切换为高精度的笛卡尔直线插补与螺旋微搜索路径，并对候选轨迹进行逆运动学连续性与自碰撞检测。

3. Level 1：高频柔顺力控与执行层（Deterministic Real-Time Control，500 Hz - 1000 Hz）

负责在毫秒级周期内驱动各关节伺服电机，并维持稳定的接触力学交互：

采用笛卡尔空间柔顺阻抗控制，在自由空间运动时保持高刚度以确保跟踪精度；在末端发生接触碰撞时动态调节虚拟刚度，表现出柔顺顺应特性，有效吸收定位残余误差；
关节电机电流与六维力矩传感器以千赫兹频率进行状态轮询，设置硬件级力矩安全阈值，在发生非预期刚性碰撞时在 2 毫秒内触发受控急停，保护机械本体与环境设施。

视觉与毫米波雷达的多模态三维空间感知

在非结构化现实环境中，单一光学传感器容易受到恶劣光学条件的严重干扰。例如在强逆光照射下，深度相机由于红外散斑被淹没而出现大面积深度缺失；在透明亚克力容器或高光金属表面，镜面反射会导致点云发生数十厘米的虚假漂移；在伴随粉尘或烟雾的工业操作区，光学光路则会被彻底阻断。

华威大学团队在先进传感与无线电射频领域积累深厚，我们联合攻关构建了 视觉（RGB-D）与毫米波雷达（60-77 GHz FMCW mmWave Radar） 的多模态空间感知融合体系：

1. 物理机理互补与时空硬同步

光学相机：提供稠密的百万像素级二维色彩、丰富纹理及语义分割标签，擅长刻画物体的精细边界与表面微观几何，但对光照与介质极为敏感；
毫米波雷达：利用毫米级波长的电磁波穿透悬浮粉尘与蒸汽，完全免疫环境光强剧变与阴影遮蔽；调频连续波能够直接输出目标刚体的绝对距离与基于多普勒效应的高精度径向速度，但其角分辨率较低，且周围金属物体容易引发多径反射鬼影（Multipath Reflection Ghosts）；
联合标定与硬件对齐：通过特制的雷达-相机联合标定靶标，求解出刚性空间外参变换矩阵；利用硬件时钟源脉冲（PPS）进行触发对齐，确保空间投影的时间戳抖动控制在亚毫秒以内。

2. 动静分离滤波与时空对数占有栅格融合

为了剔除雷达多径效应产生的空间杂波，感知前端首先应用恒虚警率（CFAR）自适应检测算法，结合点云多普勒径向速度分布分离出静止环境背景与运动目标簇。

在空间几何建模上，系统构建了三维对数发生比时空体素占有栅格，将毫米波雷达的确定性测距回波与相机深度投影概率进行递推概率融合。通过这一机制，当光学相机遭遇强光盲区导致深度信息丢失时，毫米波雷达的确定性测距回波能够迅速填补体素占据概率，防止机械臂在未探测障碍物区域盲目切入；而当雷达信号在金属边缘出现发散杂波时，光学轮廓的高空间分辨率则有效约束了边界收敛，输出全天候高韧性的三维环境几何。

视频时序线索定位与物理状态核验

在长时序任务中，如何确保“上一个阶段的操作确实已经按预期达成”是闭环控制的核心命题。如果系统仅仅根据时间流逝或电机的开环回程判断动作完成，任何抓取滑脱、部件卡阻都会导致系统在错误的状态基准上继续执行，引发后续步骤的连续失效。

1. 跨模态视频时序事件定位（Video Temporal Grounding）

我们引入了视频语义时序对齐机制：系统在操作过程中持续维护滑动窗口长度为 $\Delta t$ 的环形视频缓冲队列 $\mathcal{V}_{[t-\Delta t, t]}$。高层智能体将当前子技能的完成准则转化为显式的状态描述子（例如“物体完全脱离台面支撑面”或“抽屉滑轨完全拉出至限位点”）。通过跨模态交叉注意力匹配，模型在时序维度定位物理状态发生相变的临界帧，获取动作达成的时间戳凭据。

2. 多源异构物理核验契约（Verification Contracts）

单纯依赖视觉判断仍存在受遮挡影响的隐患。为此，每一个原子技能都绑定了严密的物理传感双重断言：

视觉层面判据：目标物体外接包围盒的高度坐标发生刚性垂直位移 $\Delta z > h_{\text{thresh}}$，且原本被其覆盖的台面背景纹理被重新观测到；
力学动力学判据：机械臂腕部六维力矩传感器测得的垂直方向静态重力分量增量 $\Delta F_z$ 必须稳定落在目标物体真实重力质量窗口内（$\Delta F_z \approx m_{\text{object}} \cdot g \pm \epsilon_f$），同时夹爪位移编码器读数处于物体几何刚性厚度的允许公差带内；
确定性判定逻辑：只有当视觉几何证据与力学读数同时通过断言检验时，当前技能节点才向行为树主干返回 SUCCESS 状态；若任一断言未达标，系统强制拦截，禁止进入下一个动作阶段。

3. 多层级有界自愈执行机制（Bounded Error Recovery）

当物理核验断言未通过时，系统并不会粗暴地中断停机或重新执行整个任务，而是根据传感信号的失配模式调用有界自愈子树：

微小滑脱与空抓：若力矩传感器显示末端未承载重力，说明发生了滑脱。行为树触发“重观测—抓取位姿二次估算”子流程，调整夹持器切入倾角并在原目标坐标附近重新规划抓取点；
机械自锁与过载受阻：在插合装配中，若力矩传感器在位移未到位前触发突变阻力阈值，系统判定发生几何对齐卡阻，立即执行“回退 15 毫米—末端空间微幅抖动寻优—降速顺应微推”的自愈序列；
有界退避与安全挂起：若同一种自愈策略连续执行达到上限次数（如 3 次）仍未能恢复，系统将当前物体平稳安放至预设安全缓冲区，更新全局场景图谱中的物体可信度评分，记录详细的时空传感日志并调度下一项独立分支任务，保证整体系统的持续运行韧性。

系统集成与预期指标规划

系统围绕视觉-毫米波多模态感知平台、分层任务规划引擎与六自由度柔顺机械臂展开技术架构设计，并在 8 至 15 步连续物理交互长程任务中确立了明确的预期攻关指标：

长时序端到端预期完成率：通过物理核验断言与多层级有界自愈机制，预期将长程任务端到端成功率由开环基线的 35% 提升至 84% 以上，力争自主消除超 70% 的局部偶发扰动（如抓取微滑移、装配微卡阻）；
恶劣环境下的感知鲁棒性目标：针对强逆光与粉尘烟雾等恶劣工况，通过视雷多模态融合感知系统将目标 3D 边界与距离估计的均方根误差（RMSE）控制在 3 毫米以内，显著优于纯光学方案；
几何与物理执行一致性：Level 2 运动规划层严格保障 Level 3 参数化指令的逆运动学可解性与物理边界合规，从机制上杜绝大模型几何幻觉导致的机械撞击。

工程反思与技术积累

这项长时序具身智能系统的研发，深化了我们对物理世界中机器人软硬件闭环本质的理解：

具身智能的系统工程本质是对抗物理不确定性：在纯虚拟环境或仿真基准中，动作的成功率往往被理想化为确定性的数值转移；而在真实物理世界中，机械公差、接触摩擦、光照突变与材质漂移是普遍存在的物理客观现实。优秀的具身智能架构，其核心竞争力不在于生成动作时假设世界完美无瑕，而在于在每一步物理交互后具备冷酷核验真实状态的防御性设计，以及在发生偏差时具备确定性的自愈容错能力。
大模型的边界是符号推理，机器人的底座是连续力学：大语言模型具备无与伦比的常识语义解析与长程任务分解能力，但强行让其承担连续轨迹插值或百赫兹力控跟踪是低效且危险的。将大模型作为“高层战略家”，将经典阻抗力控、优化轨迹生成与凸空间碰撞检测作为“底层执行军官”，通过标准化的参数技能契约完成跨层转译，是兼顾智能涌现与工程可靠性的最优实践路径。
多模态感知的价值在于物理维度的正交互补：在机器人操作中堆叠同质化的光学传感器并不能解决逆光、反光或视线盲区的结构性缺陷。引入电磁物理机理截然不同的毫米波雷达，以正交的物理特性弥补光学相机的固有盲区，从根源上提升了机器人对恶劣操作环境的感知下限。这一系统架构的探索，为长时序复杂工业装配、非结构化环境特种作业以及具身智能机器人的规模化工程落地提供了坚实的技术沉淀。

工业物料搬运：全自主双臂移动机器人与料箱智能拆垛转运

Wed, 01 Jan 2025 00:00:00 +0000

在工业制造与自动化仓储场景中，固定式工业机械臂工作空间受限，传统 AGV 具备搬运能力但缺少末端操作机构。轮式双臂复合机器人结合了两者的移动与操作能力，可实现多工位间的自主拆垛与转运。

针对工业料箱流转任务，我们基于轮式移动底盘与双协作机械臂平台，搭建了物料搬运与拆垛系统：实现目标料箱 6D 位姿解算、双臂协同闭环抬升、跨工位移动对齐与防晃平稳转运。

项目背景

宁德时代（CATL）合作 · 工业移动双臂搬运机器人

工业产线物料流转中，单一固定机械臂工作空间有限，而传统 AGV 只能转运无法抓取。我们基于轮式双臂复合机器人平台，解决黑色反光料箱视觉感知、紧贴缝隙切入、双臂闭环内力抑制与行进防晃等核心工程挑战。

核心成果与实机验证: 双臂 10 kg 重载协同搬运、密集料箱 3D 位姿高精解算（拆垛成功率超 98%）、闭链协同内力解耦与跨工位平稳转运实机闭环

我在项目中的工作

作为项目负责人，统筹搭建重载工业物流移动双臂协同作业框架；引入 VLM 开放感知与 3D 位姿解算，实现双臂 10 kg 重载协同搬运与平滑轨迹规划，密集料箱拆垛识别与对接成功率超 98%，保障跨工位高效转运。

产线环境下的核心工程挑战

在现代化动力电池与精密制造车间中，物料周转普遍采用重达 15 至 25 公斤的标准工业料箱（Tote Box）。传统自动化产线通常在固定工位架设重型六轴工业机械臂或桁架机械手，这不仅需要占用宝贵的车间面积并搭建安全防护围栏，且无法跨工位灵活流转；而常规自主移动机器人（AMR/AGV）仅具备平面运输能力，缺乏对非结构化堆叠料箱的精准拆垛、抓取与上下料能力。将全向移动底盘与双协作机械臂集成的复合移动双臂机器人，成为打通高柔性产线“最后十米”物料流转的关键形态。

然而，实验室环境下的箱体抓取与真实电池产线高强度作业之间存在显著的工程鸿沟。系统在工业现场面临极其严苛的物理与感知约束：

黑色吸光注塑塑料与重度表面磨损的感知退化：车间流转的工业料箱普遍采用黑色防静电聚丙烯（ESD-PP）注塑材料，对近红外光（NIR）具有极强的吸光特性；同时，长期在自动化滚筒线上运转使料箱表面布满反光磨损与注塑流道斑纹。常规工业结构光 3D 相机照向黑色料箱时，点云反射率极低，在关键的箱口边缘与把手凹槽处经常出现 40% 以上的深度点大面积空洞或严重漂移。
密集堆叠与微小侧向作业间隙（Tight Packing Clearance）：料箱在托盘或物流台车上通常以 3 至 5 层密集垛状堆叠，箱体间横向缝隙往往不足 20 毫米。机械臂末端夹爪在切入把手凹槽时，单侧安全裕度仅有 3 至 5 毫米。若视觉位姿估计存在厘米级偏差，末端执行器将直接刚性撞击相邻料箱，引发托盘晃动甚至整垛坍塌事故。
双臂夹持重载刚体闭链运动学下的“内力对抗与过载”：单臂操作是典型的开链运动学系统，而当双臂末端夹爪同时刚性抓持一个重量超过 20 公斤的刚性塑料料箱时，系统瞬时闭合为封闭运动学链（Closed Kinematic Chain）。由于两个机械臂在关节电机响应、谐波减速器柔度及控制器通信延迟上存在微小差异（即使微秒级延迟或亚毫米级同步跟踪误差），都会在料箱内部激发起数十倍于外载荷的破坏性内应力（超过 300 N 的拉扯或扭转内力）。该内应力会瞬间触发机械臂关节力矩保护报警停机，或导致料箱卡口断裂脱落。
长距离跨工位重载行进中的悬垂晃动与倾覆力矩：复合机器人的移动底盘在厂房环氧地坪上快速行驶（速度 1.0–1.5 m/s），地面接缝、坡道过渡以及启停制动产生的惯性加速度，会通过机械臂长悬臂直接放大为底盘翻滚力矩。若双臂保持高位悬持姿态，重心偏移极易诱发车体共振与滑移，危及车间人员与周边精密机台的安全。

系统与算法架构

目标识别 → 工位对齐 → 双臂搬运 → 状态闭环

高精导航精准定位工位，3D 视觉实时解算料箱位姿，双臂协同自适应抓取与高稳定性转运。

感知与任务准备

01场景感知图像与深度 · 料箱分割 · 邻近关系

02目标与顺序拆垛顺序 · 操作方式 · 目标位姿

03导航与对齐粗接近 · 侧向观察 · 精细取料位置

料箱转运主循环

04双臂取箱位姿更新 · 双侧夹持 · 协同抬升

05持箱转运稳定持箱 · 移动至卸料区域

06卸料与释放位置调整 · 双臂放置 · 松爪撤离

动作完成 → 状态复位 → 更新目标 → 下一轮搬运导航到位与操作状态反馈贯穿任务流程。

核心技术体系设计与实现

针对上述工程难题，我们在工业级计算平台上构建了一套融合多模态几何视觉、闭环导纳动力学解耦及分层伺服对接的全栈技术架构。

1. 弱纹理黑色料箱的 6D 位姿解算与堆叠拓扑推理

为了从低对比度与缺失深度的传感器数据中稳定恢复料箱空间位姿，我们构建了结合几何轮廓反投影与 CAD 先验约束的分层估计流程：

多模态边缘几何轮廓提取与射线反投影：充分利用 RGB 图像在边缘高对比度上的优势，提取料箱上沿矩形边缘与双侧把手凹槽的轮廓线条；将 2D 轮廓射线反投影至 3D 视锥空间，并与周围未退化的稀疏点云建立几何法向相交约束，构建出料箱几何框架的空间骨架；
CAD 先验约束下的粗细两级几何配准：引入标准料箱高精 CAD 几何模型。粗配准阶段利用点对特征与料箱外廓比例先验快速筛选位姿候选，滤除环境干扰；精配准阶段联合优化把手局部贴合度与外框边缘几何残差，将 6D 位姿误差稳定控制在毫米级以内；
堆叠接触树与自顶向下安全解垛规划：在识别出垛架内所有料箱位姿后，系统根据空间几何关系自动构建有向无环图支撑树，严格按拓扑排序执行顶层优先拆垛，并实时校验下层受力支撑状态，从根本上防止错抓下层引发垛架坍塌。

2. 基于虚拟机构的主从导纳控制与内力解耦抑制

为解决双臂抓持刚性重物时的内应力自锁问题，我们设计了基于虚拟机构的主从协同导纳控制框架，将双臂协作由开环空间运动同步升级为闭环力-位混合自适应：

接触内力与外力空间解耦观测：在两臂腕部配置六维力/力矩传感器，在料箱质心建立虚拟连杆坐标系，将实测力信号正交解耦为用于搬运抬升的合成外力与相互拉扯抵消的寄生内力分量；
领航-从动变阻抗自适应调节：将左臂设定为领航臂执行主规划轨迹，右臂设定为从动臂运行动态导纳模型；在夹紧方向维持恒定预紧力防滑脱，在剪切与扭转方向降低刚度实现柔顺自适应，当机械臂运动出现微小不同步时毫秒级释放破坏性内力，消除关节力矩过载跳闸现象。

3. 底盘-双臂分级高精工位对齐与手眼协同

针对长距离行驶后底盘停靠存在的微小漂移，系统构建了分级对接机制：

底盘粗停靠与工作空间投影：底盘导航至料架前方后，根据双臂交集的最大可操作度调整基座朝向并执行初步姿态调整，锁死底盘抱闸；
眼在手相机二次高精配准：安装在机械臂末端的微型传感器在近距离拍摄料箱把手细节与工位基准定位销，反向求解闭环几何误差并直接补偿至机械臂运动学逆解中，消除底盘累积停靠偏差。

4. 转运全流程重载平稳控制与动态避障

为确保重载料箱在长距离跨工位穿梭时的平稳性，系统在整车运动控制层实施了姿态收拢与加速度平滑机制：

低重心安全收拢姿态：料箱脱开堆垛后，规划算法驱动双臂将料箱后撤并收拢至底盘中心低重心转运位姿，显著提升整机抗倾覆裕度；
S 型加加速度轨迹平滑：全周期限制加加速度，消除启停阶段的机械冲击，避免料箱内部高价值工件在运输中发生位移磕碰；
全身动态包络安全防护：将底盘、机械臂与夹持料箱建模为动态变形包络，结合激光雷达划分动态防护区，检测到人员靠近时平滑降速与安全制动。

5. 全身运动学冗余协调与工业级实时总线

复合移动机器人拥有多自由度高冗余空间，我们在控制层采用基于任务优先级的逆运动学架构：优先保障双臂末端对料箱抓取点位姿与刚性间距的严苛跟踪，同时利用零空间冗余自由度优化双臂可操作度指标并规避关节限位与自碰撞。

在底层通信上，系统采用硬实时 Linux 内核与工业总线，实现底盘驱动电机、两臂 12 个关节驱动器与腕部 6 轴力传感器的高速时钟同步，保障双臂闭环导纳控制的高频高响应。

6. 多源异常感知与自愈恢复机制

在车间生产节拍中，偶发扰动不可避免。系统构建了多层级故障自愈机制：

抓取滑脱微阻抗监测：在抬升初期通过监测纵向拉力斜率判断有效负载，若拉力异常低于标称阈值判定为抓取滑脱，底盘立即悬停并将料箱轻放回托盘，退回预备位触发二次视觉微配准重新抓取；
接触过载顺应反向退让：在切入窄缝时若力传感器感知到异常侧向反向阻力，驱动从动臂沿阻力反向微调退让，并结合手眼视觉修正姿态后重新切入，保障复杂堆叠工况下的超高操作成功率。

实机搬运全流程验证

双臂自主料箱转运全流程实机原速展示：机器人在产线自主完成料箱精准识别、稳定协同抬升、长距离跨工位转运与毫米级入位放置。

上述实拍视频记录了复合机器人在典型电池制造物流工位间的闭环作业实况：

复杂堆叠自主拆垛：在深色料箱以 4 层紧密堆垛摆放且光照不均的环境下，机器人连续执行多次无干涉拆垛作业，末端夹爪顺畅切入 15 mm 狭窄侧隙；
双臂平稳协同抬升：在夹持 10 kg 重载料箱升降与翻转过程中，腕部力传感器监测到的内部寄生扭矩始终被控制在 2 N·m 以内，双臂动作平滑无颤动；
长距离跨工位自动对接：机器人跨越数十米车间通道，自主绕行临时停靠叉车，最终将料箱精准放置在下游自动化输送线的滚轮卡槽内，放置重复定位误差小于 2 毫米。

工程总结与技术积累

工业场景下的双臂移动操作，是机器人感知、机构动力学与控制科学的高度协同。本项目带来的关键工程认知在于：

不可单纯信任开环刚性假设：在毫米级作业空间与高刚性工件面前，纯靠位置控制的刚性机械臂必然遭遇机构应力瓶颈。引入以物理内力反馈为核心的闭环导纳机制，是将实验室算法推向高可靠工业应用的基石。
多模态互补突破物理感知退化：面对黑色吸光材料与反光磨损，任何单一的视觉或点云算子都会出现失效边界。将 2D 高对比度边缘轮廓与 3D 几何法向先验有机融合，是在恶劣工业光学条件下获取稳定位姿的有效解法。
分层解耦消除不确定性累积：底盘大范围移动带来的毫米级漂移，必须通过末端局部的闭环视觉与力觉伺服逐级吸收，避免将宏观导航误差传导至精细微观操作中。

车规级 4D 自动标注系统：面向智能驾驶的多相机刚性 SfM 与高精几何重建

Thu, 20 Jun 2024 00:00:00 +0000

项目背景

哪吒汽车（NETA Auto）合作 · 汽车多相机重建与四维标注

面向高等级自动驾驶对海量高质量 4D 标注数据的迫切需求，项目构建了涵盖数据同步、语义分割、多源融合定位、刚性多相机重建、稠密路面重建与多趟地图聚合的工业级全自动数据工厂。全系统在车厂实际产线稳定运行，大幅提升数据生产效率。

车规级交付成果与量产验证: 车规级 4D 自动标注工程全链路；累计处理超 1,000 km 实车数据（跨趟次配准误差优于 5 cm）、位姿与外参在线标定、标注综合提效 80% 以上

我在项目中的工作

作为项目负责人，主导搭建车规级多相机三维重建与自动化 4D 标注系统架构；带领 5 人算法组优化刚性多相机 SfM 与时空聚合，累计处理实车数据超 1,000 km，跨趟次几何配准误差优于 5 cm，标注综合提效 80% 以上。

在自动驾驶感知系统从传统单目检测向大模型 BEV（鸟瞰图）感知、占用网格网络（Occupancy Network）以及端到端模型演进的过程中，海量且具备时空一致性的高质量 4D 真实空间标注数据（包括高精地面网格、车道拓扑标线、动静态障碍物 3D 边界框及其时空运动轨迹），成为模型训练与评测的核心资源。

传统基于多线车载激光雷达并依赖外包人工进行逐帧点云标注的模式，面临着数据吞吐周期长、人工标注成本高昂以及跨天气/跨传感器泛化能力不足等瓶颈；而若直接将经典的运动恢复结构（Structure-from-Motion, SfM）算法迁移至车载环视行车视频流中，则会不可避免地遭遇自动驾驶直线行车带来的严重几何退化、路面弱纹理、自车动态阴影以及多相机外参累积漂移等一系列棘手的物理与数学挑战。

本项目联合国内造车新势力哪吒汽车（NETA Auto），主导研发并落地了车规级 4D 视觉全自动标注系统。我作为项目技术负责人（Tech Lead），负责系统顶层算法架构设计，主导攻关了核心的刚性多相机组（Rig）SfM 重建引擎、路面弱纹理特征解耦、时空先验引导的稠密路面重建以及多行程场景跨时空聚合链路。这套工业实战中积累的核心几何优化理论与工程方法，后续沉淀发表于机器人顶级会议。

为什么自动驾驶行车数据会让经典 SfM 频频失效？

在经典摄影测量学与计算机视觉教科书中，主流的 SfM 重建框架（如 COLMAP 或 VisualSFM）均基于“观察者手持单反相机围绕静止雕塑或建筑物进行 360 度环绕多角度拍摄”的理想假设。在这一假设下，相机视点高度分散、空间基线开阔、视角交汇角良好。然而，车载环视相机在真实城市道路与高速公路上采集的数据，在几何与物理特性上截然不同：

直线走廊运动与视点共线退化：在高速公路或城市主干道上，车辆通常沿直线平稳向前行驶数公里，前后相机的空间运动轨迹严格退化为一条一维直线走廊。在多视几何中，纯前向平移且视点共线属于典型的三角化病态条件。当前向相机沿光轴方向前进时，极点落在图像中心，光轴附近的特征光线平行交角趋于零，微小的匹配误差会在纵深方向被急剧放大，导致重建点云在行进方向上发生严重的“纵向拉伸”甚至几何发散。
多相机外参在非约束优化中的“刚性破裂”：车身四周通常刚性固联着 6 至 8 台环视工业相机（覆盖前视广角、前视长焦、左前、右前、左后、右后）。传统的单相机 SfM 将每台相机的每一帧均视作一个完全独立的六自由度位姿变量。对于一段包含 $N$ 个时间戳的行车序列，待优化位姿变量高达 $6N$ 个。由于前后帧特征匹配不可避免地存在噪声累积，独立优化会导致原本在物理车身上保持绝对刚性不变的相机相对安装外参（Extrinsics）随时间发生不自然的虚假微小漂移，进而在不同视角拼接处产生严重的地面重影与几何错位。
沥青路面弱纹理与“自车动态阴影”的致命干扰：在车载图像中，道路沥青下半平面通常占据了整张图像 40% 以上的画幅。路面纹理分布均匀、缺乏高梯度角点，且在强日光直射下存在剧烈的地面热浪与反光。更为致命的是车身自身投射在地面的动态阴影：自车阴影边缘轮廓极其清晰、反差极大，极易被传统角点检测算子（如 SIFT 或 Harris）误捕获为高置信度特征点。然而，该阴影特征并非地面物理实体，而是随车体以相同线速度向前移动的虚假光学现象。若将该阴影特征送入静态空间三角化，优化器会强行拟合出距离极近的虚假悬浮噪点，严重拉偏自车轨迹。
异时异光照下“无重叠图像”的多行程跨时空聚合难题：自动驾驶高精地图要求对同一路口在不同时段（如周一早晨阴天与周五傍晚黄昏）的多趟行驶轨迹进行精准对齐。由于环境光照变化巨大、动态交通流完全不同，两趟行程之间根本无法直接通过图像外观匹配建立帧间关联，导致各行程点云各自孤立。

系统全貌：从原始行车流到 4D 矢量标注

为了在车厂量产数据工厂中实现日均数万公里视频日志的高吞吐全自动标注，我们构建了分工明确、松耦合且高鲁棒的工程链路：

完整项目范围

4D 视觉自动化标注系统

从同步车载数据到结构化局部地图；多相机 SfM 为标注和地图生成提供几何。

上游基础模块

01数据处理与同步相机 · IMU · GNSS · 底盘 · 标定

02语义感知全场景与车道线掩膜

03融合定位带尺度车辆轨迹

04 · 我负责的几何模块多相机 SfM 静态重建与系统接口系统集成 · 位姿与外参 · 稀疏/稠密几何 · 下游交付

下游工程模块

05地面重建稠密道路表面

06自动标注车道线 · 标志 · 静态元素

07多趟局部地图场景聚合与拓扑

多传感器纳秒级同步与预处理：将车载 6 路环视相机图像、车载 IMU 高频数据、GNSS 定位报文与底盘轮速脉冲对齐至同一时间基准与自车中心（Rear Axle Center）参考系；
动态语义掩膜与环境解耦：利用轻量化分割模型实时提取移动车辆、行人和天空区域，生成动态掩膜，彻底切除动态前景对静态三维几何的污染；
高确定性组合导航初值注入：基于车载组合惯导系统提供带绝对尺度的平滑先验轨迹；
刚性多相机组 SfM 重建引擎（核心）：以车身刚性相机组（Rig）为最小求解基元，联合求解自车轨迹与相机相对外参，生成厘米级稀疏路网骨架；
时空先验引导的稠密地面重建：利用运动几何先验剪枝无重叠图像对，加速多视立体（MVS）深度估计，融合出高保真连续地面点云；
跨时空多行程局部地图聚合：通过“粗 GNSS 锚定 + 结构化几何特征拓扑对齐”，将多段异步独立行程拼接为局部统一的高精矢量地图。

01输入与标定六路环视图像 · 多传感器定位 · 语义掩膜 · 初始内外参

02受约束的关联 SuperPoint · 时序/视野先验 · 两视几何校验

03相机组稀疏重建初始化 · 相机组注册 · 三角化 · RIG BA · 外点过滤

04稠密化与聚合 ACMP 深度 · COLMAP 融合 · 地面过滤 · 多趟对齐

05工程输出优化位姿与外参 · 稀疏/稠密地面点云 · 下游重建先验

核心算法设计与工程实现

1. 以“刚性相机组（Rig）”为原子单元的束调整优化

为了从根本上约束外参漂移并大幅降低解算自由度，我们重构了多视几何的优化参数化形式：不再将每台相机的每次曝光看作独立位姿，而是将同一时刻采集的 6 张环视图像显式绑定为一个刚性相机组单元。相机的绝对世界位姿显式分解为随时间变化的底盘车身中心位姿与相机固联于底盘的相对安装外参。

在此参数化下，整个序列的待优化位姿变量急剧减少。我们建立了**刚性相机组全局束调整（Rig BA）**优化框架，联合优化车身轨迹、相机相对外参以及空间静态路标点。

这种刚性参数化带来了两大决定性的工程优势：

互补视角几何强约束：当车辆在强逆光或经过大型货车遮挡时，前视相机可能完全过曝或被阻挡，但侧向与后向相机仍能稳定跟踪道路两侧的建筑物与路灯。通过相机组内固定的相对几何变换，不受干扰的相机视角能直接反向锁定整车位姿，彻底消除了单目直线行车的纵向深度拉伸退化；
外参在线联合自标定：将相机相对外参纳为系统待优化变量，优化器能够在整车运动中将各相机的相对位姿收敛至优于离线出厂标定房的精度，有效吸收车辆行驶过程中的微小机械形变。

利用相机组重叠先验，可以去除许多外观相似但物理上不可能成立的跨相机匹配。

2. 相机组可视重叠区域先验与极线几何剪枝

在两两图像特征匹配阶段，暴力全图匹配（Brute-Force Matching）在多相机、长时序数据下会导致计算量呈 $O(M \cdot N^2)$ 爆炸式增长。

我们引入了结构化相机组视锥重叠空间先验：

前视广角相机与左前侧向相机在物理安装上仅有约 30° 的水平视场交叠。在图像坐标系中，前视相机的右半部分像素在几何上绝对不可能出现在左前相机的视锥中；
算法利用安装几何先验划分匹配掩膜，强制要求左前相机仅与前视相机的左侧视场（$u < W/2$）进行特征关联搜索；
同时在匹配后施加本质矩阵 $E$ 极线几何距离校验与单应矩阵 $H$ 平面一致性校验，将特征匹配中的错误关联滤除率提升至 95% 以上，并将单任务特征匹配时间缩减了 80%。

3. 地表弱纹理与自车动态阴影的解耦过滤

为了解决弱纹理沥青路面与车身动态阴影污染点云的问题，我们在三角化前设计了局部流形地面过滤机制：

针对配准后的粗点云，沿道路延伸方向以 5 米为单位建立滑动局部栅格窗口；
在局部窗口内运行局部最优 RANSAC（LO-RANSAC）拟合局部切平面方程 $n_{\text{road}}^\top X + d = 0$；
对落在拟合地面上下 10 厘米薄层内的特征点进行打标并从稀疏束调整优化中主动剔除，阻止其参与位姿迭代。这一操作确保了位姿图优化器完全基于高可靠的立面刚性结构（如路灯杆、建筑外立面、交通标志牌架）收敛位姿，根除了路面噪点对自车轨迹的拉扯。

邻域过滤去除离散点，分栅格 RANSAC 抑制路面附近的点云厚度，再向下游交付。

4. 时空先验引导的加速 PatchMatch 稠密深度重建

在生成下游感知模型所需的连续稠密三维网格（Dense Mesh）与占用栅格（Occupancy）时，传统多视立体视觉（MVS）需要在全场景点云中遍历搜索视点重叠，处理耗时动辄数小时。

我们开发了时空邻域引导的稠密匹配机制：

基于刚性 SfM 恢复的高精车体轨迹，直接通过视锥视线夹角 $\theta_{\text{parallax}} \in [5^\circ, 30^\circ]$ 与时间戳滑动窗口（仅选取当前帧前后 15 帧以内）快速筛选最优立体像对，避免了全局遍历；
采用多视角 PatchMatch 算法（ACMP）在 GPU 上并行迭代深度图与法向量场，并引入倾斜平面支撑先验，在缺乏纹理的平整沥青路面上平滑插值恢复出完整的稠密深度；
最终通过多视角几何一致性深度融合算子，将 6 路环视相机的稠密深度图融合为全景统一的高精稠密点云。

COLMAP 稠密结果

ACMP + COLMAP 融合

混合方案改善了弱纹理路面的恢复，同时保留了更实用的融合耗时。

5. 粗到细的多行程跨时空场景聚合网络

针对不同天数采集的同一十字路口多段独立行驶数据，我们构建了两阶段跨行程图优化融合管道：

粗对齐阶段：利用车载 RTK-GNSS 差分报文提取各行程的绝对大地坐标，将待拼接行程整体平移旋转至基准行程的近邻局部坐标系中；
细精化阶段：利用道路交叉口恒定存在的静态地标结构（如高耸交通信号灯杆、龙门架、沿街建筑特征），提取跨行程不变几何特征。通过 PnP 与 RANSAC 解算出跨行程坐标系间的相对刚体变换初值 $T_{\text{run1} \to \text{run2}}$；
全局位姿图松弛（Global Pose Graph Relaxation）：固定第一趟参考行程的绝对位姿，将后续所有行程作为带有相对几何残差边的图节点加入位姿图，执行全局非线性最小二乘优化，平滑吸收两趟数据的累积误差，最终拼接生成长达数十公里的无缝一致高精地图。

独立重建直接叠加

多场景聚合后

跨趟关联与变换优化把多个局部行驶片段组合为一致场景。

车规级质检与精度实测验证

全栈系统在车厂实际数据中心进行了严格的量产级质检验收，与车载高线束激光雷达 SLAM 真值及 RTK 高精轨迹进行像素级对比验证：

稠密几何精度与路面平整度：将纯视觉恢复的稠密点云重投影至前视长焦与广角相机图像中，与同步高精激光雷达点云进行空间叠合。在 50 米有效感知范围内，路面高程绝对误差小于 $\pm 3\text{ cm}$，路牙与减速带轮廓边缘清晰锐利，彻底消除了传统视觉点云在 30 米开外的上翘与下塌漂移；
长序列轨迹闭环一致性：在连续行驶 5 公里的复杂城市与园区路段中，纯视觉刚性相机组 SfM 轨迹与高精组合导航真值对比，航向角漂移率被压低至 0.05°/100m，长距离闭环误差小于行驶总里程的 0.1%；
外参自标定对齐验证：将优化前后的外参直接应用于生成车周 360° BEV 俯视图。优化前，相邻相机接缝处的斑马线与车道线存在 5–10 厘米的明显阶梯错位；优化后，跨相机边界的线条平滑连续无肉眼可见错齿。

优化前后 BEV 投影对比：跨相机边界连续性的改善，为外参优化提供定性证据。

生产流程视频实况

下面四段视频记录了车规级 4D 自动标注流水线在实际生产中的完整运行表现：

车载环视视频输入车规级量产车采集的六路同步环视相机高动态行车序列。

静态场景三维点云重建刚性多相机 SfM 恢复的高精静态道路场景结构与几何细节。

稠密高精度深度估计通过时序与几何重叠先验引导生成的高吞吐、高一致性稠密深度。

外观与几何重投影验证高精位姿、稠密几何与原始图像之间的一致性像素级重投影验证。

车载环视视频输入：量产测试车在密集交通流中录制的六路高动态环视视频流；
静态场景三维点云重建：刚性多相机组 SfM 高保真恢复出的立交桥、沿街建筑与道路几何三维骨架；
稠密高精度深度估计：时空先验引导下实时计算出的全景稠密视差与深度图，路面连续完整；
外观与几何重投影验证：高精三维结构反向重投影回原视频帧，点云边缘与真实物体像素精确咬合。

工程总结与技术积累

将计算机视觉中的运动恢复结构（SfM）与多视立体几何推向量产级车规自动标注，是多视几何算法在工业级复杂系统上的典型突破。核心工程经验总结如下：

用物理机构刚性打破算法病态退化：算法不应脱离传感器载体的物理现实。通过将多相机间的物理刚性约束显式写入优化方程，不仅彻底斩断了多目外参的漂移链条，更通过跨相机的多向交汇视角巧妙化解了直线平移下的三角化病态发散问题。
几何特征解耦是抵抗环境噪点的关键：在弱纹理路面与移动阴影面前，全盘接收所有视觉特征只会导致优化器数值发散。针对场景不同物理分区（地面与立面）设计分层解耦的特征筛选机制，是大型几何系统稳定收敛的必要工程设计。
从单行程局域重建走向多行程空间拓扑聚合：单次行驶的数据终究存在视野死角与偶发遮挡。通过构建自适应几何对齐网络将多趟异步数据链式融合成局部统一地图，为构建高保真数字孪生世界与端到端自动驾驶模型提供了可规模化量产的数据工厂底座。

车规级地下车库自主代客泊车（AVP）全栈系统

Mon, 01 Jan 2024 00:00:00 +0000

项目背景

寅家科技（Voyager Tech）产学研量产合作项目

直面城市地下停车场弱纹理、高遮挡、无 GPS 等严苛挑战，系统构建了完全基于车端算力与传感器的自主代客泊车全栈闭环。项目在量产测试车上完成多轮实地复杂工况测试，验证了高可靠的车端低成本自主泊车方案。

核心交付成果与量产验证: 车规级纯车端 AVP 全栈架构；500+ 次实车闭环路测（泊车成功率超 95%）、GNSS 拒止环境高精融合定位、狭窄车位连续揉库与一键召唤

我在项目中的工作

作为项目负责人，主导搭建寅家科技 AVP 全栈架构，带领团队完成 500 余次实车闭环路测，泊车成功率超 95%，突破 GNSS 拒止环境下的高精定位与全自主规划控制。

自主代客泊车（AVP）系统旨在实现车辆在地下停车场或园区环境中的自主寻位、窄车位高精度泊入与指定点召唤。相较于在停车场内铺设大量超宽带（UWB）基站、激光雷达或高密度摄像头的场端改造方案，纯车端自主泊车方案完全依托车载传感器与计算单元，不依赖场端重资产改造，具备更优的跨场景部署通用性。

本项目联合智能驾驶供应商寅家科技（Voyager Tech），基于车规级量产传感器配置（4 路环视鱼眼相机与 12 颗超声波雷达），设计并研发了纯车端 AVP 全栈软硬件系统。我作为项目技术负责人（Tech Lead），负责系统顶层架构设计以及行泊一体规划与控制模块的算法研发，推进无卫星定位条件下的多传感器融合定位、狭窄通道动态避障巡航、基于改进混合 A* 与最优控制的复杂车位轨迹规划，以及低速高动态底盘控制在量产测试车上的实车闭环验证。

地下车库环境的核心工程挑战

地下车库作为典型的半封闭强受限空间，对全自主移动系统提出了诸多严苛的物理与几何挑战：

完全缺失卫星信号与重度感知退化（GNSS-Denied & Perceptual Aliasing）：车辆进入地下车库后，GNSS 信号瞬时中断，无法依赖绝对地理坐标。与此同时，地下车库内部普遍存在大面积反光环氧地坪、结构高度对称的承重立柱以及缺乏纹理的水泥墙面。在弱光照与大面积重复纹理干扰下，传统的点特征（如 ORB 或 SIFT）匹配极易出现错误关联，导致视觉里程计发生严重漂移甚至尺度发散。
几何空间强受限与阿克曼转向非完整约束（Non-Holonomic Kinematic Limits）：车库主通道宽度通常仅为 2.8 至 3.2 米，立柱间通道有效宽度甚至不足 2.5 米。标准乘用车的轴距接近 3 米、车长接近 5 米，且受阿克曼转向机构的非完整运动学约束限制，无法直接横向平移。当面对宽 2.4 米、长 5.2 米的垂直或狭窄车位时，车辆必须在微小安全裕度下执行多轮“前进倒车（D/R 挡）”揉库操作，稍有几何偏差便会发生车体擦碰。
行车巡航与泊车入位的动力学与控制模式割裂：在通道巡航阶段，系统要求车辆保持 10–15 km/h 的速度平顺行进，横向加速度须严格受限以保证乘坐舒适度；而在窄车位入库阶段，车速降至 3 km/h 以下，转向系统需在极小位移内快速打至极限转角，车轮与地面的静摩擦力急剧增加。若直接沿用常规路径跟踪控制器，极易诱发转向机构的高频抖动、死区滞后甚至控制超调。
跨楼层螺旋坡道与动态坡度干扰：多层地下车库包含连续起伏的上下行螺旋坡道，坡度通常达到 10% 至 15%（5.7°–8.5°）。坡道行驶时，车身发生显著的俯仰（Pitch）与横滚（Roll）倾斜，导致地面透视反投影（IPM）发生几何畸变；同时，重力沿车身纵向的分解分量大幅扰动车辆速度闭环，在坡道启停时易引发车辆溜坡或制动突兀。

为了适应多样化的用户泊车诉求，系统在顶层设计了完备的工作模式流转体系：

地图条件	任务入口	系统行为	最终目标
已有地图	记忆车位	载入车端历史局部地图并定位	自主行驶至常停车位并精准泊入
已有地图	随机车位	地下巡航并搜索空闲车位	发现可用空位即规划最优泊车路径
无预先地图	陌生车库	边行驶边构建局部拓扑车位地图	自主探索车库、发现可用车位并泊入
已有地图	远程召唤	接收手机端指令，自主倒出车位	避让动态行人车辆，驶至用户上客点

系统架构

园区自主代客泊车系统

从用户下发任务、车端感知与地图，到分层规划、车辆控制和安全重规划。

任务、传感器与计算平台

01 · HMI地图与泊车任务地图下载/更新 · 自主泊入/泊出 · 远程召唤

02 · Sensors环视与近场感知4 路鱼眼相机 · 超声波 · IMU · 轮速/GPS

03 · Vehicle车载计算与底盘接口嵌入式 GPU/ECU · CAN · 转向、制动与驱动

自主驾驶核心

04 · PerceptionBEV 多任务感知车位、标线与文字 · 可行驶区 · 障碍物检测与跟踪

05 · Localization定位与语义地图视觉/惯性/轮速融合 · 回环 · 语义 ICP · 探索建图

06 · Planning分层行车与泊车规划全局引导 · 局部避障 · Hybrid A* · 最优控制平滑

项目主导与系统集成总体方案、模块接口与实车集成总体架构与里程碑 · 跨模块接口 · 规划控制重点攻关 · 场景测试与故障修复

执行、安全与应用

07 · Control横纵向跟踪控制跟踪参考轨迹并下发车辆执行指令

08 · Safety障碍响应与重新规划近场补盲 · 动态障碍更新 · 停车与绕行

09 · Service探索、泊入泊出与召唤已知/未知地图 · 随机、记忆或指定车位 · 取车点返回

全栈技术体系设计与实现

针对上述工程约束，我们在车端算力平台上构建了模块化且紧密协同的技术链路，涵盖鸟瞰图多任务感知、因子图多源融合定位、分层规划体系以及精密底盘控制。

1. 环视鱼眼 BEV 多任务感知与近场补盲

感知系统基于车身前后左右布置的 4 路车规级超广角鱼眼相机（单路水平视场角大于 190°）与 12 颗车规超声波雷达。

动态俯仰补偿与逆透视映射：为克服车体加减速及坡道行驶引起的悬挂形变与车身姿态倾角，感知链路实时引入车身 IMU 输出的高频姿态角，对投影单应变换进行在线姿态修正。该动态变换消除了地坪起伏造成的图像抖动，确保拼接生成的鸟瞰空间地面特征（标线、停车位边界）具备准确的度量几何关系。
轻量级 BEV 共享骨干与多分支检测头：受限于车载嵌入式芯片算力，感知网络采用单主干特征提取器与多任务解耦检测头架构。骨干网络在特征图上完成多尺度融合后，分化为四个专用头：车位检测头、地面标线头、动态障碍物头以及自由行驶空间头。
超声波雷达近场时差测距与盲区防护：当车体与立柱或相邻车辆距离过近时，车侧区域落入鱼眼相机的几何盲区。安装在车身四周的短距与长距超声波传感器构成近距离测距网络，通过多传感器回波时差三角交会算法滤除多径虚假反射，为车辆在狭小空间内的避障提供物理兜底。

2. 多源融合里程计与轻量分层地图

为了保证无 GNSS 信号时长距离行驶的位姿鲁棒性，系统基于因子图框架构建了紧耦合的多源融合定位与建图后端：

滑移自适应轮速计与 IMU 预积分：在地库环氧地坪上，车辆急转向或制动时驱动轮易发生微小打滑。融合算法实时比对从动轮轮速计脉冲与 IMU 偏航角速度，在线动态自适应调整观测置信度，依靠高频 IMU 惯性预积分平稳渡过滑移阶段，避免里程计累积发散；
语义路标与闭环优化：在因子图中引入车位角点与通道中心线等长期几何路标，结合图像拓扑回环匹配检测，触发位姿图全局优化，消除长距离行驶后的累积漂移；
分层轻量化地图存储：局部层构建随车移动的动态滚动栅格，全局层仅保存带有拓扑连通关系的有向通道中心线与车位几何属性的轻量语义矢量图，支持秒级快速检索。

3. 分层行车与泊车规划架构

针对车库通道与泊车车位在几何尺度与运动特性上的显著差异，规划链路解耦为“全局通道巡航”与“狭窄车位泊入”两个分层阶段。

01任务与地图状态已知/未知地图 · 目标车位或召唤点 · 当前位姿

02全局行车引导中心线图 · 改进 A* · 最小转弯半径 · B 样条

03局部避障轨迹状态采样 · 中心线/过渡/障碍/曲率代价 · 在线重规划

04泊车搜索带朝向的 Hybrid A* · 车辆非完整约束 · 碰撞检测

05轨迹优化与执行最优控制 · IPOPT · 横纵向跟踪 · 反馈闭环

巡航阶段：引导线拟合与高动态局部避障

在通道行驶过程中，全局规划器以拓扑中心线为骨架，通过样条曲线拟合出连续平滑的全局参考走廊；局部规划层在参考线坐标系下高频采样横向位移与纵向速度候选轨迹簇，综合评估贴线度、横向平顺度、障碍物安全距离与向心加速度代价，实现对动态车辆和行人的平滑借道绕行或减速避让。

泊车阶段：改进 Hybrid A* 与非线性最优控制

当车辆巡航接近目标车位停机点后，系统切换至泊车求解模式，采用“离散几何搜索初值 + 连续空间非线性精化”的两阶段架构：

粗搜索层（改进 Hybrid A）*：在连续位姿状态空间中展开搜索，引入非完整动力学无障碍启发式与全向障碍物距离场启发式协同引导，结合解析曲线提前截断，实现毫秒级快速生成可行揉库初始路径；
连续轨迹优化层：以混合 A* 生成的离散路径为初始猜测值，建立满足阿克曼运动学约束、转向打角速率限制与车辆包络安全裕度的非线性最优控制问题，输出平滑且执行器角速度无突变的连续时空轨迹，避免原地打死方向盘引起的机构冲击。

4. 横纵向精密跟踪控制与底盘延迟补偿

在低速大转角操作下，线控执行机构的响应滞后是造成实车偏离理论轨迹的主因：

预瞄运动学与前馈转向补偿：横向控制器根据车速与执行延迟动态计算预瞄距离，结合曲率前馈与横向偏差反馈，在转向指令下发时提前补偿延迟角，抑制大曲率入库时的内轮差切角超调；
纵向坡度自适应重力前馈：纵向控制闭环融合实时 IMU 估算的坡度角，在陡峭坡道与下沉车位边缘直接前馈补偿重力分量，实现平顺的爬坡与下坡减速，避免坡道启停溜车；
硬件安全看门狗：底层部署高频硬件心跳看门狗，一旦超声波雷达探测到突发近距侵入活体，直接触发硬线急停制动，保障复杂地库低速作业的安全。

实车多场景验证与工况适配

车规级环视 BEV 多任务感知量产实车全动态回放：鸟瞰空间语义、四路鱼眼展开图与车位/地面标线实时高精检测与跟踪。

复杂地下车库自主探索建图与全系统联调实车在多层地下车库自主巡航；环视视觉特征、车辆运动状态与高精语义车位地图实时同步构建。

实车验证在多个商用地下车库开展，覆盖了常规平整车库、弱光老旧车库及多层螺旋连通车库：

垂直、平行与斜列车位泊入：在两侧停有车辆、车位边缘余量仅 30 厘米的紧凑车位中，系统自主完成两到三把前进后退揉库，泊入姿态与标线平行度偏差小于 1°，车轮距车位边线居中对称；
跨楼层连续巡航与避障：在长达数百米的多层车库巡航测试中，车辆能够稳定通过连续 S 形直角弯道，对通道中央临时停靠的送货车辆与进出立柱的行人实现自适应避让与跟随减速；
全流程手机端一键召唤：测试车在无乘员状态下，响应手机交互端的泊车与接驾指令，自主驶出车位并到达地库指定上客区。

工程总结与技术积累

自主代客泊车作为低速自动驾驶领域最具代表性的量产落地场景之一，其实车表现取决于全栈算法链条对物理世界真实约束的拟合精度。从工程实践中我们总结出以下关键准则：

弱纹理无卫星环境下的约束互补：在无法依赖单模态特征的恶劣工况下，充分挖掘车辆本体运动学、IMU 惯性预积分与地面拓扑语义的多重几何关联，是维持长时间位姿一致性的唯一有效途径。
将机构物理极限显式融入优化：规划算法不能停留在无动力学约束的几何折线层面。只有在离散搜索与连续优化中严格约束转向角速度、曲率变化率以及挡位切换惩罚，才能生成底盘线控系统可平稳跟踪的物理可行轨迹。
分层解耦与安全冗余保障：将行车避障与极限泊车解耦，使系统在通道内拥有极高的计算刷新率；同时保留超声波雷达的低延时硬安全保护，为高自由度自主系统构筑了严密的安全防线。

商用智能割草机器人：非结构化草坪多源融合感知与自适应避障

Sun, 01 Jan 2023 00:00:00 +0000

项目背景

宝时得科技（Positec Group）产学研量产合作项目

面对户外起伏草地长草回波厚重、非平坦地表、沟壑凹坑密集以及人宠动态穿行等复杂挑战，项目构建了高可靠的户外低速移动机器人感知与控制系统，摆脱传统物理埋线与随机碰撞方案，实现真正的草坪场景自主作业。

工业级交付成果与实地验证: 商用级全栈免埋线割草机器人系统；作业避障成功率超 98%、起伏草坪自适应 3D 障碍物检测、正负障碍物快速识别与视雷多模态融合

我在项目中的工作

作为项目负责人，主持研发宝时得智能割草机坡度自适应滤波与视觉避障算法，作业避障成功率超 98%，攻关起伏草地上的多线激光雷达点云滤波、正负障碍物分离与视雷跨模态空间融合。

传统商用与家用割草机多采用在草坪边缘人工预埋低频电磁感应线、配合车机随机碰撞反弹的作业方案。在大面积起伏庭院、市政公园或不规则绿地中，物理埋线存在人工施工成本高昂、断线检修繁琐以及随机碰撞重割率高、漏割严重的根本缺陷。基于无边界线的多传感器自主感知、自适应全地形导航与规律化覆盖作业，是下一代智能园林移动机器人的核心技术演进方向。

本项目联合全球园林电动工具领军企业宝时得科技（Positec / WORX），研发免物理埋线、具备全场景自主感知、自适应建图与全局覆盖路径规划能力的商用级割草机器人。我作为项目技术负责人，负责系统全栈软硬件架构选型、跨模块集成与实地部署；同时作为专项算法负责人，攻关复杂起伏草地上的多线激光雷达自适应点云感知、地表正负障碍物分离提取以及视雷跨模态空间融合算法。

起伏草地环境对感知的核心物理挑战

在硬质结构化公路（如沥青或水泥路面）上进行自动驾驶感知时，地表通常具备平整、高硬度与连续几何特性，垂直高于路面 10 厘米的反射点几乎可以无歧义地判定为障碍物。然而，当机器人驶入真实的非结构化户外草坪时，这些经典的几何与物理假设全部失效：

草尖回波与真实障碍物的物理混淆：草叶本身具有柔软、透光、表面起伏及随风摆动的特性。激光雷达的红外测量光束穿透草层时，会在草尖、草身中段与底层泥土之间产生连续多次漫反射与微弱回波，在三维点云中形成一层松散噪点层。若简单将高于底层泥土的点云视为障碍物，机器人在茂密草坪上将陷入寸步难行的误报状态；若粗暴进行高度截断，地表的细小管道、石块或宠物将被完全漏检。
连续起伏地形与局部法向多变：真实户外草坪充满缓坡、排水洼地与自然波浪状起伏。采用全局或大区域平面拟合算法，在距离车体稍远位置就会因为地形非平面性而失效，将正常的上坡草皮误判为障碍物阻断通行。
隐蔽凹坑、沟壑与阶梯跌落的负障碍危机：割草机器人底盘低矮，驱动轮直径有限。在连续草坪中，天然沉降形成的微小浅坑或绿化排水沟，是导致小车卡死、刀盘打地或整车侧翻的主要诱因。负障碍物在物理上并非高出地表的实体反射，而是地表向下凹陷导致的激光射线打空与阴影，无法通过常规聚类算法捕捉。
极端动态光照与恶劣光学环境：户外草坪作业环境面临烈日直射、树荫斑驳交替以及晨昏逆光等严酷光照变化，被动双目立体匹配易产生视差空洞，对纯视觉感知构成巨大挑战。
嵌入式超低功耗与实时计算约束：割草机器人由机载动力电池供电，全栈感知、定位、建图与控制算法必须在有限功耗的嵌入式计算模组上高频硬实时稳定运行。

系统架构

面向非结构化草坪的自主移动机器人

定位、感知、规划与控制共享同一套车载传感器和计算平台。

车载传感器与计算

01 · Vision多相机与 RGB-D草地区域、目标类别、场景语义与外观

02 · Geometry激光雷达距离、局部地形与障碍物点云

03 · MotionRTK/GNSS · IMU · 轮速全局约束与连续局部运动

自主作业核心

04多传感器融合定位视觉、激光、惯性、轮速与卫星约束

05视觉目标与场景语义可割草区域、目标类别与像素级语义

06 · 项目主导与重点技术总体集成 + 点云障碍检测 + 多传感器障碍融合主导模块协作与实地联调；重点解决起伏草地中的障碍分离，并把三维几何、语义分割和视觉目标统一为规划可用的障碍物结果

机器人行为

07局部环境模型可通行草地与动态/静态障碍物

08路径与覆盖规划安全绕障、覆盖割草与回充

09底盘与割草控制把环境状态转化为实时运动决策

核心算法架构与系统实现

为了在低算力与复杂户外非结构化环境下实现稳定自主作业，我们构建了多源因子图定位、自适应点云地形建模、正负障碍物分离及视雷跨模态融合的全栈技术链路。

1. 多传感器因子图紧耦合融合定位

为保证机器人在长达数小时的作业中维持高精度平行的“弓字形”遍历航迹，必须实时解算厘米级的位置与绝对航向姿态：

多模态传感器协同互补拓扑：硬件集成双天线 RTK-GNSS 接收机、车规级 6 轴 IMU、高精度轮速编码器以及多线三维激光雷达，在空旷区域输出厘米级定位真值与绝对航向角；
打滑自适应轮速计因子：在清晨湿滑草地或斜坡上驱动轮易发生打滑。系统实时比对轮速计加速度与 IMU 沿轴向实测加速度，建立打滑残差监测机制，自适应调整轮速观测置信度，防止虚假位移注入；
因子图统一平滑后端：利用因子图构建紧耦合滑动窗口优化后端，统一融合绝对位置因子、惯性预积分因子、运动学因子与激光里程计面特征因子，平稳消除卫星信号多径跳变影响。

2. 起伏草坪的自适应点云地形建模与正负障碍物分离

从散乱的点云中剔除随风摆动的草叶回波，并精准锁定微小地表障碍物，是全栈感知算法的核心突破点。

适应地形的点云障碍物检测流程：从局部极坐标栅格划分和坡度平坦度判断，到聚类、跟踪与障碍物发布。打开原始尺寸

我们构建了基于极坐标局部流形展开与射线断裂分析的地形感知管道：

非均匀极坐标栅格映射：将车体周围探测范围内的激光原始点云映射至极坐标网格，统计每个单元内的点云高度分布、点数密度及高度离散方差；
径向连续流形地表拟合与自适应坡度递推：由车轮接地点出发，沿各方位角射线向外递推局部切平面。利用地形坡度一阶导数与二阶曲率的物理连续性先验，对相邻单元施加平坦度与斜率突变约束，精准追踪真实起伏流形，动态滤除贴合地表的草皮点云；
正障碍物双模式自适应判定：针对修剪平地与杂草丛生野地设计双重门限与点云密度熵检验，有效剥离深草干扰并锁定低矮硬质障碍物；
负障碍物射线断裂几何检测：针对地表凹坑与沟壑缺乏反射点的特性，建立激光射线传播几何模型，通过捕捉径向距离的非正常断裂与突增，同时检测近边缘点的垂直高度骤降，精准勾勒出负障碍物的危险边缘线；
栅格连通域聚类与时空滤波跟踪：提取出的障碍物栅格通过快速连通域分析合并为 3D 聚类簇，后端引入时空一致性检验，彻底消除风吹草动引发的瞬态虚警。

3. 视雷跨模态空间融合与语义增强

激光雷达具备绝对测距与几何尺寸解算能力，但无法辨识障碍物的语义属性（无法区分塑料玩具、躺卧的宠物或无害的纸屑）；相机具有丰富的色彩语义但缺乏绝对三维尺度。

多传感器障碍物融合流程：几何检测与图像语义投影对齐，输出纯点云、带类别和视觉估计三类综合障碍物。打开原始尺寸

我们在嵌入式端侧部署了经过轻量化量化的目标检测网络（TensorRT 加速优化），以 20 Hz 频率实时检测人、猫狗、电线、工具及花坛边界。随后在标定外参矩阵下将 3D 点云聚类框投影至 2D 像素平面，构建三类互补的融合输出：

带类别的高可信融合目标（Fused Semantic Obstacle）：激光雷达 3D 聚类框的像素投影与视觉检测框交并比（IoU）大于阈值。该目标同时具备准确的三维空间距离、物理轮廓边界及明确的语义标签（如宠物或儿童）。路径规划器据此分配最高避障优先级，主动施加 1 米以上的宽阔避让安全走廊；
纯点云几何未知目标（Point-Cloud Only Obstacle）：视觉未检出（如未见过的灰暗石块、树桩或地表深坑），但激光雷达检测出强烈的凸起或负障碍特征。规划器将其视作刚性障碍物，维持标准的近身贴边绕行逻辑；
远距离纯视觉预警候选（Vision-Only Candidate）：视觉在远方（10–15 米外）探测到移动的人或宠物，此时激光雷达反射点过于稀疏（仅个位点）。系统预先降低行驶车速，维持对前方的注意力机制，待小车靠近且点云形成有效几何支撑后，再执行精细避让。

实地关联示例：视觉类别与投影后的点云支持在同一坐标系中精确咬合。

4. 复杂草坪全自主作业与抗滑移控制

弓字形全覆盖路径规划（CCPP）：在融合生成的局部与全局环境地图中，规划器基于牛耕式分解法（Boustrophedon Cellular Decomposition）生成全覆盖割草走廊，并在地块边界自适应规划平滑的环形绕圈转弯轨迹，最小化非作业空转航程；
坡道防侧滑前馈动力学控制：在面对横向坡度达 20° 的草坡时，重力侧向分量导致车辆显著向坡底“滑移切线”。控制系统实时解析 IMU 横滚角与俯仰角，在左右轮速差动控制方程中注入侧向滑移前馈补偿项，确保小车在陡坡作业时依然走出笔直的割草航线。

实地作业测试回放

实地回放：起伏草地地形自适应点云障碍物检测复杂户外实地作业原速回放：红色高亮三维点云精准捕捉各类低矮障碍物与边缘沟壑，前后视双路相机实时提供全景语义验证。

上面的现场录屏记录了机器人在复杂起伏草地中的高动态闭环测试：前后双目相机画面与车载 32 线 LiDAR 扫描点云实现纳秒级硬同步回放。红色高亮的三维点云簇准确去除了深草杂波，实时框定出地表隐蔽的低矮石块、花坛围栏与台阶边缘，验证了自适应感知与融合架构在恶劣户外自然光影下的高鲁棒性。

工程总结与技术积累

商用割草机器人的户外落地，是移动机器人算法与复杂非结构化自然环境深度碰撞的典型范式。在项目工程攻坚中沉淀了以下核心体会：

用物理先验化解非结构化感知难题：在面对杂草散射点云与多变起伏坡度时，通用的纯数据驱动或简单几何平面模型必然失效。唯有深入理解激光在植被中的散射物理特性，构建沿径向平滑连续的局部流形展开模型，才能以极小的算力代价优雅分离杂波与障碍。
正负障碍物协同检测是户外小车作业的生命线：对低底盘移动底盘而言，地表凹坑与边缘陡坡带来的安全隐患丝毫不亚于高耸的实体障碍。将负障碍检测提升至与正障碍同等的系统优先级，是保证全自主越野移动安全的物理防线。
端侧极致优化是产品量产的前提：在电池供电与严苛成本限制下，脱离计算资源约束的算法没有量产价值。将轻量化深度学习网络与高效紧凑的几何点云流水线有机编排，是在十几瓦低功耗芯片上实现 20 Hz 高频硬实时闭环的关键保证。

低速自动驾驶全栈科研平台：软硬件一体化搭建与实车闭环验证

Sat, 01 Jan 2022 00:00:00 +0000

自动驾驶算法研究在仿真环境之外，需要面对真实的地面摩擦力、传感器物理噪声、总线通信延迟与执行器非线性响应。2019 年进入实验室初期，商用自动驾驶测试平台成本极其昂贵且底层通信协议高度封闭，难以开展涉及底盘极限动力学与底层传感器驱动的研究。为了建立自主可控的实车实验体系，我们决定从最底层的硬件电气改装开始，全自主搭建科研实车平台。

在 2019 至 2022 年间，我们自主设计并搭建了两套物理构型互补的自动驾驶实验车：一套为面向园区道路巡航的低速纯电动乘用实车，另一套为具备全向机动能力的四轮独立驱动与转向（4WID-4WIS）科研 AGV 小车。研发工作贯穿了机械安装支架测绘加工、高低压隔离配电箱定制、底盘私有 CAN 总线协议逆向解析与 Linux SocketCAN 驱动编写、多传感器微秒级硬件时钟同步，以及基于 ROS 的感知、定位、规划与底盘控制全栈算法体系。最终在校园与园区实际道路环境下，完成了涵盖激光 SLAM、RTK 循迹、视觉车道线保持、动态多目标识别跟踪、自动紧急制动（AEB）、极限自主泊车与车车网联（V2X）跟随等多类典型场景的实车全闭环验证。

项目背景

自动驾驶核心科研平台 · 全栈软硬件自主研发

为在真实物理环境中检验和迭代算法，实验室在早期开展了全栈自动驾驶实车平台的自主搭建。从底层线控底盘改装与配电隔离做起，逆向解析 CAN 总线协议并构建完整的 ROS 软件栈，搭建了稳定可复用的科研实车平台，为后续感知、定位与控制算法研究提供实车验证环境。

实车交付与多场景闭环验证: 2 大构型线控自动驾驶实车科研平台；300+ 小时实车路测、涵盖 8 大场景全闭环演示（横向循迹误差 <5 cm，AEB 响应 <60 ms）与全栈 ROS 系统

我在项目中的工作

作为项目负责人，从零搭建 2 代全线控自动驾驶科研实车平台（乘用车与 4WIS AGV），累计完成 300+ 小时实地路测，负责底层线控改装、配电隔离、CAN 总线逆向与多场景实车闭环验证。

两套底盘形态，互补的科研试验场

为了全面支撑不同层级的科研攻关，我们设计并搭建了两种差异化的物理实验底盘：

园区低速电动乘用车平台：具备标准乘用车的悬挂、转向管柱与载人座椅空间。底盘承载能力强、空间开阔，支持在车顶与车头布置重型传感器阵列（包括 32 线激光雷达、双目立体工业相机、前后环视广角相机、双天线 RTK-GNSS 以及高精度惯性测量单元），后备箱布置搭载独立 GPU 的高性能车载工控机。该平台主要用于验证长距离大范围的园区高精地图构建、激光/视觉/惯导融合定位、复杂道路交通参与者博弈决策以及车车网联编队协同。
紧凑型四轮独立转向（4WID-4WIS）全向 AGV 平台：底盘搭载 8 台大功率无刷直流伺服电机（4 台负责四轮独立驱动，4 台负责四轮独立转向转角）。该构型突破了传统阿克曼转向机构的非完整运动学约束，可在软件层面实时切换为标准阿克曼前向转向、同向斜行蟹行（Crab Steer）、横向平移（Lateral Shift）以及四轮对角转向的原地零半径旋转（Zero-Radius Pivot Turn）。该平台专门用于极限狭窄空间内的敏捷避障验证与复杂车位极限几何泊车算法研究。

两套平台共同确立了一个核心技术原则：使高层算法直接面对真实的物理接触力学、通信抖动与执行器死区滞后，为后续算法的鲁棒性优化构筑物理基准。

全栈自动驾驶系统架构

多传感器融合 → 实时状态估计 → 决策规划 → 线控底盘执行

车载全栈 ROS 系统打通环境感知、实时建图定位与高精度轨迹跟踪，线控底盘经由 CAN 毫秒级闭环执行。

传感与计算

01环境观测摄像头 · 激光雷达 · 超声波

02定位输入RTK GNSS · IMU · 激光地图

03车载计算工控机 · ROS · 状态显示

自动驾驶软件与执行

04感知与定位目标 · 车道 · 障碍物 · 车辆位姿

05决策规划参考路线 · 行驶目标

06控制与线控底盘运动指令 · CAN 通信 · 底盘执行

车辆运动 → 新的观测与状态反馈 → 下一轮控制地图与 RTK 循迹分别使用对应定位输入。

硬件构建：从零到一的电气与传感器拓扑

在缺乏现成车规配套套件的条件下，将分散的传感器与执行器集成为高可靠的整车系统，需要系统性解决电气干扰、空间标定与时间同步等工程难题。

硬件子系统	选型配置与主要功能	现场搭建中攻克的关键工程挑战
线控底盘与 CAN 总线	转向电机、电驱动油门与电液线控制动推杆	逆向解析底盘私有通信协议，开发 100 Hz 循环 Linux SocketCAN 高确定性驱动，建立硬件心跳急停机制
3D 激光雷达	32 线 / 16 线机械旋转式 LiDAR，负责 3D 点云空间扫描与建图	定制铝合金减震桁架，阻隔车体振动传递，消除点云颠簸高频抖动；标定激光束反射强度衰减阈值
高动态工业相机	前向窄角 60° 相机与大广角 120° 相机，负责车道线与目标视觉识别	消除进出林荫道与地下通道的强逆光过曝；基于圆孔标定板实现相机与激光雷达的高精空间刚性标定
RTK-GNSS 差分定位	双天线 RTK 接收机，提供厘米级三维坐标与绝对航向角真值	双天线前后基线布局优化（保持 1.5 米间距）；解决高大建筑物遮挡造成的载波相位跳动与卫星失锁平滑平稳过渡
车规级 IMU 惯导单元	6 轴高精惯性测量单元，提供 200 Hz 加速度与角速度	机械基座严格对齐车身几何中心与后轴轴线；在静止与恒温环境下完成三轴零偏（Bias）与温漂在线校准
超声波雷达阵列	前后保险杠布置 8 颗超声波探头，负责近身盲区探测	合理优化各探头波束锥角交叉重叠区域，通过通道时序触发消除临近探头声波互串干扰
配电与电气隔离	48V 动力电池组转 12V/24V 隔离直流供电网络	设计强弱电物理隔离配电箱，加入压敏电阻与瞬态抑制二极管（TVS），消除电机反电动势浪涌与地线回路干扰

1. 硬件时钟硬同步与纳秒级时间对齐

在车辆以 20–30 km/h 速度行进时，100 毫秒的时间漂移将造成接近 1 米的空间投影位置误差。传统的基于软件系统时间戳（ROS Time）打标的方式受操作系统的调度抖动影响，精度难以满足多传感器特征级融合的要求。

我们构建了多层级硬件授时与硬触发同步机制：

PTP 与 PPS 纳秒级授时：RTK-GNSS 接收机锁定卫星信号后，输出高精度的秒脉冲（PPS, Pulse Per Second）方波与 GPRMC 时间报文，激光雷达接收 PPS 信号将自身内部时钟锁定在纳秒级绝对时间基准上；
FPGA/微控制器硬件脉冲触发曝光：由专用微控制器捕获 PPS 同步信号，并以 20 Hz 的固定频率向工业相机发送外触发方波脉冲，强制相机图像传感器在特定激光雷达旋转至前向视场的瞬间同步曝光；
采集端驱动在底层直接读取硬件帧寄存器捕获的时间戳，将全系统多源传感器的数据采集时间对齐误差压缩至 1 毫秒以内。

2. 空间外参刚性联合标定（LiDAR-Camera-IMU Extrinsics）

针对多传感器空间位姿偏差，设计了专用标定流程：

相机与激光雷达的刚性外参变换矩阵，基于包含空心圆孔的专用棋盘标定板进行联合解算。通过最小化三维激光点在空间平面上的拟合误差与在二维图像边缘的重投影误差，结合圆孔边缘特征完成非线性优化解算；
IMU 与激光雷达的外参则通过车辆在空旷场地上执行连续正弦波转向与急加减速运动，利用连续轨迹参数化求解二者角速度与线加速度的动态残差，获得厘米级平移与 0.1 度级旋转外参精度。

3. 底盘私有 CAN 总线逆向与线控驱动开发

实车底盘控制器（VCU）的原厂通信协议未公开。我们利用 CAN 监听盒录制车辆人工驾驶时的总线原始报文，通过对比油门开度、刹车踏板踩踏、转向盘旋转与轮速计脉冲的变化规律，逐帧逆向反推提取关键 DBC 信号字段（包括转向角反馈、期望转向角写入、左右轮速脉冲计数及制动压力指令）。

在此基础上，开发了具备安全校验机制的 Linux SocketCAN 驱动程序：

采用 100 Hz 定时循环线程向底盘写入控制帧，保证通信周期的确定性；
建立双向校验看门狗：一旦底盘控制器在 100 毫秒内未收到上位机有效心跳包，底层固件立即强制退回人工接管状态并主动施加平缓制动，杜绝软件死机导致车辆失控。

全栈 ROS 软件架构与算法系统

软件架构运行于 Ubuntu Linux 与 ROS 环境，深度优化节点间通信效率，划分为三大核心业务链路：

1. 定位与高精建图链路

基于激光点云与 IMU 紧耦合的 SLAM 建图：从 32 线 LiDAR 扫描点云中提取曲率极值点（线特征与面特征），通过 IMU 连续预积分提供高频位姿先验，构建因子图优化后端。实时解算车辆六自由度位姿并在线拼接点云，生成全局坐标系下的厘米级三维几何点云地图。
基于 NDT/ICP 的高频在线自定位：在预先构建的高精点云地图中，系统采用正态分布变换（NDT）与匹配协方差自适应 ICP 算法，以 50 Hz 频率实时匹配当前激光帧与全局地图，输出高可靠的实时位姿。即使在穿过完全遮挡卫星信号的楼宇连廊时，位姿估计依然连续平滑无跳变。
双天线 RTK-GNSS 差分循迹：利用车顶前后安装的双天线基线，在静止状态下即可直接解算出车辆航向角。融合地面轮速计读数，在宽阔道路上为局部规划器提供绝对地理参考。

2. 环境感知与道路语义理解链路

前向视觉车道线实时拟合：工业相机采集的图像经过畸变校正与逆透视映射（IPM）变换至鸟瞰坐标系，采用轻量化分割网络提取车道边界像素。利用三次多项式曲线拟合车道中心线，实时提取车道曲率与横向中心线偏移量，为车道居中控制提供几何输入。
视雷融合多目标 3D 检测与跟踪：利用深度学习目标检测网络识别 2D 图像中的行人与车辆目标框；通过标定外参将目标视锥反向投影至 3D 激光点云中，提取对应的局部聚类点云簇并拟合 3D 有向包围盒（Oriented Bounding Box）。后端接入交互式多模型无迹卡尔曼滤波（IMM-UKF），在线融合匀速与匀转弯率运动模型，输出平滑的世界坐标系速度与加速度估计。

3. 分层决策规划与高频线控执行

分层决策状态机：上层有限状态机（FSM）负责全局任务调度，涵盖巡航循迹、遇障减速避让、交叉路口会车让行、极限泊车与紧急制动等模式；局部规划器在 Frenet 坐标系下实时采样多项式轨迹簇，动态避让前方慢速行驶障碍物。
横纵向动力学闭环控制：横向控制结合纯跟踪（Pure Pursuit）与线性时变模型预测控制（LTV-MPC），根据车速动态自适应前视距离，消除大曲率转弯时的超调与画龙现象；纵向控制基于速度与加速度闭环 PID，经由 CAN 总线以 100 Hz 高频实时下发转向角与制动力矩指令。

实车录屏：七大核心场景全闭环

三维激光雷达实时建图基于车载 3D LiDAR 实时构建园区与道路厘米级高精点云地图，结构层次分明。

高精 SLAM 自主定位循迹小车完全基于自建激光点云地图实现高频位姿估计，自主平稳跟踪目标轨迹。

AGV 实车视觉车道线保持前向相机毫秒级分割车道线，结合转向控制算法实现高速平滑居中巡航。

车载多目标高动态检测随车视角与算法输出同步显示，实时稳定识别行人、车辆及多类道路参与者。

自动紧急制动（AEB）实车验证面对突发横穿行人的极限工况，多传感器毫秒级联动响应，平稳安全紧急制动。

狭窄库位全自动泊车融合超声波与视觉感知，精准规划倒车轨迹，自适应毫米级驶入狭窄车位。

V2X 网联双车协同跟随通过车车无线通信实时共享动力学状态，两辆自动驾驶车辆在连续弯道上高精度编队跟随。

上面的七段实拍录像完整记录了两台实车平台在校园道路与试验场地中的高强度闭环验证：

三维激光雷达实时建图：搭载 32 线 LiDAR 的乘用车在林荫道与建筑区间平稳行驶，实时渲染出包含树木树冠、路牙与建筑立面的高保真几何点云地图；
高精 SLAM 自主定位循迹：完全关闭卫星差分信号，车辆纯粹依靠车载点云地图与 NDT 实时匹配，在数百米长曲折道路上平稳自主巡航；
AGV 实车视觉车道线保持：4WIS 小车前向相机实时解析地面白色引导标线，转向机构动态自适应调整，小车平滑稳定保持在车道中央巡航；
车载多目标高动态检测：随车视角与算法检测框同步回放，在复杂光影下准确识别横穿马路的行人、迎面自行车与路边停放车辆，输出三维几何朝向框；
自动紧急制动（AEB）实车极限验证：面对突然推入车道正前方的假人目标，感知系统在 60 毫秒内计算出碰撞时间（TTC < 1.2s），底层线控制动推杆全力抱死，车辆在障碍物前 0.8 米处平稳安全刹停；
狭窄库位全自动泊车：超声波雷达探测车位边界，算法规划出包含两把倒车的多段轨迹，4WIS 小车精准倒车揉库，最终姿态完美对齐停车标线；
V2X 网联双车协同跟随：通过车载无线自组网实时广播前车动力学状态，两台实验车在复杂弯道上保持恒定车距，实现高灵敏度、无延迟的列队协同编队。

工程总结与技术积累

通过从零到一亲手完成两台实车平台的机械改装、电气布线、总线逆向、时钟同步与算法栈落地，我们建立了扎实且完整的物理系统工程感知力：

物理层先验对算法健壮性的决定性作用：仿真器中不存在通信掉包、高频振动、地线噪声与电机反电动势冲击。唯有在实车上亲手调试过配电浪涌与电机死区，才能真正理解控制算法为何必须设计前馈抗扰与硬件看门狗兜底。
时间确定性是传感器融合的生命线：任何复杂的空间几何算法，一旦遭遇毫秒级的时钟偏差与不确定延迟，融合结果必然发散失效。采用硬件级 PPS 授时与外触发曝光，从物理底层消除延迟不确定性，是多模态感知系统可靠运行的前提。
模块化解耦与可复用性：这套软硬件一体化的自主全栈平台，为课题组后续的多项产学研合作项目（包括工业搬运机器人、自主割草机及地下车库自主泊车）提供了直接可迁移的技术积淀与工程范式。

Teach and Grow：面向通用机器人学习的智能体中心架构

Mon, 17 Aug 2026 23:45:21 +0000

少量示教，留下可以再次使用的技能

Teach-and-Grow Learning（TGL）构建了一种以 AI Agent 和 GPT-6 为中心的机器人操作（AI Agent and GPT-6 centered robotic manipulation）架构。面对开放物理世界多变的长时序任务，TGL 不再依赖昂贵脆弱的端到端权重再训练，而是将拥有前沿物理常识与世界认知先验的 GPT-6 确立为具身控制的中央推理中枢。围绕 GPT-6 构建的 AI Agent 负责整个机器人操作任务的宏观时空分解、跨情境语义消歧、物理契约核验与异常自愈。

在预训练大模型权重完全冻结的前提下，AI Agent 能够将人类或仿真环境提供的少量成功示教，提炼为具备明确物理适用边界与自愈能力的显式机器人技能。系统将抽象的子目标技能落实到当前度量几何场景中，并在物理动作执行后严格核验实际发生的物理状态改变，最终将经过验证的行为规则与自愈策略沉淀至持久化的技能库与经验记忆中。

示教 → 执行与验证 → 技能沉淀。 示教提供动作的子目标划分与因果结构，物理传感反馈指导动作闭环与故障恢复，而以 GPT-6 为核心的 AI Agent 驱动的双层记忆结构，使得前序任务积累的能力能够无缝迁移为后续未知任务的起点，彻底摆脱了传统机器人策略学习对频繁微调与参数更新的依赖。

· ·

端到端策略更新的沉重负担：再训练成本

在当下的深度模仿学习与端到端视觉-语言-动作（VLA）模型研究中，策略学习主要依赖在高维参数空间 $\theta \in \mathbb{R}^D$ 内进行梯度优化。然而，一旦将这类模型部署至真实的非结构化物理环境中，其工程落地便面临着严峻的结构性矛盾：

当机器人遇到新的操作容器、未经标定的相机安装视角、反光材质或者出现未曾覆盖的偶发抓取滑脱时，尽管当前场景的几何差异极其微小，但在参数化策略范式下，修复这一局部缺陷通常意味着必须重新采集数十甚至上百条示范轨迹，并在原有的混合数据集上重新执行一轮耗时数小时乃至数天的多任务联合优化。更严重的是，由于神经网络内部高维特征表征的深度耦合，针对新工况调整权重往往会引发隐式的表征漂移，导致原本已经熟练掌握的历史任务性能发生不可预测的退化，即灾难性遗忘（Catastrophic Forgetting）。我们将这种在面对物理环境微小变动时反复出现的计算、数据与验证负担，形式化定义为 再训练成本（Retraining Tax）。

物理交互数据与互联网规模的纯文本或静态图像数据存在根本性的成本结构差异：物理接触无法通过简单的离线自回归进行无损合成，抓取稳定性必须在三维力学世界中实际试错，动作引起的支撑关系与摩擦状态改变必须依赖多模态传感器进行冷酷检验。物体几何位姿、工作台背景杂乱度、材料表面摩擦系数以及机器人本体的动力学非线性相互交织，覆盖单个物理因子的独立分布绝不等于覆盖它们在高维组合空间下的联合分布。

TGL 由此切入一个根本性命题：我们能否将新任务的获取过程与神经网络权重的梯度更新解耦？能否把经过物理检验的有效操作经验沉淀为显式的结构化对象，赋予其严格的几何适用范围、可判别的物理前置/后置条件以及独立的故障恢复规则？在这一范式下，GPT-6 驱动的 AI Agent 继续作为强大的物理常识推理器与决策中枢，而 TGL 则彻底重塑了新技能在机器人系统内部的存储与流转机制。

查看原图 ↗

图 1. 以陌生抓放任务为例，对比策略优化与由智能体组织的技能获取。

从能够规划的 AI Agent，到以 GPT-6 为中心的机器人操作体系

这项研究的原初起点，在于探讨如何让具备工具调用（Tool-Using）能力的 AI Agent 驱动机械臂完成开放任务。将 GPT-6 引入具身智能的核心，赋予了系统前所未有的物理因果推理与环境语义理解能力。结合检测、位姿估计与运动规划工具，以 GPT-6 为中心的 AI Agent 即使在没有任何先验示教的情况下，也能通过多轮试错与交互探索拼凑出可行的动作序列。

然而，单纯依靠大模型即时推理暴露出了致命的缺陷：当任务回合结束、机器人完成摆放后，系统没有留下任何可复用的确定性知识。当面对相同或高度相似的任务时，若依然必须重新调用大模型进行冗长的高延迟推理，重新在巨大的动作空间中进行搜索；而上一次执行中踩过的物理坑点（例如某种透明杯口边缘容易打滑、特定抽屉滑轨存在末端卡滞）也随着上下文窗口的清空而被彻底遗忘。

TGL 将 GPT-6 深度整合为 AI Agent 的认知中枢，保留了智能体“观察—推理—执行—核验”的敏捷闭环，并在此基础上构建了能够终身演进的记忆架构。一次成功的任务探索被提炼为带有形式化契约的技能块，而偶发的物理失配、故障归因与自愈恢复路径则作为情境案例沉淀进经验记忆。在后续执行中，系统优先检索并复用高置信度的结构化技能，仅在遇到未知变化时才激活 GPT-6 与 AI Agent 进行自适应微调。

在此架构中，少量的成功示教（人类遥操作轨迹、高质量仿真示范、跨视角第一人称视频或结构化操作手册）被定位为一种 加速器而非不可逾越的前提。少量示教的作用在于提前为智能体提供宏观层面的子目标时序分解拓扑，将原本发散的高维探索空间约束在关键状态转移的几何局部，显著削减无效试错代价。

形式化建模：把可执行能力定义为显式“技能块”

为了将动作策略与当前场景特有的瞬态物理细节彻底剥离，TGL 引入了形式化的 技能块（Skill Block） 抽象。以“将碗拾取并平稳放置到托盘上”为例，在不同示范中，机械臂的具体关节轨迹、末端移动速度以及接近物体的方向各不相同，但任务底层的因果不变结构高度稳定：识别目标碗体、建立稳定的接触对齐夹持、转移至托盘上方、顺应释放接触。

我们在数学上将一个技能块 $S_k$ 严谨定义为一个六元组：

$$S_k = \langle \mathcal{G}_k, \mathcal{P}_{\text{pre}}, \mathcal{P}_{\text{post}}, \Pi_{\text{exec}}, \mathcal{V}_{\text{eval}}, \mathcal{R}_{\text{recov}} \rangle$$

其中：

$\mathcal{G}_k$ 表示该技能旨在达成的语义与几何子目标（Subgoal）；
$\mathcal{P}_{\text{pre}}$ 为该技能触发的显式前置物理条件集合（如目标物体在工作空间内可达、夹爪处于完全张开状态、接触表面无动态遮挡）；
$\mathcal{P}_{\text{post}}$ 为技能成功执行后必须满足的后置物理状态断言（如物体质心位移超出阈值、夹爪开度与物体厚度匹配）；
$\Pi_{\text{exec}}$ 为与该技能兼容的底层参数化执行器族（如 Contact-GraspNet 抓取采样器、笛卡尔直线阻抗控制器或预训练的局部专用小策略）；
$\mathcal{V}_{\text{eval}}$ 为多模态物理检验算子，负责在动作结束后输出确定性的成功置信度评估；
$\mathcal{R}_{\text{recov}}$ 为有界自愈策略分支，定义了当执行异常时的局部回退与补偿动作。

这里的 免训练（Training-Free） 具有清晰的数学与系统边界：在获取与沉淀新任务技能的全过程中，系统不涉及任何神经网络参数的梯度反向传播或微调过程。基础视觉语言模型与专用几何模型保持权重冻结；能力的跃升完全体现为显式技能库与经验记忆的拓扑扩充与参数自洽。

查看原图 ↗

图 2. 一个任务经历示教、组合、执行、验证与持久化，形成的技能库与经验记忆成为下一个任务的起点。

上层子目标因果推理，下层度量几何与力学控制

TGL 建立了清晰的双层分工体系，确保高层通用认知能力与底层物理控制精确度各自发挥极致：

1. 跨模态示教解析与子目标拓扑对齐

智能体首先将输入的示范轨迹（包含多视角视频与状态时序）在关键物理状态转变点处进行时空切分。系统并非简单记录时间序列路点，而是提取物体之间的空间接触拓扑演变（例如自由移动相 $\to$ 接触预备相 $\to$ 稳定约束相 $\to$ 释放分离相）。即便不同演示之间的运动速度与动作细节存在显著方差，共同的状态转移网络构成了候选技能块的拓扑骨架。

2. 场景具象化落实（Scene Grounding）与度量几何映射

当高层智能体决定调度某个技能块时，必须将其抽象的因果参数与当前真实物理场景进行严格的几何对齐：

感知与分割：机载 RGB-D 相机获取场景点云与高分辨率图像，调用开放词汇检测与分割模型提取目标实体几何掩码；
抓取与位姿求解：利用 Contact-GraspNet 在目标物体三维网格上密集采样力闭合抓取位姿候选，筛选出法向与执行器几何相容的最优夹持点；
无碰撞运动规划：调用 MPLib 与 OMPL 运动规划库，在考虑场景障碍物 ESDF 碰撞边界的条件下，求解出动力学可行的连续关节插补轨迹。

3. 基于多模态反馈的物理检验契约

动作执行完毕后，系统决不允许开环盲目推进，必须经过 $\mathcal{V}_{\text{eval}}$ 检验算子的冷酷审核：

以抓取动作 GraspObject 为例，仅仅机械臂关节角到达预设航向并不足以断定成功。系统同时读取夹爪电流反馈、红外光电传感器遮断信号与手腕六维力矩传感器读数：若三者共同证实末端承载了物体的真实重力负荷，后置断言方才判定通过；
若检验结果显示未检测到有效负载，系统立即判定为抓取滑脱，并动态分支到局部有界恢复子程序 $\mathcal{R}_{\text{recov}}$，重新调整夹持器切入倾角再次尝试，从而在局部掐断单步误差向长程链条的扩散。

查看原图 ↗

图 3. 技能契约连接语义子目标、当前场景中的执行与可观察的证据。策略被保留，几何与控制重新计算。

双层记忆系统：技能库保存行为，经验记忆保存上下文

为了兼顾通用能力的高效检索与特殊工况的深度适配，TGL 设计了结构清晰的双层持久化记忆架构：

1. 技能库（Skill Library $\mathcal{L}_{\text{skill}}$）

技能库维护着经过实机充分检验的通用原子技能原型。每个技能条目封装了规范化的子目标描述、前置几何条件检查器、场景具象化映射规则以及兼容的运动规划器接口。技能库追求高度的抽象性与普适性，使其能够被跨任务、跨物体实例无缝调用。

2. 经验记忆（Experience Memory $\mathcal{M}_{\text{exp}}$）

经验记忆则是一个面向情境案例的异质记忆网络，专门记录具体执行回合中的上下文细节与异常诊断日志：

记录每次执行时的环境光照参数、物体几何表面特性、候选抓取评分与实际执行结果；
重点归档执行失败案例及其成功的自愈恢复链条（例如：在抓取某种高反光金属圆柱体时，侧向抓取因静摩擦不足出现滑移，但调整为垂直俯冲两指捏持后成功建立约束）；
当系统在后续任务中遇到类似的边缘工况时，经验记忆先验介入，指导高层智能体规避历史失败路径，直接选择鲁棒性经过实证的微调参数，避免机器人重复犯下历史错误。

这种双层解耦设计赋予了系统极高的工程可解释性与人工可审计性：工程师能够清晰地查看技能库中每个技能的适用边界，根据需要手动修正某个脆弱的自愈规则，或者将存在隐患的执行工具打上兼容性黑名单，而无需重新启动漫长且不可控的全局重训练过程。

终身学习假设与局部更新的成本缩放优势

传统深度强化学习与模仿学习在能力扩张时面临着维数灾难与灾难性遗忘的夹击。TGL 提出了 有效可复用经验（Effective Reusable Experience） 缩放假设：随着机器人在物理世界中执行任务数量的增长，技能库中沉淀的有效技能块与经验规则将逐步覆盖绝大多数常见几何与接触模态。

查看原图 ↗

图 4. 未来任务误差与教学需求的概念性预测，曲线为示意。

在数学分析上，我们对比了全局耦合优化范式与 TGL 显式技能扩展范式的边际计算成本：

全局策略更新范式：每当引入第 $N$ 个新任务时，为了维护全部 $N$ 个任务的联合分布一致性，重训练所消耗的数据样本量与反向传播算力呈超线性增长 $\mathcal{O}(N^\alpha)$（$\alpha > 1$）；
TGL 局部扩展范式：新增技能块的沉淀与校验仅需局部针对当前特定几何子目标进行闭环验证，其计算开销仅取决于当前技能的验证复杂度，边际成本保持为严格的有界常数 $\mathcal{O}(1)$。

只要单次任务的具象化映射、物理检验与技能检索开销维持在极低的轻量级水平，显式技能积累架构就能够在长期运行中展现出显著的计算效率与资源利用优势。

查看原图 ↗

图 5. 在不同覆盖需求与局部兼容性假设下的分析性成本情形。

慢教师与快学生：双系统闭环协同

在实际工业与服务场景中，纯粹依赖大模型驱动的智能体进行全流程闭环虽然通用且具备强推理能力，但其通常面临百毫秒乃至秒级的推理延迟，无法完全胜任对反应速度要求极高的高动态运动。

为此，TGL 原生支持 “慢教师—快学生（Slow Teacher, Fast Student）” 的双系统协同演进范式：

慢教师系统（System 2：TGL Deliberative Loop）：大模型智能体作为“慢教师”，负责在陌生环境与高难度任务中进行深思熟虑的因果推理、工具调度与容错自愈，并在真实物理交互中过滤掉失败动作，生成高质量、经过全流程物理验证的专家执行轨迹缓冲池；
快学生系统（System 1：Distilled Reactive Policy）：利用慢教师积累的高质量轨迹数据集，在后台异步蒸馏训练紧凑高效的高频响应策略（如 50 Hz 的 Diffusion Policy 或局部动作分块策略），用于在常见工况下执行毫秒级流体般平滑的熟练操作；
异常无缝接管机制：当快学生策略在执行中遭遇未见扰动或物理检验失败时，底层监控系统立即触发异常中断，控制权毫秒级回切给慢教师智能体进行深度因果诊断、策略修复与技能扩充，从而兼顾了即时响应速度与复杂长程泛化上限。

查看原图 ↗

图 6. TGL 的整体系统视图，虚线路径表示拟议的快速策略训练与多机器人共享。

基准评测表现与实验洞察

我们在主流机器人操作基准 LIBERO 与更加注重分布外扰动测试的 LIBERO-Plus 环境中，对 TGL 进行了严苛的定量评测与消融实验。重点考察了以下几个核心维度：

少样本甚至零样本技能转化率：在仅提供 1 至 3 条示范轨迹的前提下，TGL 能否准确提炼出子目标因果结构，并在空间位姿、物体外观发生显著偏移的测试场景中成功复用；
再训练成本消除效果：对比主流参数微调算法在新增 10 项连续任务时的累计算力消耗与历史任务保留率；
闭环物理核验与有界自愈的容错贡献：量化检验在人为施加外部物理扰动（如抓取时轻微推碰物体、遮挡目标局部特征）时，自愈模块对任务最终成功率的提升倍数。

实验数据充分证明：

TGL 在仅需极少示教的前提下，展现了远超传统小样本模仿学习基线的分布外泛化能力；
由于策略权重全程完全冻结，系统对历史已掌握任务的成功率实现了理论上的零衰减，彻底消除了困扰连续机器人学习的灾难性遗忘顽疾；
显式物理检验与自愈循环将偶发执行故障的现场化解率提升了数倍，使长时序复合任务的稳定运行成为可能。

总结与工程反思

TGL 的探索揭示了一个被深度学习热潮所部分遮蔽的事实：机器人的通用操作能力并不必然等同于一个无所不包的超大规模端到端神经网络。

通过将高级常识推理、度量几何工具、确定性阻抗控制与显式双层记忆深度融合，我们证明了在完全不触动网络权重的条件下，机器人同样能够展现出强大的学习、适应与能力沉淀特性。这套将知识保留为可检查、可干预、可复用显式对象的系统架构，为走向真正低成本、高可靠、可持续进化的具身智能机器人系统提供了坚实的理论与工程参考。

面向嵌入式视觉系统的体素化三维高斯稠密视觉 SLAM

Wed, 13 May 2026 00:00:00 +0000

稠密建图与存储开销

基于稀疏特征的 SLAM 精度不错，但地图太稀疏，派不上用场。导航、路径规划和避障要的是表面信息，而不是一团关键点。稠密建图被研究了这么多年，原因就在这里。

稠密方案各有各的代价。DTAM、Kintinuous、ElasticFusion 这类经典稠密融合系统吃内存、速度慢，精度也因此受损。神经辐射场 SLAM 的几何质量更好，却背着一个隐式解码器，渲染不再是光栅化，而成了一次网络推理。3DGS 看上去正是答案：高保真实时渲染，没有解码器，也不需要体积积分。

接下来是部署。一个高斯泼溅 SLAM 系统要表示一间小屋大小的场景，通常得占 500 MB 以上。这个数字划分了演示和真能在机器人上跑起来的东西，也是这项工作的起点。

冗余由 SLAM 制造，而非高斯本身

最容易得出的结论是：高斯基元本身就昂贵，解决办法是压缩。我们认为并非如此。诊断才是这篇论文里我们最希望被读到的部分。

我们观察了这些系统生成的高斯椭球，发现它们的几何相似度远高于原始 3DGS。把高斯归一化到零均值之后再度量相似度，问题就归结为比较协方差，这一步把形状和大小从位置里剥了出来，KL 散度也随之只反映形状与尺度。SLAM 系统里呈现的分布是一根又高又窄的尖峰，离线方法的曲线则低而宽。这些系统在反复存储同一个椭球的近似副本。

原因不在基元，而在优化调度。有两个结构性差异能解释它。

离线 3DGS 一次性拿到全部图像，在所有图像上联合优化，挑选关键帧时也从整个集合里随机采样。SLAM 系统按时间戳顺序接收帧，必须等当前帧训练完成才能处理下一帧，而且只优化被选中的关键帧。同样的基元，顺序的、局部范围的优化，得到的分布却完全不同。在线这一套流程，在某种程度上放大了几何相似性。

这个区别之所以重要，是因为它决定了哪些现成工具能用。离线压缩这一支文献，包括紧凑高斯表示、轻量高斯剪枝、自组织高斯网格，全都假定从一开始就拿到了所有图像、所有位姿和对应的点云。SLAM 是增量优化的。这些方法无论离线效果多好，在结构上就已经出局。

查看原图 ↗

锚点承载结构，逐视角解码生成高斯属性。

在线压缩为什么棘手

压缩一张已经建好的地图是一回事，在线做要难得多，原因有三。

离线 3DGS 用一个完整带位姿的点云初始化高斯。SLAM 里这样的点云只覆盖相机走过的地方，于是该在哪里增加表示能力，只能基于一张残缺的地图在线判断，而且不知道后面会出现什么。

删除必须因果。判断一个高斯还有没有用，不能去查完整训练集，因为未来的视角还没到。

只看透明度也不对。一个高斯可能透明度很低，却在多个视角里都很关键；也可能占着一块有用的体积，只是颜色贡献不多。把体积和透明度放在一起看，才更接近我们想要的标准。

让网络自己学这个决策，还有一个特有的失效模式。我们的掩码损失把掩码值往下压，稀疏先验本来就是起这个作用；可如果一直压下去不停，优化最终会把地图里每一个高斯都消掉。单向的正则项没有重置，会毁掉它正在正则化的那个东西。

最后，这里的压缩不是后处理。离线压缩量化的是一个已经完成的东西；在 SLAM 里，码本和仍在优化中的属性一起学习，量化器追的是一个还在移动的目标。

先减锚点，再减比特

压缩分两层，顺序不能颠倒。

第一层是结构层面。我们不再存高斯，改存锚点（anchor）。一个锚点由体素中心、一个规模很小的学习特征、一个尺度以及一组偏移组成。高斯中心由体素中心加上每个偏移乘以该锚点的尺度生成；透明度、旋转、尺度和颜色这些剩余属性，则从锚点特征连同当前的观察距离与方向解码得到。承载表示的是结构，而不是一个个基元；解码又依赖视角，所以细节是按视角生成的，不需要按高斯存下来。

第二层是参数层面，等锚点数量降下来之后才动手。偏移和尺度是每个锚点都必须携带的几何信息，比特主要花在这里。我们用级联的残差矢量量化（residual vector quantization）压缩它们：第一个码本给出向量的粗略近似，之后每一级只量化前面几级留下的残差，索引通过在当前的残差上做最近邻搜索选出。

这个类比来自神经音频编码，而且很贴切。第一个码本粗略描述这个数，后面的码本只描述剩下没说到的部分。码本在整个场景里共享，就像一张调色板被整幅图共用。我们用 K-means 初始化它们。

有两个权衡值得摆出来。级数越多，要存的残差层级越多，推理越慢，而换来的收益很有限。码本越大，很多索引根本用不上，却照样占内存和训练时间；码本小了，精度就要付代价。论文的配置是在大小为 64 的码本上做六级残差量化。另外，缩写值得向接触过粒子滤波的读者说清楚：残差矢量量化和粒子群优化彼此毫无关系，这项工作里也没有出现任何粒子滤波。

查看原图 ↗

每一级只量化前面几级留下的残差。

哪里优化不动，就在哪里生长

没有运动恢复结构点云可以用来打底，容量该放在哪里就得到线上找答案。我们用的信号是梯度。

如果某个体素里的高斯在连续若干次迭代中始终给出较大的平均梯度，说明优化器在这个位置上还在挣扎，也就有理由认为当前表示无法表达数据想要的东西。当这个平均梯度超过阈值，且该体素中心还没有锚点，我们就种一个下去。候选会被随机淘汰，避免增长失控；无足轻重的锚点则通过累加其高斯的透明度被剔除。

三个分辨率并行工作，每层体素边长缩小到四分之一，梯度阈值翻倍。粗体素吸收墙面、地板这类大块几何，细体素处理椅子腿这样的细节。只用一个体素尺寸，就得让同一个选择同时应付两者，这套多分辨率阶梯因此存在。

初始化是另一条路径：建图开始时，在累计透明度偏低、或者渲染深度与实测不一致的地方采样点。

掩码是调光器，不是开关

在一个滑动窗口（sliding window）内，每个高斯带一个可学习的掩码参数，再经由带停梯度的直通（straight-through）形式变成二值掩码。渲染之前，这个掩码乘在高斯的尺度和透明度上，被掩掉的基元是从画面里淡出，而不是从数据结构里删掉。真正的移除发生在窗口边界，那里我们同时看命中频率和学习到的掩码。

这个窗口是短期记忆，组成有明确定义：当前帧、与它重叠最多的那个关键帧，以及与当前深度点云视锥重叠最高的两个较早关键帧。视野之外的一切都被视锥剔除冻结，过去的几何因此保留下来，待优化的参数也少了一批。掩码只在关键帧上运行。

让这套机制安全的是重置这个细节。在窗口边界处，移除执行完之后，梯度和掩码一起清零，系统可以重新学。少了这一步，前面说的稀疏压力就再也没有阻力，地图会把自己擦掉。

窗口大小是实打实的权衡，不是随手调的超参数。窗口太大，会把本来还在干活的高斯掩掉，精度受损；窗口太小，内存和优化质量都要付出代价。

查看原图 ↗

掩码调节尺度与透明度；移除发生在窗口边界，随后掩码与梯度被重置。

跟踪依赖刚刚压缩过的地图

驱动跟踪的有三路信号，它们都来自同一次 alpha 合成。颜色、深度，以及一个只累加可见性权重的轮廓通道。三者共用光栅化，所以轮廓通道几乎不额外花代价。

跟踪在深度有效的射线上最小化颜色误差平方与深度误差平方之和，并用轮廓门控：只有渲染器确信自己确实覆盖了东西的那些像素才被信任。一个 ICP 项把高斯中心与跨帧的最近点关联起来，理由是高斯本身就是一团点云，经典的几何关联方法对它同样适用。位姿用匀速前向投影初始化，消融实验认为这一步不可或缺。

这里的消融最能说明这些部件都在承重。只留深度项，跟踪直接失败；只留颜色项，跟踪能跑，但误差明显更大；去掉轮廓门控，跟踪同样失败。来自渲染器的信任区域确实在起作用，一条光度流水线看来既需要几何项，也需要一块它敢相信的区域。

束调整（BA）在两个尺度上运行。局部调整细化最近的窗口；全局阶段从一个刻意放大的关键帧数据库里采样射线，同时优化地图和位姿，并额外加了一个结构相似性项。这样做是为了在长轨迹和大场景中约束累计漂移，又不必去碰每一帧历史数据。

证据，以及它的形状

系统在 Replica、ScanNet 和 TUM RGB-D 上评测，硬件既有一个嵌入式模组，也有笔记本级 GPU；此外还有我们自己采集的多传感器移动机器人数据集，用 LiDAR、惯性单元和深度相机记录，场景面积超过一千平方米，并配有高质量的轨迹真值。做这个数据集，是为了回答标准基准回答不了的问题：地图是在移动的机器人上建的，而不是在办公桌上建的，这套表示还撑得住吗。

最有说服力的评测不是一张表格。我们把紧凑表示分别插进 SplaTAM、MonoGS 和 Gaussian-SLAM 里重跑，三者的指标都朝同一个方向改善。这条证据指向的是我们的诊断，而不是我们的系统：一个表示能同时帮到三个不同的系统，说明它触到的是这三者共有的问题。

查看原图 ↗

紧凑性才让机器人端部署成为可能。

我们从中得到什么

动手写压缩器之前，先诊断一下你从训练范式里继承来的表示。这项工作有意思的地方不在于设计了一个更好的量化器，而在于注意到顺序的在线优化会产生一种与联合优化不同、也更冗余的分布，并且在写任何代码之前先把它量了出来。

与此相关，任何需要整个数据集的模块，在增量系统里从结构上就不成立，离线表现再好也没用。就这一条约束，排掉了大部分现成文献。

压缩要分两层，先结构、后参数。只做量化，仍然有几百万个基元等着编码；只做掩码，每个基元要背的负载依旧很大。

梯度是容量分配的信号，不只是优化的副产品。这样用它，地图该在哪里更细致，就变成系统自己拿主意的事。

还有一点：任何只朝一个方向施压的学习式剪枝，都需要重置。这个模式的适用范围远超本论文。

它不处理什么

快速运动会给彩色图和深度图都带来运动模糊，而跟踪恰恰依赖这两个损失，所以运动一快性能就下降。动态物体多的场景会产生伪影和漂移，面对高度动态的环境，系统仍有局限。

我们没有实现回环检测和重定位，因此大回环上漂移能校正到什么程度是有边界的。系统只支持 RGB-D，没有单目或双目版本。另外，报告的内存数字需要向读者交代得更清楚：那是检查点大小，不是峰值显存占用，两者不是一回事。

嵌入式为什么重要

这篇论文要说的不是紧凑地图是一种可以接受的妥协，而是紧凑地图依然是一张好地图，同样的质量只需要一小部分存储。这个说法只有在存储真的构成约束时才站得住脚，这也是我们格外在意嵌入式实验的原因。能装进机器人的表示，才会真的被用起来。

MID：自监督多模态迭代去噪框架

Thu, 30 Apr 2026 00:00:00 +0000

干净版本往往并不存在

好数据是下游一切工作的前提，而采集噪声几乎无处不在：传感器本身的限制、传输错误、环境干扰，还有物理测量固有的随机性。常见的应对是先做去噪。

有两个很实际的事实让这件事比听起来难得多，本文的思路也正是从这两点长出来的。

第一，真正需要处理的噪声很少是高斯噪声。低照度成像中的泊松噪声、压缩伪影，以及我们称作结构化噪声的东西（例如一组并不对应场景中任何真实结构的线段），都违反了经典滤波器赖以成立的假设。第二点更根本：在我们关心的许多领域里，干净目标根本不存在。临床影像和遥感经常没有可供对照的无噪参考，也无从采集。论文里的 MRI 实验之所以用替代指标评分，正是因为那些数据集拿不到干净的 ground truth。

训练信号只能从别处来，指望不上成对的干净样本。整个问题就落在这个约束上。

已有方法为什么都是有条件的

经典的去噪方法，从滤波、变换域阈值到非局部均值，都针对特定的噪声模型和数据类型来设计。噪声统计一旦偏离当初的假设，效果就迅速下降。

有监督深度去噪绕开了建模假设，但需要大量成对的干净与含噪样本。偏偏在去噪最重要的那些领域里，这类数据要么采集成本高昂，要么根本无法采集。

自监督盲点方法（blind-spot methods）曾是顺理成章的答案。我们对它的批评是具体的，不是笼统地说它不好。这类方法不需要成对数据，却带着隐藏的模态假设。先把像素遮住、再由邻域把它预测回来的技巧，靠的是图像的空间相关性。点云是无序的，氨基酸序列离散且无结构。对数据不作任何断言的方法能走到这些场景；暗中假设空间平滑的方法走不过去，表现出来的症状就是过度平滑和细节丢失。

特定领域的专用方法也各有各的条件依赖。Noise2Noise 会把细小的解剖结构抹平；Patch2Self 利用了体数据之间的冗余，却要为每个体数据单独训练一个模型，体数据之间的空间一致性容易出问题；DDM2 对初始噪声水平和模态相关的调参都很敏感。到了表面肌电（sEMG），高通滤波能滤掉 ECG 干扰，但信号里重要的低频成分会随之一起被滤掉，因为两者在频域上重叠；模板相减预设了固定的分布形式；神经网络方法常常训练不稳定。蛋白质序列筛选上，常用的按平均汉明距离做贪心选择只依赖一条准则，无法反映序列质量的更多侧面。

我们没有用跑分表来定位，而是画了一张能力矩阵。要回答的问题是：哪些方法既自监督，又能同时处理图像、信号和点集。这个领域里的大多数方法只能做到三样中的两样。

难点在哪里

非线性退化的逆过程没有可用的闭合形式。直接反演泊松噪声、压缩伪影或具有集合结构的干扰都很困难，我们自己的消融实验给出了硬做的结果：单次前向的网络几乎不改变输入数据。网络很难一步学会从含噪到干净的巨大跳跃。这不是实现层面的失误，方法之所以长成现在这样，原因就在这里。

输入的污染程度同样是未知的。含噪样本不会告诉你自己位于退化轨迹的哪一段，也就无从判断该去掉多少、该走几步。

自监督信号只能自己造，捡不到现成的。没有成对样本，能用的标签全是自己生成的，而且它们要同时服务两件事：输入处在退化的哪个位置，以及下一个增量长什么样。

有些时候，噪声根本不是数值。错误的对应关系、无效的线段、冗余的序列，都不是附加在某个量上的幅度，而是关于某个元素该不该留下的判断。要把这类东西减掉，先得把干扰改写成逐元素的属性，这些任务因此采用二分类目标，而不是对残差做回归。

无序、离散的数据直接推翻了常规先验。点云没有顺序，多序列比对是一组离散字符串，按空间网格共享权重、做卷积这类手段在这里都用不上。

方法里还内含着一种取舍。支撑它的一阶近似只在增量足够小时成立。小增量换来线性性，代价是推理时冗长的循环。

继续加噪，就是恢复：局部线性化与数学形式推导

我们的出发点足够反直觉，不妨直说：要学会去掉噪声，得先往里面加更多噪声。

含噪观测不是放在一旁的干净样本的退化版本，它是退化轨迹上的一个状态，而这条轨迹你可以自己接着走。把含噪输入当作起点，一遍遍施加同一个退化过程，就得到一架带标签的梯子：每一级与下一级之间差了多少噪声，你心里清楚，因为差额是你自己加进去的。

设未知的退化流由连续算子族 $\mathcal{D}_t$ 生成，对任意干净真实物理状态 $x \in \mathcal{X}$，在连续参数 $t \in [0, 1]$ 下形成退化轨迹 $s(t) = \mathcal{D}_t(x)$，其中 $s(0) = x$ 为理想无噪数据，而实际传感器捕获的含噪观测 $y$ 对应某个未知时刻的中间态 $s(t_0)$。因为真实物理逆向算子 $\mathcal{D}_t^{-1}$ 通常高度非凸且严重病态，直接求解全局逆映射 $x = \mathcal{D}_{t_0}^{-1}(y)$ 无法通过单次网络前向可靠收敛。

MID 的关键洞察在于：尽管我们在无监督条件下无法直接求解终点 $s(0)$，但退化过程本身在局域具备可模拟性与增量延续性。定义一个步长为 $\Delta t$ 的增量退化算子 $\mathcal{T}_{\Delta t}$，满足：

$$ s(t + \Delta t) = \mathcal{T}_{\Delta t}(s(t)). $$

对该算子在局部状态 $s(t)$ 处作一阶展开：

$$ s(t + \Delta t) \approx s(t) + \mathbf{J}_{\mathcal{T}}(s(t)) \cdot \Delta t + \mathcal{O}(\Delta t^2), $$

其中一阶残差增量记为 $\Delta s_t \equiv s(t + \Delta t) - s(t)$。若将增量退化步长限制在局部微扰范围内，非线性算子的单步逆向操作即可近似表示为一阶残差的线性相减：

$$ s(t) \approx s(t + \Delta t) - \Delta s_t. $$

这种局部一阶近似的核心前提，是假定局部雅可比矩阵在微小步长下接近单位阵，或者非线性形变的主导分量已可被紧邻状态的差分向量充分吸收。这使我们摆脱了对全局非线性反问题的强求，将其转化为一系列局域可逆的微小单步。从一级到下一级的这一步按加性处理，它的逆自然就是减法。噪声网络要预测的残差，就是我们自己生成的两个相邻状态之差。

两个网络，两个问题：联合损失与自适应循环

框架提出两个彼此独立的问题，正因为把它们分开，同一套做法才能搬到不同领域。

第一个问题是：我现在在哪？阶段预测网络 $E_\phi(s)$ 回归输入在轨迹上的归一化位置 $t \in [0, 1]$。不确定这一点，就无从决定该减掉多少。

第二个问题是：该去掉什么？噪声预测网络 $R_\theta(s, t)$ 接收当前状态和估计出的阶段，输出下一步要减掉的增量。两个网络联合训练，这种解耦是有意为之：一个决定往回走多远，另一个决定每一步卸下什么。

在训练阶段，我们在含噪样本 $y = s_0$ 的基础上，自主施加 $K$ 步已知增量退化，构造级联状态序列：

$$ s_k = \mathcal{T}^{(k)}(y), \quad k \in \{0, 1, \dots, K\}, $$

对应的归一化退化阶段标签为 $t_k = \frac{k}{K}$。由于每一步的状态跃迁差值 $\Delta s_k = s_k - s_{k-1}$ 均为完全已知的自生成监督信号，阶段网络与残差网络的目标函数可分别显式写为：

$$ \mathcal{L}_{\text{stage}}(\phi) = \frac{1}{K} \sum_{k=1}^K \| E_\phi(s_k) - t_k \|_2^2, $$$$ \mathcal{L}_{\text{res}}(\theta) = \frac{1}{K} \sum_{k=1}^K \| R_\theta(s_k, t_k) - (s_k - s_{k-1}) \|_2^2. $$

在测试推理阶段，对于未知污染程度的初始输入 $y$，系统首先调用阶段估计器得到起始估计 $t^{(0)} = E_\phi(y)$。随后进入反向去噪迭代，在第 $m$ 步执行更新：

$$ s^{(m)} = s^{(m-1)} - R_\theta(s^{(m-1)}, t^{(m-1)}), \quad t^{(m)} = E_\phi(s^{(m)}). $$

循环终止条件为 $t^{(m)} \le \epsilon$ 或步数达到上限。轻度污染的输入走的步数少于重度污染的输入，迭代次数随数据自适应，不需要预先设定调度。之所以一步步迭代，而不是一次把噪声全部拿掉，是因为多次小幅修正比一次大幅修正更能保住细节。单次前向被迫一次猜完整段距离，结果往往是过度平滑并丢失高频结构。

查看原图 ↗

阶段预测器和噪声预测器联合训练，推理时按顺序使用。

查看原图 ↗

逆向自监督恢复循环沿着退化轨迹，把含噪输入一步一个增量地带回更干净的状态。

去噪是一种问题框定：四维几何匹配与离散集合推广

对我们来说，这项工作最有意思的地方不是图像上的结果，而是把同一套形式指向那些没人会叫作去噪的问题时发生的事情。

图像对应关系变成四维点云：一对匹配就是两幅视图中各取两个图像坐标所确定的点 $p_i = (u_i, v_i, u'_i, v'_i)$，汇聚为无序集合 $\mathcal{P} = \{p_1, \dots, p_N\}$。错误匹配是不属于几何对极约束的点。然而在无序集合中，常规加性相减失去了物理含义，因为一个错误的几何对应关系无法通过“在坐标上减去某个浮点向量”变成正确的对应关系。

因此，MID 将算子推广为基于集合注意力的逐元素判定。噪声目标改写为逐元素的二元交叉熵损失：

$$ \mathcal{L}_{\text{set}}(\theta) = - \sum_{i=1}^N \left[ c_i \log \sigma(R_\theta(\mathcal{P})_i) + (1 - c_i) \log (1 - \sigma(R_\theta(\mathcal{P})_i)) \right], $$

其中 $c_i \in \{0, 1\}$ 表示在自生成退化过程中注入的合成外点标签，$\sigma(\cdot)$ 为 Sigmoid 激活函数。网络不必回答该从错误对应里减去多少数值，它要判断的是这个元素该不该存在。用于消失点估计的线段同样变成无序点集，训练时把随机线段当作几何外点反复加入。

多序列比对则把平均汉明距离偏低的冗余序列视为噪声。最后这个例子里，噪声是真实的氨基酸序列，这足以说明框架评估的是数据质量，而不是合成出来的假象。干扰一旦被表述成可移除的东西，几何估计中的外点剔除、对应关系筛选、线段过滤和序列抽样，就是同一个问题换了身衣服。乘性噪声在对数域可以变成加性，论文提到并用到了这一点。

查看原图 ↗

去除图像噪声的同一套形式，也用来识别错误匹配。

方法是怎么搭起来的

图像和医学体数据用 CNN 主干做阶段预测，上面接全连接层，增量由 CNN 编码器-解码器给出。点集和一维信号，包括对应关系、线段、氨基酸序列和表面肌电，两个网络都使用全连接层加 Transformer 编码器-解码器。理由前面已经说过：卷积假定数据有空间顺序，无序集合没有，所以是结构跟着数据走，而不是让数据迁就结构。

没有一个领域拿到专门定制的公式，这正是这样搭建的目的。同一套方法用在图像散斑、MRI 噪声、肌肉信号污染、几何外点、错误对应、无效线段和冗余蛋白质序列上，变的只有主干。

查看原图 ↗

这里的干扰是真实序列，而不是合成出来的假象。

我们从中学到了什么

监督信号不必来自干净终点，它可以由你自己继续施加一段可模拟的退化来制造。正是这一处替换，让框架在成对数据不存在的地方也能用。

局部线性化加迭代，把一个无解的全局逆问题变成一串可解的局部逆问题，消融实验就是证据。单次前向的模型失败时，正确的反应不是把模型做大，而是分解。

把“我在哪”和“该去掉什么”分开，是同一套框架能够迁移的原因。相比任何结构上的选择，这项解耦才是可复用的部分。自监督策略里藏着模态假设，值得逐个审视。对数据结构不作任何断言的表述，会比暗地里要求平滑性的表述走得更远。迭代是保住细节的机制，而不只是优化上的便利。

它在哪里止步

极端噪声是论文明确指出的失效场景。信号结构几乎被完全淹没时，局部线性化展开的前提不复存在，迭代相减能依赖的部分结构太少，后续工作我们指向生成式先验这个方向。

第二个代价是时间。迭代必然比单次去噪慢，对实时使用是瓶颈。我们建议的补救办法是知识蒸馏和更高效的采样。

方法里还有两件事我们看得见却没有刻画清楚。加噪步数和每步增量的大小属于设计选择，不是推导出来的量，我们没有研究方法对它们的敏感性。阶段估计的误差还会在随后的每一次相减中累积，这种传播值得我们投入比现在更多的关注。

这属于哪一类模型：与扩散模型（DDPM / Score-SDE）的本质边界

有一条边界值得说清楚，因为每次谈起这项工作都会碰到它。MID 不是生成模型。

扩散模型基于随机微分方程（SDE）框架，其前向过程设计为一个显式的 Ornstein-Uhlenbeck 漂移扩散过程：

$$ \mathrm{d}x = f(x, t)\mathrm{d}t + g(t)\mathrm{d}w, $$

其核心数学要求是当 $t \to T$ 时，边缘分布必须渐近收敛至已知的各向同性高斯先验 $p(x_T) \sim \mathcal{N}(0, \mathbf{I})$。这导致扩散模型本质上是在学习经验数据分布的分数函数（Score Function）$\nabla_x \log p_t(x)$，核心价值是从纯白噪声中随机采样出符合经验分布的新数据。

MID 的定位与此存在本质差异：

先验分布假设不同：MID 从未假设退化的终点是高斯分布。它的退化算子可以是物理传感器的暗电流截断、结构化几何外点插入或离散字符冗余。
目标函数不同：MID 并不最小化数据分布与高斯先验之间的 KL 散度，它学习的是确定性或准确定性的局域退化位移向量场，目标是恢复特定观测实例在物理退化前的原生状态，而非采样新的可能态。
输出特性的确定性：这也决定了 MID 不具备“无中生有”的生成能力。当输入信号被极端噪声完全破坏、拓扑结构荡然无存时，局域展开假设失效，MID 无法像生成模型那样基于模式先验凭空重构出看似逼真但未经测量的幻觉细节。这种保守性在科学计算与医学诊断等不可容忍虚假幻觉的场景中，反而是至关重要的安全属性。

它去掉的是训练中见过的噪声，输出是输入的更干净版本，不是新样本。这条界线让框架对自己能承诺什么保持诚实。

迈向视觉-声音-语言-动作范式：面向声音中心操作的 HEAR 框架

Tue, 17 Mar 2026 03:22:30 +0000

听不见物理的机器人

现在的视觉语言动作模型会看、会理解语言、会运动，唯独不会听。它们工作在一个近乎无声的世界里，而机器人所处的环境其实满是声音：水烧到将沸时的嘶嘶声，碰撞那一下清脆的咔嗒，满容器与空容器截然不同的音色，材料从弯曲转向开裂的那一瞬间。这些声音都在编码相机无法还原的物理状态。

接触声学是能拿到的最便宜的触觉传感器：一只麦克风几美元，不用接触物体，而且一次覆盖整个工作空间。支持这么做的理由并不空泛，问题在于还没有人做出真正能用它的策略。

还没问到策略，线索就已经消失

难点不在建模，把它框成建模问题，恰恰是早先的方案没能解决它的原因。难点来自那套让大规模 VLA 模型得以落地的控制架构。

大骨干网络跑不到控制频率，于是通行做法是动作分块（action chunking）：模型一次给出未来的一小段指令，机器人开环执行完这一段，才轮到模型被再次查询。物理恰好发生在这段空隙里。碰撞、溢锅、按到底，都是短促且不可重复的声学事件，量级在一百毫秒左右，而它们往往整段落在策略没有在看的区间内。在 30 Hz 的控制频率下，一个动作块平均长约一秒。

这个后果要说准一点，因为它和大家通常的假设不一样。反应慢只是延迟；这里真正发生的是证据被销毁。声音到了，没有人在听；等再次查询策略，窗口里只剩安静。如果事件的采样在下一个窗口打开之前就已经结束，窗口里不会留下它的弱化版本，而是什么都没有。我们把两次决策之间的这段间隔称作盲执行区间（Blind Execution Interval），blind 这个词是实打实的。

还有第二类失败，和时序无关。设想机器人守在一台运转中的电器旁边。场景接近静止时，等一秒和等十秒，当前这一帧图像一模一样。专家示范却不同：下一步该做什么取决于已经等了多久，观测本身不体现这一点。只看单帧的策略分不清这两种处境，于是要么慢慢漂移，要么干脆停住。这正是时间上下文本该解决的混叠问题，而离开声音，它确实无从观测。

早先的尝试漏掉了什么

把音频转成文字是最先冒出来的念头，偏偏丢掉了我们需要的东西。语音识别前端会把非语音线索和韵律整个扔掉，还把时间压成离散 token，一声提示音什么都产生不了。更微妙的是，肯定的语气与犹疑的反问会坍缩成几乎相同的 token 序列，语用意图上的差别就此消失，而转写准确率看上去完美无缺。

第二种直觉是把波形画成图像，当作又一路相机视角。它能反映幅度变化，却掩盖了频谱结构，也就是频率轮廓与音色，材料和接触的信息恰好藏在那里。这种表示还对事件落在渲染窗口里的位置很敏感，性能起伏的原因与物理本身无关。

更近的一条路线把语音接进 VLA 模型，保留韵律和说话人身份。这是实实在在的进展，但它对准的是明确的口头命令，而不是操作过程里环境自身的声学物理，这是另一个题目。全模态系统离得更近，我们的保留意见则是结构性的：它们的设计是先听后做，用声音建立上下文、推断一次动作的意图，而不是把声音当作接触过程中的低层反馈。以上工作都没有处理瞬时事件与分块执行之间的错位，而那才是真正的瓶颈。

CLAP、ImageBind 这类音频基础模型在定长片段上离线、各自独立地训练，部署时又是无状态的，片段之间带不了任何时间上下文。紧凑的音频原生策略跑得快，也处理得了接触，但规模摆在那里，长时程、多阶段的行为很容易垮掉。原生处理音频是必要条件，远不是充分条件。

最容易想到的捷径是提高重规划频率：把动作块截短，查询得更勤，盲区间自然缩小。这些变体我们都试过。收益比看上去应该有的小得多，代价却落在运动质量上：轨迹不连续，抖动明显，还会引入局部的动作循环。它也修不好系统延迟，再高的查询频率都消不掉延迟。因为延迟丢掉的那条线索，问多少次都是丢的。

基准测试同样帮不上忙，因为标准仿真器都是无声的。RLBench 和 ManiSkill 在完全没有声学通道的环境里考察空间推理与视觉控制。真正用声音的导航基准允许智能体移动底座来改善听音几何，机械臂没有这条路：它必须一边干活，一边产生自己的机械噪声。

把感知节拍和决策节拍分开

我们的答案来自一个判断：这是速率不匹配，不是信息缺失。声音一直在，只是策略被问得太少，接不住它。

于是，与其把策略做得更快，我们把两种速率解开。一份持久记忆跟着音频流逐包更新，不看策略何时发起查询。等到真正要决策，记忆里已经装下了此前到达的一切，包括发生在盲区间里的事件。机器人回应的不是上一个窗口，而是刚刚过去这一秒的聆听，其中浓缩着近期的历史。

这是整个设计的核心动作，架构里其余部分都是围着它做的记账。需要一个东西记住，一个东西解释，一个东西预测接下来的声音，还有一个东西去行动。我们照着这个分工给它们起了名字。

两条约束塑造了设计。其一，音频通路必须严格因果：任何环节都不能去看尚未到达的采样，分词器为某一段生成编码时也只能依赖这一段本身。其二，记忆跨度要是指标，不能是运气。它得覆盖最坏情况下的决策间隔，再加上实测的系统延迟，否则这个保证就只是统计意义上的。

四个模块

Historizer。 两次决策边界之间，机器人可能收到一长串连续的音频包，每个约四十毫秒。Historizer 在它们到达时逐一消费，更新一份流式的有状态 Transformer 记忆。这份记忆只在决策时刻读出，其余时间不读。它存在的全部理由就是前面那条证据消失的论证：只开一个窗口的接口，表示不了窗口打开前刚刚发生的事。我们也试过因果 GRU，以及把指数滑动平均池化用在音频特征上；流式注意力多出来的容量对得起它的开销。我们最终选的是短窗口加持久摘要，而不是超长窗口，因为长窗口会把不同的交互阶段搅在一起，结果还取决于窗口边界恰好切在哪里。

Envisioner。 解释分成两层，因为两件事的频率差得很远。高层模型读取多视角图像、当前声学窗口、指令、本体感觉和记忆，产出三样东西：语义隐向量、KV cache，以及一段对当前任务阶段的简短结构化描述，形如 {"stage": "wait", "subgoal": "listen for beep"}。这段阶段文本出自高层模型自己的文本头。随后一个更小的低层模型复用该 cache，结合当前机器人状态得到控制特征。这样分层，把昂贵的语义解释挡在快路径之外。阶段监督比看上去更要紧：少了它，需要快速改变行为的任务会明显变差，因为没有任何东西迫使隐向量说出自己处在哪个阶段，而声学上有意义的阶段，在视觉上往往长得一模一样。

Advancer。 它预测从当前决策到下一次决策之间会到达的声音，形式是流式分词器给出的离散编码，以交叉熵训练。这个模块只在训练时使用，部署时直接丢掉，推理阶段不花任何成本。它的作用，是让隐向量对时间流逝和过程推进有具体的感知。倒水、沸腾、报警、对话，各自的声学未来都不一样；把未来预测出来，会逼着共享表征编码出机器人此刻位于过程的哪一步。没有它，失败的样子和 Historizer 缺席时不同：失败来得晚。声音已经告诉机器人该停了，它还在继续倒。正是这种不对称说明，两个模块解决的是不同的问题，而不是彼此重复。

Realizer。 动作由条件流匹配生成，从高斯先验积到动作块，用几步 Euler 积分解出，控制特征通过自适应归一化注入条件。选流匹配而不是扩散，图的是步数少。这里有个细节要多说两句：平滑为什么重要。把 Realizer 换成直接回归会产生抖动，抖动把机械自噪声灌进麦克风信号，盖住系统其余部分正想听清的那些短促线索。一次由控制选择造成的感知失败。最尖锐的说法是：一边运动一边聆听的策略，必须以让聆听成为可能的方式运动。在这个场景里，感知与控制分不开。

查看原图 ↗

Historizer 把落在盲执行区间里的线索保留下来。

查看原图 ↗

高层模型负责语义和任务阶段，低层模型生成控制特征。

查看原图 ↗

Advancer 只在训练阶段使用，部署时被移除。

三个训练目标加权求和，权重在微调的前一阶段逐步升上来，模型于是先学会模仿，再被要求具备时间感。

数据从哪来：它原本并不存在

没有任何机器人数据集带同步音频。Open X-Embodiment 里根本没有麦克风；真实的同步音频噪声大、绑定具体硬件，没法跨实验室铺开；标准仿真器也都不建模声学。

这两件事我们都做了。OpenX-Sound 从视频出发，为已有的回合补上音频，同时保留全部原始信号，我们手工抽查了一部分样本，核对同步性与语义相关性。有一点要说清楚：这是给表征学习用的冷启动机制，替代不了真实的物理数据。合成音频可能漏掉细微的接触线索，可能把事件时间挪位，也可能凭空编出一个没有物理来源的声音。论文里每一个结果，都是先把 OpenX-Sound 检查点在有真实音频的任务专属示范上微调之后得到的。合成音频让预训练的声学先验成为可能，真正让行为奏效的，是后面那些真实数据。

另一半是 HEAR-Bench。它建在双臂仿真器上，另起一个异步音频线程，按控制周期推出的精确采样位置注入环境噪声和触发片段，并且只有在提示音之后达成几何目标才判成功。那条时序规则就是它的全部贡献。没有它，回合一开始就按下按钮，和闹铃真正响起时再按，看上去毫无区别。

真机实验的精心设计：为什么是这几项任务？

在验证端到端多模态具身大模型（VLA）的声音感知操作能力时，我们没有随意选取玩具场景，而是针对纯视觉策略在物理世界中的根本盲区，精心设计了每一项真机实验：

1. 摩卡壶煮咖啡：真正的机器人咖啡师 vs 虚假的开环按键

现存绝大多数声称“机器人煮咖啡”的研究或演示，本质上只是让机械臂走到商用胶囊咖啡机或全自动咖啡机前，开环按下一个固定的塑料按键，然后静止等待内部集成芯片完成倒计时。这种操作根本不需要感知物理状态，本质上只是一次机械开关触发，没有任何温度、流体或烹饪物理变化的理解。

我们在真实厨房台面布置了意大利经典的金属摩卡壶明火加热萃取任务。摩卡壶由完全不透明的双层金属腔体构成，内部加压沸水、滤网咖啡粉饼以及向上喷涌的咖啡液完全深藏在金属壳体内，外部视觉相机与红外传感器根本无法穿透金属窥视内部液位与流动。

一名经验丰富的专业咖啡师绝不依赖秒表，而是全凭双耳监听锅炉内部的声音变化：

静默加热相：底壶水温逐渐上升，仅有微弱的热传导声；
平缓沸腾与层流萃取相：水蒸气压力推动热水穿过粉饼，发出持续、温和的轻微咕嘟声；
暴烈喷溅爆发相（Sputtering Phase / 气穴空化喷涌）：下壶水即将耗尽，高温高压蒸汽混合残存咖啡液从导流烟囱剧烈喷出，伴随着极具辨识度的“嘶嘶喷溅”声。

这是决定咖啡品质的绝对分水岭：早一秒离火，萃取不足导致口感酸涩水感；晚两秒离火，干烧将导致咖啡粉过萃焦苦甚至烧毁壶底。

HEAR 是真正的机器人咖啡师：它通过端到端 VLA 大模型实时监听高频声学频谱的突变，在捕捉到微弱喷溅声涌现的瞬间，以毫秒级响应发出离火动作块，将摩卡壶稳健移离电热炉。

查看原图 ↗

对比传统开环按键与 HEAR 监听金属摩卡壶内部声学相变的本质差异。

2. 摇瓶辨物：主动声学探测（Active Acoustic Probing）

在日常生活中，大量药品瓶、食品罐、封闭包装盒都是完全不透明的。被动视觉观测在面对不透明容器时彻底失效（无论如何调整相机视角，都只能看到静止的外表面）。

机器人必须具备“主动感知（Active Exploration）”的能力：先通过抓持摇晃瓶体施加外力激发碰撞，再从物体撞击容器壁的高频碰撞音色、共振阻尼与撞击频率中，解耦出内部是否存在物体、物体的物理材质与充盈程度。在真机演示中，我们采用装有实物的非空瓶，展示机器人通过主动摇晃准确捕捉内部撞击音并做出分类判断。

3. 真实闹钟：视觉静止下的时序混叠消歧

闹钟在静止状态与响起状态下，视觉外观完全相同。若无声学反馈，端到端策略很容易因捷径学习（Shortcut Learning）直接按停按钮。实验要求策略必须在闹铃真正骤响时才瞬间响应，验证 VLA 对瞬态声学触发事件的时间对齐精度。

4. 往不透明容器倒水与接听电话

往不透明容器里倒水，是声音成为唯一信号的典型场景。液面完全被遮挡，真正的决策变量是水流撞击容器底部与共鸣腔体缩小时倒水声的频率上升变化率。接听电话则检验长程复杂流程中，机械臂根据电话铃声响起到位、根据人声对话停顿判断聆听、并在通话结束挂断音响起后执行复位挂机，验证端到端 VLA 在连续声学事件驱动下的多阶段状态流转。

真机实验视频

所有演示均保留现场真实声音；点击后播放。

摩卡壶煮咖啡机器人化身咖啡师，监听封闭金属摩卡壶内部的剧烈喷溅声，精准判定萃取完成并执行离火。

接听电话铃声、语音和通话结束声帮助机器人区分视觉上相似的任务阶段。

摇瓶辨物机器人主动摇晃不透明容器，通过内部实物撞击的碰撞音色与共振阻尼判定所装物品。

真实闹钟机器人等闹钟真正响起后才按下停止按钮。

核心技术沉淀与工程认识

将高频连续声学信号深度融入端到端具身大模型（VLA），远不止在模型输入端增加一个声学特征编码通道那么简单。传统做法将声音当成额外的视觉通道对待，但声音的物理本质是事件驱动的高频瞬态信号，它要求端到端大模型在底层架构层面解决异步时序节拍的解耦与对齐。

这种张力并不局限于声音。任何以高于策略查询频率产生短促、不可重复事件的接触物理模态（最典型的便是高频触觉与微振动），都会遭遇同样的速率不匹配瓶颈。这种速率与因果不对称性，无法通过单纯把 VLA 大模型推理速度做快来解决。

单纯提高大模型的动作重规划频率并不能弥合瞬态事件捕获问题，反而会由于过高的推理抖动引入控制不稳定，拿系统的长程稳定性去换取盲目的瞬态反应，只会为控制系统引入高频噪声。唯有在架构内部建立显式的局部时序状态记忆与跨模态对齐表征，才能使端到端具身大模型既具备宏观语义因果理解，又拥有毫秒级声学物理闭环能力。辅助的声学未来预测自监督目标可以在推理零开销的前提下提供紧凑的时间锚定，而严格考虑时间触发因果的评测基准，才真正把“看起来做对了”推进到“确实听懂了物理世界”。

目前还做不到的事

只有一个工作空间麦克风，既无法定位声源，也分不开重叠的事件，这实际上就是鸡尾酒会问题。我们想要一个麦克风阵列，或者用底座加末端执行器组成一对来做波束成形。系统完全靠离线模仿训练，鲁棒性受限于示范中噪声与时间变化的多样性，在真实房间里做在线微调或强化学习是最直接的补救。音频和视觉仍作为两路独立的流处理，在表征层面融合，我们猜测，能把音色与接触直接关联起来的原生视听编码器会做得更好。至于不受约束的真实烹饪声学，仍是开放问题，真机部署的难度明显高于仿真。

更大的图景

我们出发时面对的那处张力，也就是高频的瞬时感知事件与低频、带延迟的策略更新之间的落差，并不是声音独有的。每一种把信息放在时间里的物理模态都会遇到它。HEAR 是我们的一次尝试：说明修法在架构上，并且把可以复用的东西留下来，包括 VSLA 的表述、预训练语料和评测基准，让后来的人接着往上做。

MRASfM：驾驶场景中的多相机运动恢复结构与聚合

Sat, 31 Jan 2026 00:00:00 +0000

驾驶数据的形态不适合摄影测量

驾驶场景的图像重建，通常交给视觉 SLAM 去做。可一旦目标是高精地图或者新视角合成，SLAM 这条路就暴露出一个结构性的短板：它的估计是增量式的，只在局部做优化，全局修正无从谈起，长轨迹上的漂移便一点点攒起来。运动恢复结构（structure-from-motion, SfM）走的是相反的路子，一次性读入全部数据，最后统一做一次全局束调整（bundle adjustment）。离线这个特点让它上不了实时机器人，也恰恰是它在这里的价值所在，因为它可以把实时系统花不起的算力花掉。

顺理成章的下一步，是把 SfM 用在驾驶上。但驾驶数据有三个特点，让这件事比看上去难得多。

第一个是采集几何。经典 SfM 假设你绕着目标走一圈，从各个方向拍照；汽车却是沿着一条走廊往前开。视点几乎共线，而共线正是 SfM 所依赖的平移估计最怕的情形。

第二个是数据本身就是碎的。驾驶场景往往只录很短一段时间，重叠有限，覆盖同一片区域的两段行程甚至可能相隔几周。两个最终要落进同一张地图的数据集之间，常常连一张共享图像都没有。

第三个是标定，也是它改变了我们设计整套方法的思路。车辆标定本来就不容易，初值里带着误差，到了起伏路面上误差还会更大。于是出发时手上的那组外参（extrinsics），并不是真正需要的那组，可它偏偏又是能拿到的最强先验。这对矛盾贯穿了整个设计。

已有方法默认了什么

多相机 SLAM 系统精度不错，代价是把精确的相机间相对位姿与内参当成输入。标定必须在部署之前完成，换一套相机配置就很难适应，实际使用中的灵活性因此受限。

增量式 SfM 是最接近的基线，我们对它的批评也很具体。它在增量重建的过程中完全不理会相机组的先验，等重建结束，才在刚性束调整里把先验加回去。到那个时候，增量估计阶段攒下的误差已经没有机会纠正，刚性束调整也抹不掉已经烙进结构里的漂移。逐图像束调整有另一个相关的毛病：相机之间的相对位姿在帧与帧之间可能对不上。

全局多相机 SfM 确实从一开始就固定住相机之间的相对位姿，但它对误匹配敏感，而且当估计出的相对平移接近共线时容易退化。驾驶场景的轨迹默认就接近共线，所以这不是边界情况，而是结构性的隐患。

里程计引导的 SfM 押的是相反的一边，直接拿里程计位姿和相机外参做配准。这对标定精度和里程计精度要求都很高，而这两样恰恰是实地部署最难稳定提供的。这类工作用单应（homography）寻找重叠图像对，这个思路我们借用了；“先验可以信任”这个前提，我们没有借。

还有一个跟这个场景绑在一起的匹配问题。传统描述子在弱纹理图像里提不出多少特征点，而道路场景里到处都是弱纹理表面。

最后，现有的聚合模块在合并重建时，一般默认待合并的两段之间存在共享图像。真实数据里，共享图像通常并不存在。

难在哪里

先验要用，却不能被信任。外参和里程计是车上最强的信号，也是最不可靠的东西。全信，会得到一类失败；完全不用，会得到另一类。两者之间可以腾挪的设计空间很窄。

共线是真正的退化，不是数值上的小毛病。固定相机组的全局方法把成败押在相对平移估计上，直线行驶让这个估计变得病态。

失败模式恰好落在有用信号的位置上。路面在每张图像里都占去很大面积，却几乎不含纹理，于是既提不出足够的匹配，提出来的也多半不可靠。更麻烦的是车辆阴影的边缘：对比度高，会被当成特征点检测出来。阴影边缘不是场景里的一个点，阴影一动，这个特征就跟着动，等于把运动注进了路面，而那正是结构最要紧的地方。

遮挡在相机组上和单相机上完全是两回事。单目系统里，一个相机被挡住就等于全线失败；环视相机组里，其他相机仍然看得见世界。但这份冗余只有在配准真的共享位姿时才算数，逐相机独立估计会把这点好处白白扔掉。

鲁棒性也是有代价的。相机越多，束调整里要优化的位姿越多，效率随之下降。覆盖度买来鲁棒性，账单记在优化规模上，而抵消这笔开销，正是我们很大一部分设计存在的理由。

相机组才是单元

我们的做法是换掉重建的原子。不再把每张图像当作一个待求解的独立相机，而是让刚性单元（rigid unit），也就是同一时刻拍下的全部图像，成为拿位姿的那个对象。这个位姿按定义就是该时刻的车辆位姿。

好处在于，相机组的位姿可以分解成一个随时间变化的车辆位姿和一个静态的组内相对位姿。一个观测充分的相机，能把那些什么也看不到的相机的位姿一并背起来。相机组只估计一次，不必在每一帧重新学一遍。

关键在这个分解用在哪里。我们把它当作配准和束调整内部的重参数化（reparameterization），而不是事后追加的约束。就这一个决定，同时带来三件事。位姿变量从“每相机每时刻一个”降到“每时刻一个加每相机一个”。优化出的相机组在帧间保持一致，因为本来就只有一个相机组需要一致。标定也从一项必须正确的输入，变成一个可以被改正的量。

搭起一次重建

先做对应关系搜索。SuperPoint 负责检测，SuperGlue 负责匹配；匹配点落在不同语义类别的图像对直接丢掉，其余交给几何验证。图像对不是全都试一遍：手上有粗略的组内相对位姿和车辆位姿，就能估出每张图像大致的视场，只去匹配那些有机会重叠的图像对。这么过滤，效率和精度都会好一些，因为两两全匹配本身就昂贵，还会把永远不会共享内容的图像对所带来的噪声引进来。

接下来配准分三步。先在对应关系最丰富的那些图像上估计 PnP。这些逐图像的估计换算成逐单元的估计，再用局部鲁棒旋转平均和平移平均融合成一个单元位姿。该单元里剩下的每张图像，拿单元位姿和标定一复合，位姿就出来了。

中间那一步，正是本方法在前文两类失败模式之间的落点。它和全局那一类一样做平均，但平均的对象是从可靠图像推出来的单元假设，不是原始的相对平移，这才让它扛得住共线。

对这个模块的交代要诚实，而且范围很窄。它对平均位姿精度和效率的作用都很小，真正的用处在遮挡视角上；对应关系丰富的场景里，它并不显眼。我们把这个取舍写出来，而不是把这个模块说成人人受益，因为冗余的价值本来就更集中在长尾。

查看原图 ↗

某个相机被遮挡，不再让整个单元失败。

先把路面挪开

一个单元配准完成之后，我们用 LO-RANSAC 在路面点上拟合平面模型，再把它们去掉。这一步直接冲着阴影边缘的问题去。移动的阴影边缘会产生一个并不附着在场景上的特征，而它落在视野里面积最大、纹理最少的那个表面上，三角化的噪声于是默认往那里集中。去掉这些点，重建精度会提高，收敛也更快。

这里用的假设是路面局部平坦，而我们自己采集的真实场景里就有坡度变化，所以这是一个近似，不是保证。

查看原图 ↗

在噪声最集中的地方，去掉阴影驱动和纹理贫乏的点。

在相机组上做束调整

相机组束调整（camera set bundle adjustment, CSBA）优化的对象是车辆位姿和组内相对位姿，靠代换约束（substitution constraints）把每个相机位姿写成车辆位姿与相机组几何的组合，局部阶段使用 Cauchy 鲁棒损失。变量包括内参、车辆位姿、组内相对位姿和场景点。

它有两种模式，这个划分很要紧。局部 CSBA 固定内参和组内相对位姿，只动新注册的单元及其邻居。全局 CSBA 在所有已注册单元上优化全部变量，当还有大量单元没被优化时，我们就触发一次。

全局 CSBA 重新优化内参和相对位姿，这就是论文所说的在线标定（online calibration）能力。它也是实际收益的所在，因为这一步把实地最不可靠的输入变成了输出。局部 CSBA 更便宜，而它冻结的恰恰是这几个参数，取舍就在这里：便宜的模式修不了标定，能修标定的模式更贵。

从“每相机每时刻一个位姿”到“每时刻一个加每相机一个”的削减，值得多花点笔墨。六个相机跑一条长轨迹，逐图像的写法要优化出六倍于所需的位姿，而每多一个变量，就多一个噪声可以藏身的自由度。变量少了，收敛更快，结果也更一致。在这个问题上，鲁棒性和效率是同一条杠杆，这样的情况并不常见。

查看原图 ↗

车辆位姿与组内相对位姿联合优化，标定才有可能在实地越用越准。

合并没有共享图像的行程

聚合必须在没有共享图像的前提下工作，所以整套策略是粗到细的。先用卫星定位把场景放进一个全局坐标系，用轨迹中点来代表它：一个场景放在几何中心，最近的若干邻居成为候选，再由单应引导的空间图像对，从候选里挑出视觉重叠最大的那一个。

粗放置与真实位置之间差着一个未知变换，因为定位误差比对齐容差更大。那就把这个变换本身当成变量。把新场景里的一张图像重定位，得到一个更精确的位姿，由此求出粗放置与真实放置之间的变换，再用这个变换一次性把整个刚性单元注册进去。接着是三角化，然后一个基于变换的束调整优化这个变换与场景点，同时固定住参考场景的相机位姿。

配准、三角化和调整轮流迭代，直到新场景的每个单元都被吸收进来。合并后的结果接着成为下一段场景的新参考，于是聚合是链式推进的，而不是围绕单一全局锚点展开。道理很简单：链式推进，误差就不会全部来自某一次可能出错的粗对齐。

这一阶段的设计意图是，聚合在粗对齐那一步永远不必精确，只要近到足够重定位即可。

查看原图 ↗

卫星定位把场景放到大概位置，视觉再把它修准。

我们从中得到什么

物理不变量最好的用法是重参数化，而不是加约束。事后强制刚性，拦不住此前已经积累的误差；把刚性写进变量结构，误差从一开始就没有积累的机会。

先验应该用来剪枝，不该用来下结论。粗略位姿决定匹配哪些图像对、从哪里起步，几何最终仍然来自匹配到的证据。这正是我们的做法与我们批评的那类做法之间的分界。

设计时，要让先验可以被改正，而不只是被信任。把相对位姿变成可优化量，最不可靠的输入才会变成输出。

还有一点：判断一个模块的价值，要去它失败模式所在的地方看。相机组配准几乎不改变平均位姿误差，可当某个相机被遮挡时，它就是成功与失败的分水岭。聚合指标足以把一个模块的全部价值盖住。

它仍然假设了什么

方法把粗略轨迹、粗略标定和语义信息当作输入。语义从哪里来，我们只做了假设，没有交代；标签质量对结果的影响，也没有报告。

多场景聚合没做消融。大约三个候选场景这个选择，以及以几何中心为参考的启发式，论文里只做了陈述，既没有给出理由，也没有失败分析。

刚性单元完全由“同时”来定义，这个假设松动时会怎样，我们没有测。相机时间同步误差和支架形变都会破坏它，而这两点都没有讨论。在线标定只做了声明，没有刻画：全局阶段对内参和相对位姿的优化，在多大的运动多样性、多少个相机之下才是良态的，我们没有说。

平面模型假定路面局部平坦，而我们自己的部署里就有坡度变化。跨不同多相机配置的通用性只有论断，实验也只在六相机和七相机的相机组上做过。动机里提到了阴影之外的动态物体，正文里没有专门处理。

它通向哪里

如果要我们概括自己的贡献，那就是换了一个单元，其余的一切都由它推出来。这个更换换来了什么，值得说清楚：把相机组当作配准与优化的原子单元，能在复杂环境里得到稳健的位姿估计，效率也高于传统的逐相机方法。再配合路面过滤和聚合阶段，整条流程能从那些本来没打算合并的行程里，做出统一的一张地图。

我们有意从两个方向做了验证。真实车辆上的实验说明它在数据集之外也站得住，公开基准则把精度上的论断摆到传统基线旁边。这件事实际的分量在于：智能车辆能更可靠地感知周围环境、估计自身位姿，而下游任务真正消费的，就是这两样东西。

MovSAM：基于深度思考的单图像运动物体分割

Sun, 19 Oct 2025 00:00:00 +0000

一张照片里没有位移，却蕴含运动

在计算机视觉与机器人自主导航的传统技术谱系中，运动物体分割（Moving Object Segmentation, MOS）历来被理所当然地定义为一个时间差分测量问题：通过比对连续相邻视频帧，或者求解逐像素的光流场（Optical Flow），发生表观位移的像素区域便被划定为运动物体。这一时序前提是如此根深蒂固，以至于整个领域几乎默认了一个技术假设：没有时间序列，运动分割便无从谈起。

然而，在极其严苛的真实物理世界中，基于时间测量的流程频繁遭遇结构性失效：

静态意图与前驱运动：行人在斑马线边缘前倾重心、准备跨步的瞬间，其身体在像素空间内的瞬时位移几乎为零，光流法完全无法捕捉这一强烈的动态意图；
自运动（Ego-Motion）与动态物体的深度缠绕：当搭载相机的机器人或无人机自身高速移动或颠簸时，画面中所有像素都在剧烈变动。差分计算无法解耦哪些位移源自相机的刚体自运动，哪些源自环境中的独立动态目标；
动态遮挡与瞬态观测丢失：在传感器丢包、无线通信间歇性中断或相机快门高动态捕获的工况下，算法只能拿到孤立的单张单帧图像。传统基于时序的多帧模型因缺乏历史状态无法降级运行，只能彻底陷入停滞。

这项工作源于一个质朴却深刻的物理直觉：人类在观察一张定格的照片时，往往能够毫无困难地指出画面中哪些物体正在运动、甚至预判其接下来的轨迹。人类并不依赖肉眼测量微小的帧间像素漂移，而是通过对场景物理语义的深度阅读：奔跑者前倾失衡的身体姿态、被气流掀起的衣角发丝、脱离地面的车轮悬空状态、以及高速移动产生的边缘运动模糊。运动在这里并非测量出的物理量，而是通过语义推理与常识归纳得出的因果断言。

MovSAM（发表于 IROS 2025）正是旨在赋予机器人这种超越瞬时测量的单图像运动推断能力。通过构建多模态大模型深思引导的“提出—分割—批判”闭环，我们探索了如何在完全缺失时序维度的极端条件下，从单张静态图像中稳健分割出潜在的运动实体。

既有时序与大模型方法的盲区

为了解决无时序条件下的动态理解，现有算法路线各自存在无法回避的技术短板：

时序光流与视频分割范式：经典视频分割方法极度依赖两帧或多帧之间的高信噪比运动线索。它们并非在“利用”时间信息，而是在“消耗”时间信息。一旦将输入截断为单张静态切片，整套依赖特征相关（Cost Volume）与时序记忆传播的网络架构便彻底失效，输出退化为全零掩码；
通用大模型与 Segment Anything（SAM）的表征错配：Meta 发布的 SAM 模型具备非凡的零样本通用分割能力，但其原始设计面向点（Point）和几何包围盒（Box）提示，并不具备原生的自然语言指令接口。更致命的是，SAM 的视觉骨干专注于底层边缘、纹理与颜色梯度的解算，完全缺乏全局场景因果理解能力，它根本无法区分哪块具有清晰边缘的纹理属于静止背景，哪块属于正在移动的实体；
视觉语言分割（Reasoning Segmentation）的运动盲区：近年来涌现的开集指令分割网络（如 LISA 等）尝试将多模态大语言模型（MLLM）接入分割网络。然而，这类方法的核心落脚点在于“识别物体是什么”（Object Categorization），而非“判定物体是否在动”（Motion Reasoning）。它们在面对“运动错觉（Motion Illusion）”时表现极其脆弱——例如一辆喷涂了动感赛车条纹但静止停泊的汽车，或者一幅印有奔跑运动员的街头广告牌，常规模型极易产生虚假激活；
单向级联架构的幻觉累积：简单地将 MLLM 生成的文本提示单向输入给分割网络，在复杂非结构化场景中往往导致灾难性的误差传递。大模型生成的文本描述可能存在空间错位或物体混淆，而下游分割网络由于缺乏反思通道，只能机械地将错误提示渲染为离散掩码，整个系统缺乏纠错韧性。

单图推断运动的物理与几何困难

在没有时间跨度的静态图像中，分割运动物体面临着一系列本质的理论困难：

特征的启发性而非充分性：单张图像中所有可用的运动表征（如衣物飘动、离地腾空、单一支撑点倾斜姿态、径向运动模糊）本质上都是经验启发式线索。它们暗示运动的存在，但没有任何一条在严格物理意义上能够充要证明运动。模型必须综合权衡环境重力场、支撑接触面与力学平衡，才能做出合乎物理规律的推断；
自运动不可观测定理：在单张图像中，绝对自运动在数学构造上是不可逆重构的。画面中若出现倾斜地平线或模糊，无法仅凭单帧纯几何测量区分出“是周围物体在动”还是“相机自身在旋转倾斜”；
视觉空间细节与高层语义的表征鸿沟：SAM 提取的高分辨率图像嵌入（Image Embedding）富含精细的几何边缘与像素级空间坐标，但缺乏语义类别先验；视觉语言模型（VLM，如 BEiT-3）产生的多模态嵌入具有强大的概念推理能力，但在空间分辨率上极度粗糙。如何让两者在不相互污染的前提下实现无损对齐，是算法架构设计的核心挑战；
监督信号的稀缺与构造：全球计算机视觉界从未存在专门标注“单张图像运动物体”的大规模真实数据集，因为这个标签本身就带有主观推理属性。我们必须通过逆向清洗主流视频运动数据集，剔除自运动干扰严重的片段，提纯出具备明确单帧物理运动表征的独立图像，自研构建评测基准。

闭环假设验证：让掩码成为可以被反思的主张

针对上述难题，MovSAM 放弃了脆弱的单向流水线，而是将感知过程构建为一个类似科学家探索假说的闭环推理系统：语言负责生成运动假设，分割网络负责将假设落地为像素级几何主张，反思模型则对生成的视觉证据进行冷酷批判并迭代修正。

整个系统由三个紧密协同的阶段构成：

1. 深度思维链引导的运动假设提出（Deep Thinking Proposer）

多模态大模型首先观察整幅图像。为了防止模型在开放词汇空间中发散甚至产生视觉幻觉，我们设计了结构化的深度思维链（Chain-of-Thought, CoT）推理流程：

智能体首先遍历场景中的所有显著实体及其空间相对布局；
结合重力常识与力学平衡条件，重点扫描不具备稳定物理支撑的物体（如空中飞鸟、投掷出的球体、抬腿奔跑的行人）；
输出带有显式几何定位与运动因果的标准化文本描述：$\mathcal{P} = \langle \text{类别}, \text{空间相对方位}, \text{推断运动动作}, \text{物理线索理由} \rangle$。例如输出：“画面右上角有一只正在空中滑翔的飞鸟，双翼展开且完全脱离树枝支撑”。

2. 特征聚合网络与多模态像素分割（Grounding Segmenter）

在分割网络中，我们以冻结权重的 SAM 2 图像编码器为基础提取稠密空间特征，引入预训练的 BEiT-3 视觉语言模型注入高阶语义理解。针对表征错配问题，我们设计了轻量级的 特征聚合网络（Feature Aggregation Network, FAN）：

FAN 由五层带有跳跃连接的二维卷积层与自适应全局池化层构成。它反向操作：并不试图让 SAM 具备高阶语义，而是提取 SAM 图像嵌入中的多尺度空间拓扑信息，将其压缩为一个紧凑的空间先验向量，随后无缝拼接至 BEiT-3 的多模态输入流中；
调整后的提示编码器接收融合了空间先验的多模态特征，直接激活 SAM 的掩码解码器，输出候选二进制掩码 $\boldsymbol{M}^{(k)} \in \{0, 1\}^{H \times W}$。

3. 多模态反思批判与循环修正（Reflective Critic Loop）

这是 MovSAM 区别于以往所有指令分割模型的关键所在。生成的候选掩码被半透明色彩高亮渲染回原始图像中：

$$I_{\text{overlay}}^{(k)} = \alpha I + (1 - \alpha) \text{Color}(\boldsymbol{M}^{(k)})$$

渲染后的合成图像被重新交由 MLLM 批判者进行多维度审查：

语义正确性检验：高亮区域覆盖的实体到底是否真正处于运动状态？是否误将背景静态雕塑或反光广告牌划入？
空间完整性审查（Under-Segmentation）：掩码是否漏掉了运动主体的关键附属部分？（例如分割了奔跑的人体，却漏掉了其甩起的双臂或腾空的脚踝）；
边缘纯净度审查（Over-Segmentation）：掩码是否由于边缘溢出，把不动的地面阴影或邻近静止护栏错误吞噬？

若批判者判定当前掩码不符合物理真实，它将明确驳回当前结果，并生成带有精准修正意见的二阶提示词（例如：“驳回初版掩码：当前掩码仅包含了飞鸟的主干身躯，遗漏了展开的右侧翅膀，请向右上方向扩充边缘”）；分割网络根据新提示重新计算掩码，进入下一轮迭代。系统设置最大迭代上限为 5 轮，一旦批判者认可其物理一致性，循环立即收敛输出。

查看原图 ↗

MovSAM 借助场景语义与外观，从单张图像中推断可能运动的物体。

查看原图 ↗

每一帧独立处理，遮挡不会把误差沿时间传播开来。

网络训练与复合损失函数

为了在最大化保留基础模型开放泛化能力的同时适应单图像运动推断任务，我们采取了分层微调策略：

参数冻结：SAM 2 的 ViT 大规模图像编码器全程保持权重冻结，以保留其在数亿图像上建立的通用底层边缘提取能力；多模态大语言模型（如 GPT-4o 或开源本地 Qwen-VL）以黑箱 API 或冻结模式运行，保障其通用因果常识不受任务微调的表征侵蚀；
优化模块：仅对特征聚合网络（FAN）、视觉语言适配器以及 SAM 的轻量级掩码解码器进行端到端联合训练；
复合分割损失函数：结合二值交叉熵（Focal BCE）与连续 Dice 损失函数，构建均衡的监督目标： $$\mathcal{L}_{\text{seg}} = \lambda_{\text{BCE}} \mathcal{L}_{\text{BCE}}(\hat{\boldsymbol{M}}, \boldsymbol{M}_{\text{gt}}) + \lambda_{\text{Dice}} \left(1 - \frac{2 \sum \hat{\boldsymbol{M}} \odot \boldsymbol{M}_{\text{gt}}}{\sum \hat{\boldsymbol{M}} + \sum \boldsymbol{M}_{\text{gt}}}\right)$$ BCE 负责逐像素把控精细边界分类，Dice 损失则有效规避了微小运动物体在整幅高分辨率图像中所面临的严重前景/背景正负样本失衡问题。

实验评测与消融洞察

我们在主流视频分割数据集的独立单帧抽样基准，以及由真实机器人车载相机采集的非结构化图像测试集上进行了系统评测：

与传统时序模型的静态退化对比：当人为截断为单帧输入时，传统基于光流与时序记忆传播的视频目标分割算法（如 ProMRA、DeAOT）因缺乏时间差分线索而近乎完全瘫痪，只能输出全零或严重破碎的掩码；而 MovSAM 依靠 LLM 与 VLM 的高层场景因果推理，在单张静态图像上实现了稳健的分割表现，证明了常识物理推理填补时序空白的可行性；
批判反思循环的边际收益：消融实验表明，在加入 LLM 多模态批判反思机制后，复杂动态遮挡与细长四肢漏分割的现象显著减少。多轮迭代使得最终输出不仅是“几何上的边缘聚类”，更是“语义上经得起物理推敲的完整实体”；
特征聚合网络（FAN）的不可替代性：若将 FAN 模块移除，直接将未经空间调制的 VLM 语义特征强行灌入掩码解码器，分割边界会出现大面积锯齿与结构断裂，充分印证了跨模态空间细节补偿机制的关键作用。

查看原图 ↗

单图像运动物体分割的定性对比。

物理局限与未来演进

在论文中，我们以严谨的学术态度指出了基于单帧纯语义推断运动的客观物理边界：

纯粹刚体匀速平移的不可推断性：如果一个表面光滑的刚性球体在无摩擦平面上以匀速低速滚动，且未产生任何运动模糊、形变或阴影脱节，那么在任何单张照片中，该物体与静止状态在物理上是完全不可区分的。MovSAM 的推断基于常识物理线索，无法创造物理世界本身未曾留存的信息；
多轮批判带来的推理时延：由于引入了大语言模型的多轮反思对话，单帧全流程推理耗时在当前硬件条件下处于秒级范围，尚无法直接满足百赫兹级的高速动态避障需求。其现阶段的主要应用场景在于高层态势感知、离线故障时空诊断以及通信降级状态下的关键目标锁定。

总结与工程反思

MovSAM 的核心学术贡献，在于向领域展示了：语言与多模态常识不仅可以用于描述世界，更可以作为一种强大的先验假说，去恢复由于物理传感器受损而缺失的物理时间维度。

通过将基础感知模型（SAM 2）、跨模态对齐网络与大语言模型的深度反思能力有机编织为一个自愈闭环，系统在极度匮乏时序观测的严苛工况下依然保持了对真实动态世界的理解深度。这一探索为机器人面对传感器偶发失效、非连续通信以及极端非结构化环境时的感知韧性提供了崭新的解题范式。

ERMV：面向具身智能的 4D 多视角机器人世界模型

Wed, 23 Jul 2025 12:41:11 +0000

示范数据很贵，可我们手里已经有了

视觉-语言-动作（Vision-Language-Action，VLA）模型在多视角图像序列上训练，每一帧都对应产生它的那个动作。采这类数据又慢又贵，而且扩不起来：一段操作序列就可能包含上千张图像，高质量专家示范的稀缺，是这些策略能否泛化到开放世界场景的主要限制之一。

这项工作的起点是一个观察：数据早就存在了，缺的是多样性。一段抓起盒子的示范教会了策略该怎么做，却只给出了这件事发生的那一个世界版本。如果策略见过的盒子永远只在那张桌子上、那个房间里，它没有任何理由迁移过去。

为了突破这一数据孤岛，具身智能亟需一个能够理解物理交互、保持多视角时空一致性、且严格遵循机器人动作规律的机器人世界模型（Robotic World Model）。如果世界模型能够以已有的高质量动作为条件，在保持物理交互过程绝对保真的前提下，推演生成不同场景外观、光照、背景的反事实世界状态，海量高价值的 VLA 训练数据就能够被成倍激活。

这正是 ERMV 的核心定位：构建一个动作与状态条件化的 4D 多视角机器人具身世界模型。它不仅仅是在做静态的画面编辑，而是把整条 4D 时空物理交互轨迹当作一个可控的状态转移流来建模。

这其中的核心挑战在于物理动作配对。一段真实的机器人示范不是普通的单视角视频，它是若干同步的高频相机视图，加上高精度的机械臂位姿状态和控制指令。一旦世界模型在生成推演时产生空间漂移、改变了相机的几何投影关系，或者破坏了机械臂与操作物体之间的物理接触因果，整段轨迹就变成了违背物理规律的错误示范。这种生成数据比数据稀缺更加致命。

查看原图 ↗

视觉变化在同步视图之间传播，而记录下来的动作保持不变。

现有生成式模型为什么建不好机器人世界

近年来，基于大算力的通用视频生成模型（如 Sora 等）展现出了惊人的视觉合成能力，也有不少研究尝试将其引入具身领域构建世界模型。然而，在机器人精细操作领域，通用的非条件视频生成或者自动驾驶环视世界模型根本无法直接迁移：

自动驾驶世界模型的刚性先验在机械臂操作中彻底失效：为自动驾驶设计的环视世界模型依赖于固定的车规相机阵列以及扁平的鸟瞰图（BEV）投影先验，跨视角注意力被硬编码在相邻相机的已知相对位置上。但机器人操作场景通常配备动态运动的腕部相机（Eye-in-Hand）与多路自由视角的第三人称相机，相机的相对位姿在毫秒级快速变化，刚性空间拓扑先验根本不复存在。
缺乏严格动作条件化（Action-Conditioning）的视频模型会发生物理幻觉：通用视频模型虽然能生成连贯画面，但无法把机器人末端执行器的物理位姿、关节转角和夹爪动作严格作为动力学控制条件。画面里的物体可能无缘无故位移、形变，甚至机械臂穿模或凭空抓起物体——这种生成视频对于端到端策略训练而言是致命的“毒药”。
逐帧单图修复（Inpainting）破坏 4D 时空连续性：单图增强方法虽然能换背景，但它完全丧失了时间维度与相机间的约束，生成出来的物体在不同视角之间“穿帮”，连续播放时剧烈闪烁。
静态 3D 重建难以表达高动态接触物理：基于 NeRF 或 3DGS 的静态重建虽然保住了多视角几何，但很难建模机械臂与非刚体、流体、小物体之间复杂的瞬态接触力学与遮挡关系，更无法应对高速运动产生的运动模糊。

具身智能真正需要的世界模型，必须是在机器人动作与运动状态强约束下、保证多相机视角几何一致、且能稳定进行长时程 4D 物理推演的生成系统。

难在哪里

相机阵列不是固定的。操作数据来自一个不断运动的、以自我为中心的多相机系统，任何依赖已知静态相机间几何的一致性机制到这里就失效了。

运动模糊破坏了我们本来可以依赖的几何。相机和物体同时在动，于是在一张模糊图像里沿精确极线采到的特征，未必对应真实的像素位置。让多视角注意力成立的那个约束，在运动条件下反而是错的。

误差会累积。编辑后的帧要作为历史喂回下一个窗口，小误差不会一直小下去。放到长时程上看，它表现为语义漂移和细节模糊。这个领域对误差的容忍度格外低，因为机械臂和被操作的物体必须在整段序列里保持一致。一旦不一致，这段序列不只是看上去不对，它不再是有效的训练数据。

算力上的矛盾是结构性的，不是偶发的小麻烦。长程记忆想要大一点的工作窗口，而在 L 个时间步、N 路视角的窗口上做密集注意力，又要吃掉一大块显存。我们希望它在一块消费级 GPU 上就能训练。

保住真正要紧的物体，没有便宜的解法。为被操作物体训练一个通用分割器不可行，因为这类物体种类繁杂，常常是从未见过的，还被以自我为中心的刁钻角度拍摄。对上万张图像逐帧人工标注，同样负担不起。

文本提示也缺少这个任务需要的粒度。让模型把背景换成办公室，颜色、房间类型、朝向全都没有定义，出来的结果还可能和机器人正在做的事情相冲突。

用机器人数据自带的结构

机器人数据的结构化程度好得少见。它自带标定过的相机、记录下来的相机位姿、记录下来的机器人状态，以及一个共享的时钟。我们的想法是，别再为编辑另造一套描述规范，直接把这套结构用起来，再加一张手工编辑的关键帧。

主相机的第一帧由图像修复模型或人工编辑，这张编辑后的图像就是视觉层面的规范。论文里叫它 blueprint（蓝图），这个词用得很准。颜色、布局、朝向它都表达得毫不含糊，一句话做不到这一点，而人只需要改一帧，不是上千帧。

从这套结构里引出两个设计决定，它们都在放宽约束，而不是去满足约束。

第一个关于极线几何。一个正在运动的夹爪被运动模糊在像素上抹开，由位姿算出的极线指向的是夹爪静止时应该在的位置。严格施加这个约束，匹配到的是错误的像素。所以我们把极线几何留作搜索结构，同时让模型去学那个偏移。一个小网络根据局部图像特征和运动条件预测运动造成的偏移，注意力沿着平移后的直线进行。约束是被放宽了，但没有被丢掉。

第二个关于注意力。密集时空注意力是维持序列一致性的默认做法，代价很高。支持我们不做它的那个领域观察是：在很多操作场景里背景基本静止，图像变化缓慢，需要靠密集机制去捕捉的帧间差异并不多。所以我们采样。

查看原图 ↗

固定预算的观测为整个窗口提供长程上下文。

稀疏上下文，以及把稀疏拿掉的东西还回去

稀疏时空上下文（Sparse Spatio-Temporal context）在一个滑动时间窗口上采样固定数量的一组图像，规模远小于完整的时间×视角网格。采样是随机的，这一点值得直说，不必往它身上安一个本来没有的智能。

真正起作用的在后半段。每张被采样的图像都带着自己原本的时间索引和相机索引，这些身份被显式编码成条件。下采样破坏了时空结构，于是我们把结构重新注入进去。三秒前的一帧仍然被标记为三秒前，它因此能贡献外观证据，又不会被误当成当前状态。这个想法很小，适用范围却很宽：对结构化数据做下采样时，把结构放回去。

还有第二个决定，把它和常见的自回归方案区分开来。采样得到的历史不只是作为条件注入网络，它还会和未来帧一起被生成出来。未来帧因此能在生成过程中从历史里提取几何结构，而不是仅仅以历史为条件。

在窗口大小固定的前提下，稀疏采样省下的显存大约是两倍。正是这个倍数，让单卡训练成为可能。

运动条件放在哪里

每张目标图像都以相机位姿、机器人状态，以及这两者的时间差为条件。静态项为每个视角提供几何上的落点，时间差项才让模型有能力渲染出运动模糊。这件事比听上去更要紧。去掉运动条件之后，图像看上去反而更锐利，毕竟模糊也是一种“不锐利”，可它们不再具备真实相机会拍到的那些物理特征。感知上的锐利不等于物理上的真实，而在一批不可能锐利的图像上训练出来的策略，学到的是一个并不存在的分布。

训练的前提是同步的位姿与状态记录确实存在。对机器人示范来说这个前提成立，这也是方法在这里行得通、换到任意视频上就行的原因。

查看原图 ↗

极线是搜索结构，一个学到的偏移量负责解释运动模糊。

把人力花在真正需要的地方

生成的帧会作为历史反馈回去，而历史恰恰是误差累积的地方。与其去指望一个更好的生成器，我们在系统层面处理它，引入一个验证器。

一个多模态大模型充当自动检查器，用思维链（chain-of-thought）提示把每张生成图像与原始图像做比较。它按十分制给核心物体的退化程度打分，并给出一致性判断。检查不通过时，系统向专家索取核心物体的分割掩码，这个掩码成为一次纠错式重生成的额外条件。

我们把它描述为 MLLM 审核加专家纠正，并且把它当作一条务实的中间路线，而不是一个已经解决的问题。两个显而易见的极端都走不通：为被操作物体训练通用分割器训不出来，逐帧标注又负担不起。这个环节把人工标注限制在模型失手的少数情况上，而这些地方正是专家时间真正值得花的地方。

关于这条流水线究竟有多自动，应该讲清楚。它不是全自动的。引导帧由人来产出，也可能有人被要求提供掩码。让这条边界往后推属于未来工作，我们提到语义分割和目标检测是可能替代当前部分人工干预的工具。

查看原图 ↗

自动检查捕捉退化，只在它失败的地方请求人工纠正。

我们从中学到什么

被违反的物理约束应该被放宽，而不是被丢弃。模糊破坏了极线几何，有用的应对是学出偏移，同时把几何留在那里当骨架。丢掉约束，等于丢掉了让跨视角注意力得以成立的那套结构。

稀疏化的理由应该来自领域统计，而不是泛泛的效率论证。背景基本静止是操作场景的真实性质，正是它让稀疏注意力站得住脚，而不只是便宜。

对结构化数据下采样时，把被采掉的结构重新注入。每个样本多带两个索引，代价很小，换来的是模型能正确解读它们。

误差累积可以在系统层面处理，不必塞进生成器内部。一个便宜的外部验证器是更好的模型之外的合理选项，它还有个附带好处：把模型的薄弱处定位出来。

还有一点，去做增强，而不是重新采集。这是最实际的主张，也是为什么即使它需要一张引导帧、偶尔还需要人工搭把手，这个方法依然值得做。

系统边界与物理约束

作为面向真实机器人操作的 4D 世界模型，我们也需要诚实界定 ERMV 的系统边界：

轻量表征与隐式几何：ERMV 目前采用多视角 2D 扩散机制结合极线注意力来隐式维持 4D 几何，尚未显式引入深度图、点云或 3D 高斯泼溅（3DGS）等显式三维表征。引入显式 3D 几何先验有望进一步抑制极端大位移下的几何畸变，这是未来架构升级的自然方向。
人机协同的纠错闭环：当前的 MLLM 验证器虽然极大减轻了人工负担，但在遇到高度透明物体或极端复杂流体时，其多模态审视仍可能漏判。目前的设计务实地保留了极少数关键掩码的人工介入通道，实现无人值守的全自主闭环验证仍需更强的高精度大模型支持。
物理保真度与动力学遵循：ERMV 是基于示教动作与运动学先验驱动的生成式世界模型。它能高保真地渲染出光影、材质、背景和遮挡关系的真实时空演变，但它不是通用力学解析器。当动作导致未建模的剧烈破碎或复杂刚体碰撞动力学突变时，世界模型依然依赖于训练分布中记录的物理线索。

通向哪里：可控具身世界模型的未来

ERMV 的核心贡献，在于证明了构建高保真、可控的 4D 多视角机器人具身世界模型不必依赖不可控的黑盒通用视频模型，而是可以深度结合机器人本体的运动学状态与相机几何约束，以极具算力性价比的方式实现物理环境的推演与反事实生成。

作为机器人具身世界模型，ERMV 展现出几个极具变革性的应用图景：

反事实世界推演引擎（Counterfactual World Engine）：给定一段真实示范的物理动作与状态流，世界模型可以推演该动作在无数个平行物理世界中的多视角展开（不同桌面材质、不同光影环境、杂乱背景与反光表面），直接为端到端 VLA 具身大模型提供几乎无限的泛化训练数据。
动作条件化未来推演与安全验证：给定任务初始环境与一段规划动作，世界模型可以前向 rollout 出未来的连续 4D 视频流，作为策略部署前的离线安全评测环境，在不损坏真实机械臂的前提下预警可能的碰撞与操作失误。
打通仿真到真实（Sim-to-Real）的全新范式：在低成本物理仿真器中大规模生成交互动作轨迹，再借助 ERMV 动作对齐的世界模型，将其推演为具备真实相机传感器物理特性（包括镜头噪点、动态运动模糊与真实材质响应）的多视角逼真视频流，以生成式世界模型大幅缩小 Sim-to-Real 的视知觉鸿沟。

LNR：通过学习邻域实现鲁棒多模型拟合

Sat, 14 Sep 2024 10:33:19 +0000

多结构并存下的最小集组合爆炸：为什么盲目随机选取几乎注定选错

在几何视觉与机器人建图中，多模型拟合（Multi-Model Fitting）要解决的是物理世界中最普遍的混叠现实：场景中往往同时存在数十个不同的几何图元（如多堵交错的墙面、多条道路边缘、多个运动物体的轨迹），且这些结构被淹没在海量的传感器噪声与未匹配外点之中。

在经典几何鲁棒估计中，求解一个基础几何模型只需要极其精简的离散数据点。这就是所谓的“最小样本集（Minimum Sample Set）”——例如在二维空间拟合一条直线只需要 $m=2$ 个点，在三维空间拟合一个平面需要 $m=3$ 个点，求解双视图基础矩阵需要 $m=8$ 对对应点。

如果沿用传统 RANSAC 的均匀随机采样策略，系统会假设每一次无偏抽取都有合理的概率命中正确内点。然而，一旦场景从“单模型”切换到“多模型交织”，这种盲目抽样的数学期望就会发生灾难性的指数坍缩：

设场景中存在 $K$ 个不同的真实结构，若盲目从全部观测中随机抽取两个点，这两个点要么分别属于两个完全无关的物理结构，要么其中至少有一个是环境野点。随着交叠结构的增多与外点率的上升，随机抽取的样本对“恰好全部落在同一个合法结构上”的几率微乎其微。每一组错误的最小采样集，却依然要耗费算力调用底层的代数求解器并执行全量几何残差打分。算力绝大部分都被白白浪费在这些先验即错的候选假设上，这是传统采样机制在多模型场景下的结构性瓶颈。

而如果采用贪心迭代剔除（例如 Sequential RANSAC 先拟合一个模型、剔除其内点再重新开始），又会陷入硬聚类的陷阱：现实中相邻结构往往在交界处共享观测，贪心剔除使得共享观测被前序模型独占，导致紧邻模型失去几何支撑而直接被漏检。

还有三条约束决定了我们最终的做法。方法必须在不知道模型数量的前提下工作，这就排除了一整类把模型数当作输入的方案。速度要能实用。最后，它得能迁移到别的任务，因为每换一个问题就要重新设计一遍的拟合器，算不上通用工具。

查看原图 ↗

学习只落在两个决策点上，其余仍是经典流程。

真正出问题的四件事

我们把问题拆成四种失效情形，方法的每个部件各回答其中一种。

第一，几何特征没有被充分利用。现有方法要么依赖人工设计的判据，只看得到几何信息的一部分；要么是神经网络，从头到尾没有显式地看过几何。

第二，噪声带来的低效优化。大量求解器调用，花在从一开始就没有希望的点集上。

第三，模型重叠。这是拟合一个模型与拟合多个模型的根本差别，而多数形式化描述连把它表达出来都做不到。

第四，流程不可微。离散的最小集采样和任务专用的最小求解器都处在流程中间，两者都没有梯度。想把基于学习的方法接进来，难就难在这里。仅有的两条绕行路线都不好用：拿可微的松弛替换精确求解器，等于把求解器弄丢了；改用策略梯度估计，就得接受方差。

已有方法没能解决的问题

贪心的单模型扩展带着上面说的硬归属问题。MultiRANSAC 每次迭代拟合 K 个模型而不是一个，这就要求 K 事先已知；K 一大，计算上就变得不划算，因为一次迭代里同时找出好几个好模型本身就很难。

迭代式假设生成是更精细的一类，共同的毛病是时间上的耦合。每个新模型都建立在前几轮的结果之上，随着流程推进，误差会沿着模型重叠处层层累积。我们自己的消融实验如实记录了这里的取舍：把更强的学习式采样器换进 LNR，精度上去了，整个过程也明显变慢。我们主动选了代价小的那一边，并且把代价写在论文里。

聚类式方法，包括偏好集聚类和把最小集判为有效或无效的网络，在各自针对的问题上表现不错，却没有考虑数据的复用。评估一个假设时得到的信息，不会带到另一个假设的评估里去。

还有一类方法用全局能量函数替换采样启发式，能量由几何误差和聚类规整项构成；也有人用归属能量的凸松弛，或者在超图上做模式搜索。这些形式化在构造上就能处理重叠，代价是所用代价函数足够复杂，复杂到未必能充分利用数据里真实存在的几何信息，迁移到多样而复杂的场景时效果因此受限。

利用并行计算的高效采样方法很强，但它们需要把实例数量当作先验，适用范围受限。

最后是端到端深度方法，精度不错，以黑箱方式工作。这对可靠部署来说是实打实的障碍，也正是我们不想造的东西。

在决策点上学习，以数据点为条件

我们的做法是把经典流程原封不动保留下来，只把学习放到真正做决策的地方：求解之前，决定哪些最小集值得占用一次求解器调用；求解之后，决定每个假设该往哪里动、它又有多好。

关键的设计选择是网络以什么为条件。所有被学习的量都是数据点几何特征的函数，与假设参数无关。正因如此，采样器和求解器才能留在流程里，在前向过程中作为不可微的黑箱存在，不需要任何梯度穿过它们。

这里需要说准确，因为很容易讲过头。求解器在训练中是参与了的：两个分类器的标签都来自把求解得到的假设与真值实例作比较，粗层的标签也来自对采样集合的求解。没有发生的事情，是穿过求解器或采样器反向求导。两者只走前向。

每个点先用 Fourier 特征映射提升空间频率的编码能力，再经过以逐点卷积实现的共享多层感知机，最后最大池化成全局描述子。逐点特征与全局特征拼接成 256 维向量，其中局部 128 维、全局 128 维，于是每个点既带着自己的局部几何，也带着对整个场景的一份概括。粗层模块需要这种整体视角；后来我们发现，细层模块并不需要。

查看原图 ↗

一个点可以同时为多个假设提供证据，重叠因此可以被表达。

求解之前先筛选

粗层模块随机抽取大量最小集，数量刻意取得偏多，以保证覆盖足够广，然后为每个集合预测一个置信度。只有得分最高的那些能走到求解器面前。

这里有两件事值得展开。第一，采样为什么一直保持随机，而没有变成迭代式。随机采样避开了迭代式生成器那种误差累积，也能保住对整个观测集合的覆盖。这是务实的折中，不是最优解，我们在文中也这么写了。

第二，置信度按二分类问题来训练，这意味着模块学会了挑选有希望的最小集，却不需要任何显式的退化检验。经典流程会写死若干检查来拒绝退化构型（degenerate configuration）；在这里，拒绝是从求解结果与真值的比较里学出来的。我们把一条手写规则换成了一条学出来的规则，好处在于它随数据改变，而不随写规则的人改变。

去掉粗层模块，性能掉得很明显，因为细层网络应付不了那样堆积起来的候选数量。分开预训练粗层、而不是两层联合训练，效果同样更差，原因正是整套训练设计里最有意思的地方。

用邻域判断一个假设

对每一个存活下来的假设，我们划出一块邻域（neighbor region）：在某个任务相关的距离度量下离它足够近的那些数据点。直线用欧氏距离，消失点用方向距离，平面用重投影误差，运动用归一化极线约束。邻域内的点先被编码，再把每个点到该假设的残差拼接到它自己的特征上，点数不足的邻域用零填充以便批处理，最后由两个头读取结果。

一个头预测的是增量，不是一个完整的模型。直线任务里，它预测两个端点各挪一点点；消失点、单应或者基础矩阵任务里，它预测一个对应的调整量，这个调整量直接加到粗层假设上。网络从不凭空造模型。核对并修正一个猜测，比从零生成一个要容易，所以生成交给经典求解器，修正交给网络。

另一个头预测评分。论文在这里的立场常常让人意外：一致性最大化并不偏向最好的那个模型。内点计数是衡量假设质量的标准代理指标，模型一旦重叠，它就是错的代理指标。取而代之的，是从假设周围的数据里学出评分。

邻域表征也是重叠之所以能被表达的原因。两条相交直线在交点附近共享一块邻域，那里的点同时落在两个邻域内部，为两个假设都提供证据。整个流程里没有任何地方做硬归属。

细层模块还刻意丢掉了粗层所依赖的全局上下文。细化单个假设时，局部细节更有用；全局信息会带进来许多无关细节，反而拖慢这件事。同一个特征在筛选时帮忙，在细化时添乱。这种不对称是一条可以复用的由粗到细原则，也说明两个模块不能简单看作同一个网络跑了两遍。

查看原图 ↗

细层依据假设周围的观测打分，而不是只看假设参数。

决定场景里有几个模型

打过分的假设是冗余的。好几个假设描述的是同一个结构，而答案里它只该出现一次。我们把目标检测里的非极大值抑制（non-maximum suppression, NMS）搬到这个场景，把交并比换成几何意义上的相似度：直线看端点距离和夹角，消失点看高斯球面上的邻近程度，单应和基础矩阵则看逐点距离向量之间的相似度。

决定场景里有多少个模型的，也是这套机制。模型数量是抑制过程的输出，而不是方法的输入，这正是我们一开始就想要的效果。

两个模块如何互相训练

三个损失。粗层置信度和细层评分都用二元交叉熵，标签由候选与真值实例的相似度导出。细化头用 Smooth L1 目标函数监督参数增量。

需要解释的是两层之间的耦合。细层的损失会回传到粗层模块，于是选择器学到的是优先挑那些细层能处理得动的假设，而不只是去匹配一个预先定好的标签。两个模块共享编码后的邻域特征，梯度通路就是靠这一点存在的。联合训练优于预训练粗层，原因在于细层的信号重新定义了粗层眼里什么算好。

消融实验里还有一条我们事先没想到的观察。只用更难的场景训练，也就是画面里直线更多的那种，效果与用简单场景训练持平，甚至更好。我们把它归因于数据变化更大，起到了正则化的作用。用来对照的基线采样器上，同样的效应也出现了，只是弱一些。

我们从中得到什么

让学习和不可微部件解耦，靠的是换掉网络的条件，而不是把它们变可微。这份克制是本文方法上最强的表态，也正是精确求解器得以保留的原因。

选择器要对下游的兼容性负责，而不是只对着自己的代理标签优化。预训练会丢掉联合训练能保住的信息。

一致性不等于质量。模型重叠的时候，内点计数是错的度量；把它当成对的，模型就会被少算。

一个特征的价值取决于它出现在哪个阶段。全局上下文对筛选有利，对细化有害。

还要把多实例做进结构里。如果接口规定每个点只能进一个模型，那么无论怎么训练，都表达不了两个。

它假设了什么

两个分类器需要真值实例作为监督。在没有真值模型的领域里表现如何，我们没有刻画。

邻域半径和采样预算是任务相关的量，除了说它们会随任务变化，我们没给出设定办法；抑制阈值同样没有写出来。

跨任务迁移意味着要重新推导四个任务相关的部件：邻域的距离度量、求解器、细化的参数化方式，以及抑制时的相似度。这些是针对每个任务的实际工程工作，我们不宣称零样本迁移。

面对长度不一的邻域，零填充是我们唯一的办法；点很少的邻域会不会因此被稀释，我们没有考察。

随机采样是折中，不是最优。我们自己的消融显示，更强的采样器能提高精度；而一个便宜的学习式采样器能否两头兼顾，我们没有给出答案。

为什么保留两段式流程

保留既有的两段式策略，理由很具体：可解释性。数值方法天生可解释，适用范围也界定得清楚，缺点在于难以充分利用数据的几何特征。端到端深度方法表现很好，却说不清自己是怎么得到结果的。

LNR 保留了流程，输出就是显式的几何模型。网络接受通用的无序点集，图像对应、三维点云和像素坐标都包含在内；损失作用在几何特征上，而不作用在假设上。正是这一点，让它能和各种各样的求解器与采样过程兼容，可微与否都不影响。

我们给自己定的目标刻意不高。希望它为用学习的方式处理多模型拟合带来一点新想法；比起一个精度说不清来由的方法，我们更愿意要一个行为经得起追问的方法。

DiffSAC：扩散引导的采样一致性鲁棒估计

Sat, 31 Aug 2024 11:15:11 +0000

昂贵的地方不在采样，而在无效假设的验证

在三维视觉与机器人状态估计中，从带有大量噪声和外点（Outliers）的观测数据中解算几何模型，采样一致性（Sample Consensus, RANSAC）历经四十余年依然是无可替代的工业标准。然而，这一经典范式存在一个往往被工程实践默认承受的结构性沉重代价：候选最小集的生成是廉价的，但对每一个候选模型进行全局外点检验却是极其昂贵的。

在几何估计中，最小集（Minimal Sample Set）是指能够唯一确定模型参数所需的最少观测数量：拟合空间直线需要 2 个点，拟合三维平面需要 3 个点，估计单应性矩阵（Homography）需要 4 对对应点，而在双视图几何中求解基础矩阵（Fundamental Matrix）通常需要 8 对对应特征点（或 7 对）。经典 RANSAC 依赖全局均匀随机抽样。根据几何概率统计，若数据集中外点比例为 $\epsilon \in (0, 1)$，最小集规模为 $s$，为了以概率 $p$（通常取 0.99）至少抽中一组全内点组合，所需的理论迭代采样次数为：

$$K = \frac{\ln(1 - p)}{\ln\left(1 - (1 - \epsilon)^s\right)}$$

当外点比例温和时，计算尚可接受；但一旦面临恶劣的野外感知或低纹理重复场景，外点比例飙升至 80% 甚至 90% 时，组合数发生灾难性爆炸。在求解 $s=8$ 的基础矩阵且 $\epsilon = 0.8$ 时，全内点组合被命中的先验概率仅为 $(0.2)^8 \approx 2.56 \times 10^{-6}$，理论上需要执行超过 180 万次迭代。即便在工程中硬性截断迭代预算为几千次，绝大多数算力也彻底耗费在解算那些从物理上就注定错误的模型，并在数千个观测点上反复计算投影误差。

不仅如此，随机均匀采样对几何退化完全无感。两对空间距离极近的特征点，其局部坐标可能高度精准，但在数值上却构成病态的超短基线；三维空间中几乎共面的四个点，在求解双视图对极几何时会导致退化解。均匀采样从不考虑一组点作为一个整体的联合几何相容性，盲目抽样的结果就是绝大部分候选集合在进入代数求解前就已经是无效组合。

既有改进方法的得与失

为了让最小集的提议更加高效，过去二十余年学术界沿着多个方向进行了深耕，但各自保留了难以回避的局限：

先验排序与局部邻域启发式：PROSAC 根据特征匹配的局部质量分数（如匹配距离比值）建立排序，优先从高分候选池中抽样；NAPSAC 与 Progressive NAPSAC 则假设内点在欧氏空间中呈现局部聚集特性，限制在空间小球邻域内抽取组合。这类启发式方法在结构化场景下确实能加快收敛，但其缺陷在于：特征匹配质量高并不保证几何分布不退化，而强行限制在局部邻域则极易丢掉跨越大视场的全局长基线约束，在重复纹理（如建筑物玻璃幕墙、地面地砖）产生虚假局部一致性时彻底失效。
假设后处理与局部优化：LO-RANSAC、GC-RANSAC 与 MAGSAC++ 反其道而行之。它们放弃对前序采样提议的干预，转而专注于在发现一个初具雏形的候选假设后，通过图割（Graph Cut）、局部内点加权或连续阈值边缘化来精修模型参数。这些后处理算法极其优异，并且我们在最终系统中也兼容了它们；然而，它们从根本上没有触碰“如何在千万级外点中以极少代价命中第一个高质量候选”这一核心瓶颈。
端到端可微深度估计（DSAC 系列）：DSAC 及其后续工作将离散的假设选择过程松弛化为可微概率分布，使得深度神经网络能够端到端反向传播梯度。这一思路在学术上极为优美，但在工程落地中面临严重的黑箱困境：神经网络内部直接隐式回归模型参数或潜空间权重，一旦在真实自动驾驶或 SLAM 运行中输出严重偏移的位姿，工程团队无法通过残差追溯究竟是哪几个特征点引发了数值漂移，缺乏工业级系统所必须的安全可解释性与故障排查接口。

正是在这一背景下，我们提出了一个直接的问题：能否把最小集的获取过程，从被动的盲目抽样转变为目标导向的条件概率生成？ 我们并不试图用神经网络替代底层的经典代数求解器，而是让学习模型专门承担最困难的任务——直接生成极高质量的候选最小集。

生成候选集合，而非被动试错

DiffSAC 的核心构想是：把鲁棒估计中的采样步骤重塑为几何条件扩散模型（Geometry-Conditioned Diffusion Model）的逆向采样过程。如果神经网络能够学习到“在当前观测点云下，能够成功解算出正确模型的有效最小集”的后验概率分布，那么在推理时，我们只需从该分布中生成极少量的候选集合（例如 10 到 20 个），每一个候选组合都具备极高全内点概率与良好条件数，随后交由确定性的经典求解器与共识函数进行评估。

这在概念上与文本生成图像（Text-to-Image Diffusion）形成了有趣的映射：一段文本提示词可以生成多张构图合理但细节略有不同的高质量图像，用户可以从中挑选最完美的一张；同样，DiffSAC 针对同一批几何观测输入，通过注入不同的高斯初始噪声，并行生成数十组各具特色但全部物理合法的最小集候选。

这种设计巧妙规避了传统生成扩散模型在机器人学中遭遇的高延迟批评。在图像生成中，扩散模型必须去噪百万级的像素张量；而在 DiffSAC 中，每个几何观测点仅对应一个连续的标量置信度（Confidence Scalar）。对于包含数千个特征点的场景，整个扩散向量的维度仅为数千维，结合高阶快速数值求解器，整套扩散逆向过程在主流 GPU 上的耗时能够被严格控制在十余毫秒以内，其节约的巨额代数解算与外点残差验证开销，在计算预算上构成了高度划算的代换。

关键的理论抽象在于：这个连续置信度标量代表什么？ 我们打破了传统方法将置信度定义为“单个点自身是否为内点”的局限，而是将其严格定义为“该观测点是否与其他被选中的点协同构成一个优良最小集”的集合级联合相容属性。

条件扩散过程与数学形式化

设输入的几何观测集合为 $\chi = \{x_i, d_i\}_{i=1}^N$，其中 $x_i \in \mathbb{R}^d$ 表示观测的几何坐标（例如特征点的二维图像坐标或三维空间点），$d_i \in \mathbb{R}^{d_f}$ 表示局部外观描述子向量（如 SuperPoint 或 SIFT 特征）。

记定义在观测集合上的真实置信度目标场为 $\boldsymbol{c}_0 \in [0, 1]^N$。在连续时间扩散框架下，前向加噪过程定义了在时间步 $t \in [0, 1]$ 下将 $\boldsymbol{c}_0$ 逐步扰动为高斯白噪声的伊藤随机微分方程（SDE）：

$$\mathrm{d}\boldsymbol{c}_t = \boldsymbol{f}(\boldsymbol{c}_t, t)\mathrm{d}t + g(t)\mathrm{d}\boldsymbol{w}$$

其对应的逆向逆时去噪过程则由概率流常微分方程（Probability Flow ODE）确定：

$$\mathrm{d}\boldsymbol{c}_t = \left[ \boldsymbol{f}(\boldsymbol{c}_t, t) - \frac{1}{2} g(t)^2 \nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi) \right] \mathrm{d}t$$

其中条件得分函数 $\nabla_{\boldsymbol{c}_t} \log p_t(\boldsymbol{c}_t \mid \chi)$ 由参数化去噪神经网络 $\boldsymbol{s}_\theta(\boldsymbol{c}_t, t, \chi)$ 进行拟合。整个去噪演变以几何观测 $\chi$ 为硬条件，使得置信度的细化过程受到真实三维对极几何与空间法向的强力引导，而非在无约束流形上盲目游走。

在训练阶段，我们采用真值几何模型生成理想的监督信号 $\boldsymbol{c}_0$：对于给定的真值模型，系统在所有真值内点中随机检索出与模型数值相容的最小集，将入选观测的置信度标定为 1，其余所有点标定为 0。去噪网络采用直接预测干净场 $\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$ 的 $x_0$-参数化目标，以均方误差损失函数进行端到端优化：

$$\mathcal{L}_{\text{diff}}(\theta) = \mathbb{E}_{t, \boldsymbol{c}_0, \boldsymbol{\epsilon}}\left[ \left\| \hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi) - \boldsymbol{c}_0 \right\|_2^2 \right]$$

在这一目标下，网络被迫学习在含噪置信度场中捕捉哪些点组合在一起能够消除代数奇异性。

查看原图 ↗

前向污染提供训练目标，逆扩散生成候选最小集。

置换不变的 Transformer 去噪网络架构

在几何估计中，输入特征点的排列次序是完全人为且随机的。如果去噪网络依赖固定坐标索引或一维卷积，模型就会灾难性地学到输入序列特有的虚假拓扑，且无法应对任意规模可变的点数 $N$。

为此，我们将去噪骨架构建为一个 不带任何绝对位置编码（No Positional Encoding）的置换不变 Transformer：

特征投影：将每个观测的几何坐标 $x_i$、外观描述子 $d_i$ 与当前含噪置信度标量 $c_{t, i}$ 进行特征拼接，通过多层感知机（MLP）映射为 $D$ 维的潜在特征向量 $z_i^{(0)}$；
全注意力聚合：堆叠多层标准的自注意力（Self-Attention）与跨注意力层。自注意力机制在所有 $N$ 个观测之间建立全连接注意力图： $$\boldsymbol{A} = \text{Softmax}\left(\frac{\boldsymbol{Q}\boldsymbol{K}^T}{\sqrt{d_k}}\right)$$ 在这种机制下，任何一个观测点在调整自身置信度时，都能够依据整个场景中其他所有点的几何距离、视差梯度与外观相似度进行全景加权，这正是评估多点空间相容性所需的数学运算；
置换不变性保证：由于完全摒弃了位置编码，对于任意置换矩阵 $\boldsymbol{P} \in \mathbb{R}^{N \times N}$，网络满足严格的等变性定理：$\hat{\boldsymbol{c}}_\theta(\boldsymbol{P}\boldsymbol{c}_t, t, \boldsymbol{P}\chi) = \boldsymbol{P}\hat{\boldsymbol{c}}_\theta(\boldsymbol{c}_t, t, \chi)$。无论输入的点集如何乱序排列，输出的置信度分布严格保持物理一致。

消融实验证实，将 Transformer 替换为 PointNet++ 或基于 k-NN 图卷积的 DGCNN 骨干网络时，模型在复杂大基线匹配下的泛化性能出现断崖式下跌，证明全局全景自注意力对捕捉跨视场长距离几何约束具有不可替代的作用。

查看原图 ↗

不使用位置编码，保持排列不变性。

推理流程：并行多副本扩散与快速求解

在测试推理阶段，DiffSAC 采用“批量并发扩散—硬提取—经典验证”的高效流水线：

批量副本初始化：将当前帧的观测集合 $\chi$ 在显存中并行复制 $B$ 份（通常设置 $B = 20$）。为每个副本独立采样一个服从标准正态分布的随机置信度向量 $\boldsymbol{c}_1^{(b)} \sim \mathcal{N}(\mathbf{0}, \boldsymbol{I})$；
高阶快速 ODE 求解：采用 DPM-Solver++ 高阶显式求解器，将原本需要上百步的离散去噪过程大幅压缩至 10 至 15 个时间步，各副本在 GPU 上以批处理方式并发完成反向去噪，输出收敛的连续置信度场 $\boldsymbol{c}_0^{(b)}$；
Top-k 最小集硬提取：针对每个副本的置信度场，直接通过硬性 Top-k 索引提取数值最大的 $s$ 个观测点，组成候选最小集 $\mathcal{S}^{(b)}$；
确定性代数求解与共识评估：调用闭式几何求解器（如针对直线/平面的奇异值分解 SVD，针对基础矩阵的归一化八点法或七点法）独立求解模型假设 $\mathcal{M}^{(b)}$。将求得的模型与全量观测 $\chi$ 比对，计算几何投影残差并根据共识评分函数（如 MSAC 或 M-estimator 核函数）遴选出综合得分最高的最终模型。

这种“初始噪声随机、选择过程确定”的设计极为精妙：20 个独立的噪声种子探索了不同的高置信度极值盆地，保证了输出候选的多样性；即使其中某一个副本因偶发退化落在病态解上，其余独立的副本依然能够稳定提供优质候选，彻底消除了单次启发式提议容易陷入局部死锁的风险。

查看原图 ↗

生成的置信度决定哪些观测进入最小集。

查看原图 ↗

条件置信度提议接入经典双视图几何流程。

最关键的消融：为什么迭代去噪无可替代？

在审视 DiffSAC 时，一个自然的疑问是：为什么必须使用复杂的迭代扩散过程？直接训练一个前向回归网络，一次性从输入数据中输出置信度向量难道不行吗？

针对这一问题，我们设计了最具说服力的对照实验：保留完全相同的 Transformer 主干网络结构与训练目标，移除迭代加噪去噪机制，让网络从干净的输入 $\chi$ 中直接单步回归置信度向量 $\hat{\boldsymbol{c}}$。

实验结果展现了巨大的鸿沟：

直接回归网络输出的置信度场表现出严重的均质化与弥散性，无法在微小几何尺度上拉开内点与退化点之间的对比度差距，Top-k 提取的最小集包含外点的概率极高；
相比之下，扩散逆向过程展现出了清晰的逐步自优化行为：在前几个时间步，网络首先利用全局注意力滤除掉绝大部分特征不匹配的外点；在中间时间步，网络开始根据对极几何约束剔除局部共线或视差过小的退化几何点；在最后几个时间步，置信度场迅速极化变尖，将注意力精准聚焦在一小撮高杠杆、大基线的黄金内点组合上。

这一消融雄辩地证明：扩散过程的本质并不是为了追求随机性，而是把原本极其困难的高阶几何组合寻优问题，拆解为一系列沿着梯度场平滑收敛的轻量级低阶细化步骤。

此外，由于 DiffSAC 严格保留了经典的几何求解器与外点共识函数，它与现有的局部优化算法（如 LO-RANSAC、GC-RANSAC）具有天生的正交互补性。当把 DiffSAC 生成的优质初始假设输入给 LO-RANSAC 进行局部二次迭代时，系统的最终估计精度再次获得了显著提升，证明两者的结合完美拼合了“高效宏观提议”与“精细局部收敛”的完整版图。

全面基准评测与局限性审视

我们在合成受控数据集以及包括 ScanNet、MegaDepth、PhotoTourism 在内的多个极具挑战性的真实世界双视图几何基准上，对 DiffSAC 进行了详尽评测。评测任务涵盖了直线拟合、三维点云平面分割、基础矩阵与本质矩阵求解以及单应性矩阵估计：

在 80% 超高外点率的极端合成压力测试下，经典 RANSAC 在 5,000 次迭代内求解成功率不足 15%，而 DiffSAC 凭借仅 20 个并行候选提议，成功率稳定维持在 94% 以上，平均估计误差降低了一个数量级；
在真实大视角变化与重复纹理场景下，DiffSAC 显著降低了退化模型的生成概率，在双视图位姿估计 AUC 指标上大幅超越了 PROSAC、MAGSAC++ 等强基线算法。

在坦诚审视系统表现的同时，我们在论文中同样明确指出了当前的物理边界与局限：

任务特化与泛化边界：当前版本的去噪网络针对特定的几何自由度进行训练（例如针对单应性矩阵与本质矩阵分别需要独立的模型权重）。构建能够跨任务统一处理任意自由度几何约束的通用条件扩散网络是下一步的核心方向；
算力与硬件平台依赖：尽管 DPM-Solver++ 将步数压低至十余步，但 Transformer 在处理数千点集时的自注意力计算仍高度依赖 GPU 的张量并行能力。在缺乏强力显卡的微型边缘端嵌入式系统上，其推理吞吐率仍有待进一步工程剪枝与量化优化。

核心主张与工程哲学

DiffSAC 所追求的工程哲学，是对基于深度学习的计算机视觉研究范式的一次理性回归：将学习模型置于真正困难的高维模式识别与组合提议环节，将经典算法坚守在成熟透彻的代数解算与残差共识验证环节。

在几何视觉中，从数万个杂乱组合中找到满足物理约束的极小集是一个高度非凸、高度非线性的困难模式匹配问题，这正是深度神经网络大显身手的舞台；而通过最小集解算模型参数、计算重投影几何误差，则是经典几何学早已彻底解决的解析代数问题，绝不应该被低效、不可控的端到端黑箱网络盲目替代。

这种分工不仅带来了效率与精度的兼收并蓄，更彻底捍卫了复杂工程系统最珍贵的可解释性与安全审计边界。在任何一次估计发生异常时，算法工程师都能清晰地调阅每一个候选集合的置信度流形、追踪对应代数解的特征矩阵条件数，让系统的每一次决策都有据可循、有理可辨。

RLSAC：强化学习增强的端到端鲁棒估计采样一致性

Sun, 01 Oct 2023 00:00:00 +0000

采样器：没有人训练的那一环

几何视觉的大半江山，是靠鲁棒估计撑起来的。相机位姿、运动分割、宽基线匹配、平面拟合、直线拟合，把应用层剥掉，剩下的都是同一个问题：观测里有很大一部分根本就是错的，怎么还原出正确的那些观测共同认可的那个模型。四十年来，这个问题的默认答案一直是 RANSAC。它抽出一组最小集（minimum set），用这组集合解出一个模型，数一数有多少观测与结果一致，然后重来。两点确定一条直线，八对对应点确定一个基础矩阵。

抽取这一步是刻意盲目的。每个观测都被当作同样值得一试的对象，数据本身的任何信息都进不了这个决策。外点稀少时，这个赌注是划算的。但它很快就变得不划算：外点比例一升高，抽到一组全由内点构成的最小集的概率就往下掉，找到好模型所需的迭代次数跟着往上涨。能让搜索变轻松的证据，就摆在观测数据里，采样器却从来不看一眼。

第二个问题更安静，也是我们写这篇论文的原因。均匀随机抽取不可微。你没法把它接到网络里，也没法用一个位于它下游的目标函数去训练它。于是鲁棒估计器最后停在了学习系统的边缘：一个开箱即用的部件，外面裹着一层接口，从不与周围的部件一起优化。

前人的工作从好几个方向试过，各自都留下了一点没解决的问题。LO-RANSAC 持续在当前最优假设的内点中采样，它改善的是已经找到的那个模型，而不是找到它的那次搜索。NAPSAC 把采样限制在一个局部邻域内，换来条件数更好的集合，代价是失去全局覆盖；PROGRESSIVE NAPSAC 让邻域不断扩张，也只是给这个假设打补丁，并没有把它换掉。GC-RANSAC 和 MAGSAC++ 改变的是假设的打分方式，不动假设的提出方式。PROSAC 和 USAC 对采样顺序做重排或调度，可排序规则是手工设计的，在第一个假设被评分之前就已经固定。NG-RANSAC 这类方法学到了对点的有效偏好，围绕它的过滤式做法会及早丢掉糟糕的候选集合，但两者都没把采样决策的序列当成一件需要规划的事。DSAC 走得最直接，把选择概率化，让梯度能穿过整条流水线。这确实可行，但它要求采样器、求解器和打分环节全部可微，而我们最信任的那些经典部件，恰恰都不可微。

采样就是一个动作：强化学习马尔可夫决策过程（MDP）形式化

我们最初的观察是：这两个问题形状相同。强化学习里，智能体读取状态，选择动作，环境回报发生了什么。抽取一组最小集本来就是这个结构。

我们将几何鲁棒估计序列形式化为马尔可夫决策过程元组 $\langle \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma \rangle$：

状态空间 $\mathcal{S}$：在时间步 $t$，设全部输入观测集合为 $\mathcal{O} = \{o_1, o_2, \dots, o_N\}$。状态矩阵 $\mathbf{X}_t \in \mathbb{R}^{N \times D}$ 将每个观测的表征向量并行排布，融合了静态几何特征与动态历史轨迹。
动作空间 $\mathcal{A}$：动作对应于从 $N$ 个观测中抽选出基数为 $m$ 的最小采样集合 $\mathcal{M}_t = \{i_1, i_2, \dots, i_m\} \subset \{1, \dots, N\}$。例如直线拟合中 $m=2$，双视图基础矩阵估计中 $m=8$，单应矩阵估计中 $m=4$。
环境状态转移 $\mathcal{P}$：经典求解器与共识函数充当确定性环境。求解器 $\mathbf{M}_t = \mathrm{Solver}(\mathcal{M}_t)$ 产生几何模型参数，共识函数计算全局几何残差分布，驱动状态转移至 $\mathbf{s}_{t+1}$。
奖励函数 $\mathcal{R}$：求解器将提出的集合转化为模型假设后，共识函数度量所有观测与该模型的一致性。定义阈值 $\tau$ 下的内点集合为 $\mathcal{I}(\mathbf{M}_t, \tau) = \{ i \in [1, N] \mid \mathrm{dist}(o_i, \mathbf{M}_t) < \tau \}$。标量奖励由瞬时内点比例与历史探索增益共同定义：

$$ \mathcal{R}(\mathbf{s}_t, \mathbf{a}_t) = \frac{|\mathcal{I}(\mathbf{M}_t, \tau)|}{N} + \lambda_{\text{best}} \mathbb{I}\left( |\mathcal{I}(\mathbf{M}_t, \tau)| > \max_{k < t} |\mathcal{I}(\mathbf{M}_k, \tau)| \right), $$

其中第二项为突破历史全局最优记录时的探索奖励指示函数。

这个设计最关键的地方在于：整个强化学习循环中，任何地方都不需要人工标注「哪些观测点是真值内点」。只要几何问题自带闭式最小求解器与几何代数残差定义，物理环境本身就会免费回传稠密奖励。从联合结果出发训练，意味着策略从来不会被告知哪些单个观测在绝对意义上是好是坏，它学到的是什么样的点组合能够解出全局一致性最高的模型。

问题	RLSAC 的回答
学的是什么？	采样策略；求解器与打分函数保持原样
需要什么监督？	除了流水线本来就会算出的共识得分，不需要人工真值标签
状态里放什么？	观测特征、选中的集合、相对上一个假设的残差，以及使用次数
用在哪里？	合成直线拟合与真实双视图基础矩阵估计

策略能看见什么：四路特征编码与残差感知

状态里只放观测是不够的。第一步和第十步看到的数据一模一样，策略无从知道自己已经试过什么。所以构造状态时，我们让它携带上一次决策的后果。

每个观测上堆叠了四路物理特征，形成维度为 $D$ 的状态向量 $\mathbf{x}_{t, i} = [\mathbf{f}_i^{\text{obs}}, a_{t-1, i}, r_{t-1, i}, c_{t, i}]$：

观测原生特征 $\mathbf{f}_i^{\text{obs}}$：提供底层数据描述。直线拟合中为二维点坐标，双视图对应关系中为归一化图像坐标对 $(u_1, v_1, u_2, v_2)$、匹配相关性分数以及局部几何描述子。
上一步动作标记 $a_{t-1, i}$：构成上一轮最小集 $\mathcal{M}_{t-1}$ 的观测记为 $+1$，其余未被选中的观测记为 $-1$。
几何残差场 $r_{t-1, i}$：上一个模型假设 $\mathbf{M}_{t-1}$ 在观测点 $i$ 处诱导的几何残差。对于直线为点线欧氏距离，对于基础矩阵为极线 Sampson 距离。这是一份遍布所有观测的稠密几何梯度反馈，明确指示出当前模型在哪些区域成立、在哪些区域失效。
历史采样频率计数器 $c_{t, i}$：记录观测点 $i$ 在当前回合内已被选中的归一化累积次数。

残差指出哪些区域有希望，计数是一条面包屑防止陷入局部循环，动作标记标出当前位置。它们都不改变底层的几何真实，改变的是策略从几何拓扑中读取模式的能力。

查看原图 ↗

从一次采样到下一次采样：观测特征、所选集合、残差与采样历史共同构成状态转移。

一个回合，一次随机起点：图神经网络与最大熵 SAC

RLSAC 在同一份输入上跑若干个回合，每个回合都以随机抽取的一组最小集开场。这几乎不花什么计算代价，却换回两样东西。一是性能下限有了理论兜底，每个回合都从一次无偏抽取出发，策略只会比它更好；二是策略立刻获得了一个有意义的初始几何残差场作为响应基准。

策略网络采用 EdgeConv 风格的动态图神经网络。观测集合天然无序，将观测当成平坦序列读入的网络会受到排列扰动的影响。EdgeConv 在特征空间构建动态 $k$ 近邻图 $\mathcal{E}_t = \{ (i, j) \mid j \in \mathcal{N}_k(i) \}$，并执行边特征卷积：

$$ \mathbf{h}_i^{(l+1)} = \max_{j \in \mathcal{N}_k(i)} \Theta^{(l)} \left( [ \mathbf{h}_i^{(l)}, \mathbf{h}_j^{(l)} - \mathbf{h}_i^{(l)} ] \right). $$

差分项 $\mathbf{h}_j - \mathbf{h}_i$ 能够显式捕获相邻特征点之间的相对几何导数（如局部线段斜率或局部极线一致性），对称的最大池化算子保证了对观测输入次序的严格置换不变性（Permutation Invariance）。

网络顶层为每个观测输出未归一化的对数几率 $z_i$，通过带温度参数的 Softmax 转化为选择概率分布。在训练阶段，我们采用离散动作空间的 Soft Actor-Critic（SAC）框架，最大化累积奖励与策略熵：

$$ J(\pi_\theta) = \sum_{t=0}^T \mathbb{E}_{(\mathbf{s}_t, \mathbf{a}_t) \sim \rho_\pi} \left[ \mathcal{R}(\mathbf{s}_t, \mathbf{a}_t) + \alpha \mathcal{H}(\pi_\theta(\cdot \mid \mathbf{s}_t)) \right]. $$

最大熵目标 $\mathcal{H}$ 阻止了策略在组合爆炸的离散采样空间中过早坍缩到某一个局部极小值点，保证了充分的组合多样性探索。而在测试推理阶段，策略直接以贪心方式选取概率最高的前 $m$ 个点构成提议集合。

重复的最小集会被显式拒绝。每一个在当前回合中使用过的集合都由哈希表记录，若策略提议的集合已被探索，则按概率递推抽取下一个，直至得到全新集合。这确保了宝贵的采样计算预算不会浪费在重复的假设验证上。

训练中，回合在三种情况下自适应终止：内点数连续两步不再变化，内点率连续三步未能打破本回合最优记录，或者达到步数硬上限。测试时则只保留最大步数上限，给予策略充分搜索时间。

看它在一条直线上怎么工作

在正方形里撒下几百个点，让其中一部分落在一条直线上，其余当作外点。任意两点确定一条候选直线，其余每个点到它都有一个距离，这个距离就是反馈。随着一步步推进，假设肉眼可见地朝真值靠拢。这看着很舒服，但并不是有意思的地方。

有意思的是策略到达之后干什么。一旦找到内点率很高的假设，它就继续在局部做文章，细化这一组集合，而不跳到数据的另一片区域。没有记忆的采样器做不到这一点，因为它无从知道自己已经离得很近。这是把残差和历史特征放进状态最有力的论据，而且在定性轨迹里，它比任何汇总数字都明显得多。

我们的合成数据还把外点放进内点带内部，真实场景里也会出现这种情况。这样一来，「背下坐标」这条捷径就被堵死了。真正可学的是什么样的点组合能构成条件数良好的模型，这正是我们希望策略掌握的东西。

查看原图 ↗

论文示例：候选假设与残差信息随策略状态转移发生变化。

从点扩展到图像对应关系：极几何、Sampson 误差与退化规避

双视图几何换掉了观测的物理载体，却没有换掉 MDP 的接口。现在一个观测是两幅图像上两个局部特征点之间的一次几何匹配 $o_i = (\mathbf{x}_i, \mathbf{x}'_i)$，由归一化坐标、初始匹配置信度与深度特征描述子共同表征。

当智能体抽取 8 个观测组成的最小集送入经典非可微求解器（归一化八点法）时，求解器解算基础矩阵 $\mathbf{F}$ 满足对极几何代数方程：

$$ \mathbf{x}'_i{}^\top \mathbf{F} \mathbf{x}_i = 0. $$

共识函数使用一阶近似的 Sampson 一阶几何误差衡量全部 $N$ 个观测与所得极线几何的一致程度：

$$ d_S(\mathbf{x}_i, \mathbf{x}'_i; \mathbf{F}) = \frac{(\mathbf{x}'_i{}^\top \mathbf{F} \mathbf{x}_i)^2}{(\mathbf{F} \mathbf{x}_i)_1^2 + (\mathbf{F} \mathbf{x}_i)_2^2 + (\mathbf{F}^\top \mathbf{x}'_i)_1^2 + (\mathbf{F}^\top \mathbf{x}'_i)_2^2}. $$

在这一设定中，几何估计面临的经典陷阱是几何退化（Degeneracy）：如果采样的特征点大多共面（如落在同一堵平整墙面上）或空间分布极其狭窄，解出的基础矩阵在代数上秩亏或存在虚假零空间，导致内点计数虚高而在全局空间严重失准。

令人欣慰的是，图网络在连续回合与残差反馈中，自发学会了规避这种退化。策略倾向于在空间大基线、深度落差明显的刚性背景区域（如建筑拐角、远近景交错边缘）抽取点对，而不会将采样配额集中在局部纹理重复或狭窄聚集区。没有人显式编写退化检测规则，这种空间分散性完全是最大化全局共识奖励在图注意力传播下的自然结果。

查看原图 ↗

学习式采样器接收经典几何求解器的反馈。

真正穿越两个任务的东西，与其说是训练好的网络权重，不如说是一份严格解耦的系统约定：编码观测拓扑，提出离散最小集，调用不可微几何求解器，计算物理残差，将几何状态反馈回策略。换到新问题上，仅需提供与任务匹配的物理特征、求解器算子与残差定义。

我们从中得到什么

我们反复回到的一条经验是：奖励可以替代可微性。只要下游有一个物理或几何指标能给输出打分，它就能训练产生这个输出的前端模块。没有必要把 argmax、SVD 分解、求解器或者阈值强行软化为可微版本，可解释且高精度的经典部件就能完整保留在架构内部。

在这里，记忆也比单次预测更值钱。把上一次尝试的残差送回状态，计算开销极小，几何信息密度却极高。训练一个更大参数量的一步到位分类器不仅泛化脆弱，而且在复杂退化场景下根本无法抵御长尾外点。

还有一条工程底线：学习到的采样器绝不该在任何场景下比它取代的随机基线更差。每个回合都用一次无偏随机抽取开局，从算法设计上锁定了系统的理论性能下限。

它仍然受限的地方

一份诚实的清单：

阈值超参数依然存在：内点判定阈值 $\tau$ 仍是手工设定的先验参数，并直接影响奖励标量。这正是 MAGSAC++ 等连续打分框架试图消除的敏感性，我们在当前版本中保留了它，尚未将其转化为完全无参数的连续密度打分。
候选集容量截断：为了控制图卷积的计算复杂度，状态只跟踪初始置信度最高的前 $N$ 个对应关系。若前置特征提取阶段发生了严重的漏检，真实内点完全落在该集合之外，策略受限于输入上界便无法将其召回。
计算延迟与迭代预算的权衡：图网络前向推理、SVD 求解以及稠密 Sampson 误差计算，每一步都需要数十毫秒级耗时。相比纯 C++ 实现的轻量级 RANSAC 变体，RLSAC 在单次迭代上的时间开销明显更大。它的优势在于将传统方案数千次盲目采样压缩至十余次精准决策，但在超高帧率极限场景下，这笔计算开销仍需通过模型轻量化或知识蒸馏进一步优化。

更大的图景

论文的讨论部分给出了我们真正相信的论点。一次性的深度估计器一旦离开训练分布就不可靠，可解释性又差，很难部署到工程场景里。经典估计器行为清晰、适用范围明确，却因为不可微而无法折进学习框架。把两者结合起来，两种性质都能拿到。一个部件只要能被打分，它就能被学习，同时还能继续做那个你信得过的部件。

我们很想知道，同样的处理方式能不能推广到几何栈里其他不可微的部件上。SLAM 中的噪声协方差估计是我们一直在琢磨的那一个。

基于激光雷达–相机融合与 IMM-UKF 的高速公路三维目标检测与跟踪

Tue, 04 Apr 2023 00:00:00 +0000

每两米就盲一次的感知

这项工作真正的设计约束是延迟，而不是精度。

多数基于融合的三维检测算法在工作站上也只有不到 15 Hz，而开车的并不是工作站。车载计算平台算力更低，而且它并不专供感知：规划、控制以及整个系统的其他模块都要同时运行，同一份预算还要再被分走一块。

把 15 Hz 的代价换成一个具体数字。高速行驶时，相邻两帧之间车辆前进约 1.94 米。在这段距离里，感知系统实际上看不到刚刚发生的变化，我们把这叫做时间盲区（time blind）。后果一点都不抽象：一个按两米之外那辆车的位置做反应的系统，反应的是一个已经不存在的场景。

30 Hz 能大幅缩短这段盲区，也给其他模块留出运行空间。这个目标，以及它必须在可负担的硬件上、而不是在开发机上达成，决定了论文里的每一个选择。它还意味着我们做了一次有意的取舍：纯激光雷达方法的检测精度高于融合方法，我们从一开始就没打算在这一轴上赢过它们，目标是在它们达不到的频率下依然有竞争力。

三类融合方案各自的代价

把图像和点云结合起来的路子有三种，每一种都要付出代价。

先在二维上检测、再把框提升到点云里的视锥（frustum）方案，会让整个系统依赖那个二维检测器。图像分支一旦出错，误差就传到三维，没有挽回的余地。

在特征层或候选框层融合、端到端训练，效果很强，代价是区域级融合的过程会丢掉原始信息。这类方法往往结构复杂、运行缓慢，而运行缓慢正是我们要解决的问题。

第三类把点云投影到图像特征图上，用在那里找到的内容增强每个点。架构因此离纯激光雷达检测器很近，这正是我们想要的；柱状编码器又把运行时间压得很低。我们选这一类，理由就在这里。

纯激光雷达检测这一支同样有谱系可循。基于体素的三维卷积精度好，速度慢。稀疏卷积提高了效率，还是不够快。柱状表示把问题降到二维卷积，在精度与速度之间取得了最好的平衡，我们就建在它上面。

跟踪环节用经典滤波器而不是学习式滤波器，是有意为之，不是图稳妥。学习式跟踪器在实时条件下的表现很差，拿神经网络做数据关联又太耗时，匈牙利算法因此保留下来。批处理式跟踪被排除是另一个原因：它要用到全部数据，而行驶中的系统永远只有历史。二维跟踪也被排除，因为它给不出目标在三维中的位置和尺寸。

滤波器方案里最接近的一个是知名的三维跟踪器，简单高效，只用一个匀速模型。匀速模型无法表示正在转弯的车辆，它的状态估计于是恰恰在预测最要紧的场合退化。还有一个单目跟踪器，在一台相机下使用扩展卡尔曼滤波。城市道路场景中也有一套 JPDA-IMM-UKF 系统，检测环节用传统聚类，跑出来的轨迹是碎的，下游跟踪因此受影响。

IMM 本身在航空领域是标配，在车辆上却几乎见不到，原因很说明问题。飞机的机动幅度很大：速度变化大，航向变化快，切换模型值得那份复杂度。车辆运动要温和得多。再加上汽车场景里可供参考的工作很少，IMM 需要的那些参数很难设定。

难在哪里

在完整图像分辨率下逐点融合，还要跑满 30 Hz，这首先是算力预算问题，其次才是精度问题。每个点挂多少图像通道，就是你手里那个旋钮；我们把它当作取舍来调，没有一味取最大值。

数据层融合（data-layer fusion）还有一种安静而具体的脆弱之处。每个点都要对应到一个图像位置，标定一旦有误差，采样到的特征对每个点都落在错误的像素上，而由此得来的输入看上去完全合理。没有任何错误信号，系统并不知道自己拿到的是垃圾。

如果非选一个运动模型不可，那就怎么选都吃亏。匀速模型简单，处理直线运动很强。恒转率恒速模型能处理旋转。单独用哪一个，在对方的场景里都会出错。答案是在两者之间切换，而切换又带出一组先验参数：状态切换矩阵、状态协方差、过程噪声与量测噪声协方差。按惯例这些参数凭经验设定，而经验值并不能保证适用于另一个场景。这是实打实的方法问题，不是调参上的小麻烦。

非线性问题同样存在。匀速模型的转移对状态是线性的。恒转率模型的转移里，位置由速度、偏航角速度乘以航向的正弦与余弦表示，这是非线性的，滤波器因此需要 sigma 点，不能只做一次普通的卡尔曼更新。

跟踪还得同时扛住中断、抵抗噪声。遮挡会让检测丢失，对新建轨迹过于宽松又会放进检测器的误检。这两种失效模式的方向正好相反。

物理条件还给检测设了上限，与架构无关。在我们的一个例子里，三辆很远的车各自只返回三到五个激光点。点太少，检测就是不触发。

附加邻域，而非单个像素

这个思路的前一半，针对的正是数据层融合的脆弱。我们不在投影位置上只采一个像素，而是在投影点周围取一个 5 × 5 的图像特征窗口，把整个邻域附加到这个点上。

这样一来，网络学到的是两个模态之间的对应关系，而不是完全信任标定。一个点的投影偏了一两个像素，它仍能在自己的窗口里找到相关的外观特征。这是检测这一半里最有价值的一次概念上的改动，也正是它分开了两种融合：一种扛得住标定误差，另一种会无声地退化。

特征取自一个全分辨率的提取器，理由与上面相关：点必须映射到精确的图像位置，这个窗口才有意义，而降采样的特征图会毁掉这份精度。编码器以 VGG 为基础，改了两处。我们把通道数压下来，让优化过程可控；又在网络中间截断，避免特征图缩得太小，缩得太小就没法用来生成融合数据。自顶向下的解码器做上采样，与同分辨率的编码器特征图合并，输出维度由 1 × 1 卷积控制。

查看原图 ↗

局部窗口学习两个模态之间的对应关系，而不假设标定完全准确。

压掉高度轴，换来帧率

增强后的点随后进入柱状编码器。点被分配到鸟瞰图网格里，网格有单元尺寸，每个单元能留多少个点也有上限，超出上限的部分随机下采样。高度轴被压成一个单元，这就是把三维卷积变成二维卷积的那个技巧，帧率正是从这里来的。

每个点带着自己的几何与外观，另外还有五个偏移特征，描述它相对于所在单元均值和体素中心的位置。一个 PointNet 层把这些特征扩展开，最大池化把每个单元压缩成一个代表，再把这些单元散布回一张伪图像。接着由二维卷积骨干和区域候选头预测带朝向的三维框。

柱状表示的代价有两处：单元内部的高度结构被丢弃，检测范围被相机视场限制住，因为融合需要像素。这两点我们都接受，算作达成频率目标的代价。

有一项损失值得单独说，它看起来多余，其实不然。偏航角残差取预测角与锚框角之差的正弦，而正弦是对称的。车头朝前和车头朝后的车给出的残差完全一样。只靠回归分不开这两种情况，损失里因此另设了一项方向分类。

查看原图 ↗

融合增强后的点云被编码成鸟瞰伪图像。

两个运动模型，以及一次对先验的搜索

跟踪器先预测已有的每条轨迹，再按三维重叠度用匈牙利算法把预测与检测关联起来，更新匹配上的轨迹，并对所有未匹配的对象做新生与终止的维护。

有意思的地方在更新这一步。两个模型并行运行，一个用匀速状态，一个用恒转率恒速状态。混合概率由上一时刻的模型权重和切换矩阵算出，为每个模型构造混合估计，各自的 sigma 点滤波向前预测，再把两者合成 IMM 的预测。关联完成后，每个模型用匹配到的检测做更新，模型概率由量测似然重新计算。这一对模型在构造上就是互补的：匀速模型以很低的代价把线性运动估计得很好，恒转率模型补上它处理不了的旋转情况。

轨迹生命周期管理用两条护栏应对中断与噪声之间的张力。未匹配的轨迹会在有限帧数内继续预测，之后才终止，因为一条轨迹失去匹配通常意味着被遮挡，而不是车辆消失，重新起一条轨迹反而会把轨迹割碎。未匹配的检测必须连续多帧出现，才会生成新轨迹，偶尔的误检就被滤掉了。两条规则守的是相反的失效模式。

先验参数是我们偏离惯例的地方。切换矩阵和各协方差没有凭经验设定，我们把它当成一个优化问题，用粒子群优化（PSO）拟合出来。这个名字容易招来误读，值得说清楚：粒子群优化是在参数空间里做无导数搜索，跟粒子滤波毫无关系，这项工作里也没有出现过任何粒子滤波。

关于这次拟合有两点要讲，与其被人发现，我们宁愿自己说出来。优化是离线的，而且按数据集分别进行，所以它不是在线自适应；参数是对拟合所用的那批数据拟合出来的。另外，一个对称的切换矩阵本身并不能说明数据集里的车辆运动更偏向匀速模型，尽管很容易那样去读。

查看原图 ↗

跨过一次漏检，往往比把它检测出来更划算。

我们从中得到什么

延迟预算是设计的输入，不是事后测出来的指标。一旦跨过实时这条线，剩下的预算才轮到精度，架构就该围绕这个先后次序来组织。

局部感受野是完美标定的廉价替代。两个传感器本来就对不齐，在邻域里学习对应关系，比假设某个像素就是对的好用。

先给问题降维，再去优化网络。柱状化是让整件事成立的那个技巧，不是附带的处理。

在这类问题里，混合表示胜过纯粹的单一路线：学到的外观特征、显式的几何投影、显式的状态估计器，各做各擅长的事。模块化在出问题时也有好处，每个组件都有明确的职责，也有各自的失效特征。

互补胜过调参。两个在不同情况下失效的模型，好过一个在哪都不出彩的模型。

先验一旦真的猜不出来，就去搜。承认 IMM 的经验值可能无法迁移，是这篇论文里最有价值的一句方法论表述。

它做不到什么

老实的总结是：这个系统在精度上有竞争力，但不领先。它在检测速度上有明显改善，精度上仍落后于最好的纯激光雷达方法，这正是我们选的取舍。

IMM-UKF 对运动方向变化很小的目标处理得不好。一个在多种假设之间切换的滤波器，需要有可观测的机动，切换才划算。

检测范围受相机视场限制，这是这种融合设计本身带来的。远处的稀疏目标会失败，前面三到五个点的例子已经说明这一点。跟踪器与检测器是两个分开的阶段，没有联合优化，这是我们在未来工作里指出的方向之一；另一个方向是在不牺牲帧率的前提下把精度做上去。

结语

我们做出来的东西把三维检测与三维多目标跟踪整合成一条流水线，用高速公路行驶的实时要求来衡量：一个高效输出带朝向框的检测器，一个在运动不确定的情况下跟随目标的跟踪器，后者靠的是数据关联、交互式多模型滤波和拟合出来的参数。我们并不是说它是最准确的系统，而是说它的精度在融合方案达不到的频率上是实打实的；在高速公路上，落后世界两米，本身就是一种不准确。