具身智能 | 聂畅

机器人化学家：面向生化实验的双臂移动操作全栈系统

Sun, 06 Sep 2026 00:00:00 +0000

在生化实验室自动化与“AI for Science”的研究范式中，计算化学模型与大型语言模型（LLM）已经能够自主设计分子逆合成路线与高通量反应条件。然而，智能科学探索的真正瓶颈在于物理世界的实验闭环验证（Wet-Lab Physical Validation）。传统的自动化移液工作站体积庞大、管路复杂且高度专用化，无法操作标准的人类实验仪器（如通风橱、旋转蒸发仪、台式离心机、分析天平与磁力搅拌器）。构建具备人类操作尺度与高机动性的通用双臂移动机器人化学家系统，成为打通全流程自主生化合成的关键突破口。

然而，将双臂协作机器人部署进真实生化实验室，面临着远超传统工业流水线的物理与感知挑战。系统必须在非结构化环境中应对完全透明反光的玻璃器皿、严苛的机械装配公差、流体晃动飞溅风险，以及包含数十个连续步骤的长时序实验任务。

本项目基于轮式全向移动底盘与协作双臂平台，研发了面向生化实验台操作的全栈软硬件系统：结合多视角几何感知、运动学重定向示教、参数化技能库与物理状态契约核验，实现试管与烧杯协同操作、试剂微升转移以及离心机精密对称配平装配等实验流程的自主闭环。

实验室场景的真实挑战与系统分层

实验室操作不同于工业产线标准刚性工件的流水线装配，它对机器人的空间感知精度、双臂协调柔顺性和任务容错性提出了极高要求：

系统层次	核心工程挑战	我们采取的应对方案
环境与本体感知	透明石英/高硼硅玻璃器皿导致常规深度点云出现大量空洞与折射失真	结合多视角轮廓提取、空间圆锥交会几何与隐式先验，高精度解算 6D 抓取位姿
移动与空间布局	底盘停靠微小偏差与化学通风橱狭小有限空间的臂体作业干涉	移动底盘提供粗定位，到达工位后基于视觉标记与局部特征二次对齐最佳可操作度构型
精密接触技能库	易碎薄壁玻璃防破损防滑脱、微型离心机精密孔位装配防卡滞	将操作解耦为抓取、倾倒、对准、插拔等参数化原子技能块，引入自适应柔顺对齐与寻孔微动
流体运动稳定性	运输液体试剂途中液面晃动溢出、倾倒时表面张力挂壁与液滴失准	基于流体动力学约束优化加加速度平滑轨迹，结合手眼视觉实时监测倾倒状态
智能体规划与自愈	跨越数十个连续操作步骤的长时序流程中，微小误差累积导致整体任务阻断	VLM 驱动的任务层在每个动作前后核验物理状态契约，触发局部重试与异常恢复分支

系统与算法架构

实验意图 → 技能学习 → 物理执行 → 闭环反馈

移动底盘高效穿梭实验工位，仿生双臂执行高精度器皿操作，智能体分层规划驱动技能调用并闭环检验物理结果。

技能学习路径

01示教与动作映射时序动作理解 · 人机异构映射

02虚实结合训练场景重建 · 教师与学生策略 · 迁移

03可复用技能抓取 · 放置 · 倾倒 · 工位交互

任务执行路径

04任务与场景理解实验指令 · 物体状态 · 步骤前提

05全身运动控制移动底盘 · 双臂 · 可达性与接触

06评估与恢复检查完成状态 · 重试或重新规划

执行反馈 → 场景更新与技能改进研究目标：把真实交互中的问题转化为下一轮学习的依据。

核心技术实现：从物理先验到闭环自愈

为了在真实生化实验台前实现无人值守的高可靠作业，我们构建了多模态感知、运动学映射、动力学平稳控制与契约状态核验的全链条系统。

1. 透明与反光玻璃器皿的 6D 空间位姿精密解算

在生化实验中，烧杯、试管与量筒大多采用透明高硼硅玻璃或石英材质制成。主动结构光相机投射的红外散斑会直接穿透玻璃表面，并在器皿内部和背面形成严重的焦散二次反射，导致常规传感器输出的深度图出现大面积飞点与空洞。

针对透明物体的几何感知退化，我们构建了多视角轮廓相交与 CAD 几何约束联合优化流程：

边缘提取与空间圆锥交会：利用车体与手眼多路高分辨率相机从不同视角拍摄玻璃器皿，提取高精度器皿轮廓边缘；通过多视角视线反向投影构建空间椭圆锥面，解析求解多锥面的公共切相交流形，精准恢复器皿口部三维圆环的空间位置与法向朝向。
CAD 几何模型约束与法向对齐：以提取的口部特征为基准，将试管与烧杯的几何模型沿主轴展开，在局部有效点云上进行法向约束对齐，将透明器皿的 6D 位姿解算误差稳定控制在毫米级以内，为末端柔顺抓取提供了高可靠几何基准。

2. 人类示教动作的人机运动学重定向与奇异点规避

经验丰富的化学家在操作移液枪、旋开瓶盖与转移试剂时动作敏捷平顺。为了提取人类双手操作的专家先验，我们搭建了基于穿戴式动捕与双目视觉的人类示范采集系统。然而，协作机械臂受到固定的连杆长度、关节力矩极限与运动奇异点的严格约束。如果直接将手腕笛卡尔位姿硬映射给机器人，在操作特定工作台边缘时极易引发关节速度超限或运动顿挫。

我们设计了考虑可操作度优化与平滑约束的运动学重定向机制：

操作特征流形提取：从人类示范中解耦出器皿间相对接触姿态、进出法向量与末端速度特征标尺，过滤人体抖动噪声；
任务空间逆运动学投影优化：在逆运动学求解中引入机械臂可操作度指标与参考舒适姿态偏离惩罚，引导机械臂在逼真复现双手协同操作逻辑的同时，始终运行在远离奇异位形的高刚度安全区域内。

3. 微型离心机工位的高精度轴向对齐与柔顺装配

台式离心机是生化实验的核心设备，转子内部均匀分布着倾斜深度孔位，装配间隙极其微小。若离心管插入时的姿态轴线发生轻微倾斜，管体会立即卡滞在转子孔口边缘，强行下压会导致试管破裂或电机报警。

为此，我们设计了“全局定位 + 眼在手视觉伺服 + 柔顺螺旋探孔”的三阶段装配控制架构：

全局粗定位：底盘停靠于离心机操作台前方后，双臂首先将试管转运至离心机转子正上方的待命平面；
眼在手同轴度伺服导引：安装在机械臂末端的高清微距相机对离心机孔位边缘执行拟合，解算出孔位几何中心与试管底部的相对位置与轴线偏角，通过视觉伺服动态驱动机械臂微调末端姿态，使对准同轴度误差迅速收敛；
轴向定力下沉与螺旋微动探孔：末端开启轴向柔顺阻抗控制，以微速垂直向下插入试管，同时实时监控腕部力传感器的纵向阻力。若检测到阻力异常突增，判定为管口发生轻微干涉，系统自动激活微幅高频水平螺旋搜索微动，顺畅滑入孔底，实现连续高可靠的安全落座。

4. 流体运输平稳控制与微量倾倒

在生化实验中，转运敞口烧杯与试管时，液面晃动不仅容易造成液体飞溅污染台面，晃动的流体还会持续产生偏心力矩扰动末端抓持。

流体运动抑制与平滑轨迹规划：结合容器几何尺寸与液深特性，在机器人末端轨迹生成层设计加加速度（Jerk）受限的平滑滤波器，对加减速脉冲进行滤波整形，有效消除加速、急停与换向过程中的激振，实现运输全流程液面平稳无溢出。
倾倒弯月面视觉监控：在将试剂自管口倒入烧杯时，双臂协同控制倾斜角度。通过高帧率手眼相机实时监测管口液体的表面张力弯月面与液滴分离状态，实现对流体转移量的精准闭环调节。

烧杯抓取与转移

细长物体抓取

试管对齐与入架

5. 显式物理状态契约核验与长时序异常自愈

在包含数十个离散步骤的复杂生化实验中（例如取管、旋盖、天平称量、移液、振荡、离心对角配平装载、离心分离等），开环顺序执行极易由于微小偶发异常导致整组实验中断。

我们构建了基于显式物理契约的分层自愈执行引擎：

分层任务编排架构：顶层由具身规划 Agent 负责长程时序推理，中层将实验流程实例化为带有参数化约束的原子技能块，底层运动控制器负责执行与轨迹插值，确保逻辑推演与高频控制解耦互不阻塞。
前置与后置物理断言校验：为每个技能节点配置多模态物理断言条件（例如抓取技能校验夹爪开度与自重拉力突变，配重装载技能校验对角对称位置的质量平衡等）。
局部分支自愈重试机制：一旦某一后置契约校验未通过，系统不会直接报错中断实验，而是根据异常特征自动触发局部的恢复动作分支（如释放夹爪、回退安全位姿、重新局部多视角对齐并自适应补偿后再次抓取），显著提升长时序实验的整体鲁棒性。

实机演示与功能验证

试管与烧杯精密协同操作实机原速记录：机器人在实验台自主执行微米级器皿识别、自适应抓取与高稳定流体转移。

离心机精密工位自主作业实机原速记录：机械臂自主定位离心机狭窄孔位，以高精度对齐完成试管插拔与配重装载。

上面两段实机视频记录了机器人在真实生化实验台前的全流程作业实况：

微型器皿精准识别与流体转移：机器人在光照复杂的实验台前准确识别出透明试管与敞口烧杯的三维几何位姿，双臂平稳协作完成液体吸取、转运与注入，全流程液面平静无晃动溢出；
离心机狭窄工位精密作业：机械臂依靠眼在手微距相机精准锁定微型离心机内部微小倾斜孔位，以亚毫米级的同轴度顺畅完成试管垂直插拔与对角对称装载，并在动作完毕后平滑撤出通风橱安全区。

工程总结与技术积累

生化实验室场景下的双臂移动操作，是机器人从工业确定性环境迈向非结构化复杂精细作业的试金石。在研发落地过程中沉淀了以下关键技术认知：

突破光学退化需要几何先验与隐式神经表征融合：面对透明反光的玻璃器皿，单纯依赖常规深度传感器是不可行的。将 2D 亚像素边缘流形、空间圆锥交会几何与隐式 3D 场景重建有机融合，是保证接触可靠性的根本前提。
将动力学特性内化于动作规划中：易碎器皿抓持与流体转运在本质上是多体动力学约束问题。只有将接触力矩上限、振动抑制与输入整形显式纳入底层轨迹生成器，才能真正实现高柔顺、防晃动、无飞溅的专业级实验操作。
显式契约断言是长时序可靠性的唯一保障：在涉及数十个步骤的物理实验流中，开环假设是极其危险的。给每个原子技能赋予自检与自愈能力，让系统具备“感知-行动-断言-重试”的物理闭环，是具身智能体走出实验室走向真实科研自动化的核心路径。
软硬件协同设计对抗空间非结构化：在通风橱等受限作业空间内，移动底盘的宏观位姿冗余与双臂操作微观构型的协同解耦，是避免关节死锁与作业奇异性的关键支撑。

香港中文大学合作项目：图书馆书架智能整理与双臂移动操作机器人

Mon, 21 Sep 2026 00:00:00 +0000

在半结构化物理环境中，“把一本书放回书架”看似平淡无奇，对自主移动双臂机器人系统而言却涉及空间几何、接触力学与长时序决策的多重强约束：

书架上的书籍紧密排列，相邻书本存在倾斜挤压与大面积侧向摩擦力，操作间隙通常处于毫米量级；
书脊表面纹理差异大，且覆有塑封膜反光，常导致视觉位姿估计出现角度漂移；
移动底盘只要停偏数厘米，机械臂在伸入书架进深操作时就会迅速触碰关节奇异点或机械限位，亦或遮挡手腕相机的观测光路；
抽取或插入单本书籍时若缺乏对侧向力的约束，极易引发相邻书本的多米诺式倾覆。

本项目与开展深入合作，研发面向图书馆书籍自主归架与书架整理的移动双臂机器人系统。我负责其中的 AI Agent 决策与物理执行闭环架构，探索如何将高层整理意图转化为可靠、可核验的连续物理动作。

项目背景

香港中文大学 · 刘云辉教授团队

图书馆书籍归架是典型的半结构化长时序密集操作：书脊反光、书本紧贴倾斜、操作间隙极小，且底盘停靠位姿直接制约机械臂的工作空间。本项目通过智能体与对象中心世界模型，实现高容错的书架整理操作。

预期攻关目标与交付重点: 打通密集书架环境下毫米级缝隙抽取与插入全流程；预期达成双臂协同抽取成功率超 92%、卡阻自愈成功率超 80% 的实机操作目标

我在项目中的工作

作为项目负责人，搭建移动双臂操作框架，负责同轴视觉伺服与智能体闭环执行；推进密集书架整理方案研发，以 1.5–3.0 mm 缝隙下双臂协同抽取成功率超 92%、插入卡阻自愈率超 80% 为预期攻关目标。

物理挑战与移动操作的本质转变

将双臂操作从传统的固定工业工作站迁移到可移动的轮式平台上，系统面临的科学问题与工程约束发生了本质转变。在固定工位中，未知物体的状态通常归结为局部的视线遮挡问题；机械臂基座坐标系与工件台相对刚性固定，逆运动学求解存在确定的几何包络。而在移动操作场景下，问题被重塑为三个核心维度：

环境尺度的部分可观测性（Environment-Scale Partial Observability）：目标书籍可能位于完全不同的架位、被读者翻阅后错放、或者被厚重的大开本书籍遮挡在货架纵深处。机器人不仅需要推断当前视野中被遮挡的局部，更需要进行全局尺度的空间推理，在多层书架与通道间规划主动探索路径，并维持一张持久化的环境拓扑与对象记忆图谱。
底盘停靠作为一等决策变量（Base Placement as a First-Class Decision）：移动底盘的最终停靠位姿直接决定了后续机械臂所有候选抓取轨迹的运动学可达性。底盘离书架过近会导致机械臂无法弯曲展开，肘部甚至可能与窄通道后方的墙面干涉；底盘离得过远则无法探入书架内侧进深。此外，底盘停靠角度直接制约机载相机对目标书脊与抓取缝隙的视线锥。底盘停靠绝不能仅仅委托给传统的全局路径导航模块，而必须作为由后续操作收益驱动的一等决策变量。
导航与操作转换周期的不确定性累积（Uncertainty Accumulation across Cycles）：移动底盘在经过长距离行进与制动后，由于轮面打滑、机械回差以及悬挂系统的微小形变，实际停车位姿往往存在厘米级的平移漂移与数度的航向角偏差。如果直接采用导航前的全局目标坐标驱动机械臂开环下发轨迹，末端执行器必定会发生硬碰撞。系统必须在底盘制动后建立严格的“二次局部感知—状态精修—力控闭环”执行链条。

研究架构

看清书架，再决定如何归架

停靠改变可见性与可达性；每次移动后重新观察，每次放置后核验结果。

观察与决策

01识别书籍与架位书籍身份 · 空间关系 · 遮挡

02更新世界模型区域记忆 · 局部状态 · 不确定性

03选择停靠与技能AI Agent · 可见性 · 可达性

执行与核验

04导航、停靠、再观察校正停车误差 · 局部对齐

05取出与放回双臂配合 · 支撑 · 插入

06核验与局部恢复正确书籍 · 正确架位 · 有界重试

观测与执行结果 → 更新状态与计划仿真与示教支持技能开发；控制层约束实际运动。

软硬件分工与确定性控制边界

为确保复杂的 AI 推理能够安全受控地落地到物理硬件上，系统在架构上划定了明确的职责边界：AI Agent 与世界模型仅负责任务级与技能级的高层逻辑推理与参数派发，而底层的轨迹规划、运动学求解、碰撞检测、力矩限制与急停响应则由确定性的机器人控制栈严格承载。

高层智能体规划系统：基于 ROS 2 架构部署，运行独立的大模型推理适配器 agent_planner，结合当前的结构化任务状态、技能库定义与对象世界模型，输出符合严格 JSON 模式声明的结构化操作方案；
底层确定性控制栈：采用 ROS 2 与 MoveIt 2 作为运动学与规划中枢。臂部运动基于 OMPL 进行无碰撞自由空间寻优，局部切入与抽离则强制采用笛卡尔空间直线插补算法；底盘导航采用 Nav2 维护分层代价地图，结合全向轮移动底盘实现横向与旋转复合平滑制动；
计算平台与通信架构：机载端部署 NVIDIA 高算力工控主机，负责感知分割、世界模型维护、局部轨迹生成与技能状态监控；底层执行器通过实时以太网总线与机械臂关节控制器及全向底盘建立高频双向通信，确保高层异常发生时能够在毫秒级触发安全受控刹车。

移动底盘停靠与双臂可操作度联合建模

在狭窄书架通道中（通道净宽通常仅为 0.8 米至 1.0 米），将底盘停靠位姿与机械臂灵巧操作解耦规划会导致严重的运动学死锁。针对这一问题，我们将底盘停靠位姿求解形式化为一个多目标约束优化问题，综合考量机械臂关节可操作度（避开奇异点构型与行程极限）、手腕相机对书脊的视线投影余量（避免机械臂自遮挡光路）以及底盘移动能耗与安全避障裕度。

底盘运动到位后，系统并不立即伸出手臂，而是触发“两阶段局部精修流程”：机载双目与手腕相机对书架标志物及目标书脊进行二次立体视觉重构，解算出微调偏置矩阵，将底盘打滑带来的 1-3 厘米残余误差在前置规划阶段彻底吸收。

仿生双臂协同与接触力控攻关

书架整理最脆弱的物理环节在于书籍抽离与重新插入时的侧向受力。在密集挤压排布下，单臂强行抽出书本会因强大的表面静摩擦力带动整排书籍同向滑动并倾倒；而在插入时，若目标缝隙宽度仅比书本厚度大 1 至 2 毫米，微小的几何偏角都会产生硬性卡滞。为此，我们设计了分工明确的仿生双臂协同作业机制。

1. 辅助臂的侧向支护与防倾倒约束

在主操作臂接触目标书籍前，辅助机械臂首先执行空间展开，将带有柔性防滑垫的末端平贴于目标书籍相邻侧的书堆边缘，施加轻微且受控的侧向预载荷（通常维持在 5 N 至 8 N 的恒定压力）：

这一恒定侧向力相当于在书堆一侧临时构建了刚性侧壁，有效抑制了相邻倾斜书籍在摩擦力牵引下的姿态坍塌；
辅助臂末端配置六维力矩传感器，实时监测侧向反力变化；若检测到相邻书堆产生滑动突变，系统会动态微调支撑位姿，确保书架整体处于静力学稳定状态。

2. 主操作臂切向顺应抽取

主臂末端装配薄型自适应平行夹爪。视觉算法首先定位目标书脊的上下轮廓顶点与局部法向，主臂沿书脊外法线切向缓缓滑入书缝缝隙：

夹爪闭合时执行电流-力矩双重反馈控制，确保夹持力维持在刚性抓紧但又不损伤纸张封面的阈值区间内；
抽取阶段沿垂直书架平面的法向平缓后移，主臂在侧向（Y 轴）和俯仰角上开启柔顺阻抗控制，容忍微小的法向对齐偏差，避免因刚性强拔损坏书籍书脊。

3. 微倾角接触微搜索与狭缝滑入

将整理后的书籍插回缝隙是接触动力学要求最高的环节。由于缝隙两侧存在书页毛刺与封面凸起，正对直推极易引发机械自锁。我们采用“倾角切入—阻抗微搜索—滑顺推进”的三步策略：

倾角预入：控制书籍底角以约 12 至 15 度的微小俯仰角先接触缝隙下沿，使接触面积从面接触退化为点线接触，显著降低初始切入阻力；
阻抗力控与微幅顺应：在末端建立柔顺阻抗控制模型，设定插入主推进方向为低刚度虚拟顺应，在检测到推力突增时主动减速，同时在航向角与侧向施加微小角位移扰动（微幅自适应抖动搜索），引导书籍顺着缝隙天然导轨滑入；
全行程入架：当六维力传感器显示推入阻力回归至基线、位移传感器确认书籍完全齐平书架外边缘时，释放夹爪平稳撤回。

面向货架的对象中心世界模型

书架整理通常涉及数十本物理实体的状态演变。传统的稠密三维体素网格（Voxel Grid）在内存占用与跨视角更新效率上难以支撑长周期推理，而纯隐式表征又缺乏离散物体的物理交互句柄。为此，我们研发了面向书架的对象中心世界模型（Object-Centric World Model）。

1. 结构化对象节点与拓扑属性

世界模型将感知到的物理世界维护为一张显式的几何-语义异质图谱。图中的每个节点对应一本独立实体书籍或货架隔板单元，携带完备的物理状态参数：

几何与空间属性：三维有向包围盒（3D OBB）、书脊局部坐标系在全局地图下的后验位姿均值与协方差矩阵 $\Sigma_p$；
语义与身份特征：书脊光学字符识别（OCR）文本、条形码/RFID 唯一数字标识、外观全局特征嵌入向量；
拓扑与接触关系：左邻节点 ID、右邻节点 ID、当前支撑面、垂直倾斜角度 $\phi_{\text{tilt}}$ 以及相邻紧实度指数。

2. 跨视角跨时序图谱数据关联

随着移动底盘在通道中穿行，不同视角采集到的点云与 RGB 观测不断汇入。世界模型通过匈牙利匹配算法，将新检测到的书脊轮廓与历史图谱节点进行联合代价配准。匹配代价综合了空间几何欧氏距离、外观嵌入相似度与拓扑相对邻接顺序。当同一本书被重新观测到时，卡尔曼滤波框架递归更新其 3D 位姿估计与不确定性椭球；若发现原本记录的架位出现几何留白，模型自动标记为“空置插槽（Vacant Slot）”，供后续回放规划调用。

3. 反事实模拟与动作前瞻评估（Counterfactual Simulation）

世界模型的核心优势在于支持 AI Agent 在物理动作发出前进行虚拟前瞻模拟。当 Agent 规划出某个底盘停靠点与抓取顺序时，世界模型在内部推演动作可能产生的状态演变：

评估在当前位姿下，机械臂包络体是否会侵入邻近立柱的凸包；
评估抽出该书后，根据相邻节点的倾角与重力分布，剩余书堆是否满足无支护条件下的静力平衡条件；
如果反事实模拟显示倾覆风险指标超过安全阈值，Agent 自动否决单臂直接抽取方案，转为生成带有“辅助臂前置侧向抵靠”的双臂协同行为树。

AI Agent 闭环任务编排与自愈机制

作为 AI Agent 方向的负责人，我构建了上层语言推理与底层机器人动作执行之间的统一语义转译框架，将复杂的整理任务组织为行为树（BehaviorTree.CPP）与严格的物理技能契约。

1. 结构化任务规划与严格模式校验

当用户输入非结构化的高层指令（如“请将归还车中的三本计算机科学类书籍归架到 B 区第二层书架，并整理歪斜书堆”）时：

机载 agent_planner 结合场景图谱的当前符号状态（包含底盘当前所在区域、各货架空槽分布、归还车书籍清单），通过本地语言模型进行任务分层剖析，生成有向无环的任务调度逻辑；
输出结果被限定在包含 NavigateToArea, DockAtShelf, ScanSpines, StabilizeCluster, ExtractBook, VerifyHolding, InsertBook, RetractArm 等标准技能库集合内；
确定性模式校验器（Schema Validator）介入审查：检查每一个技能调用的参数合法性、目标实体 ID 是否真实存在、坐标系变换是否存在数值奇异。通过校验后，任务被实例化为行为树控制节点。

2. 显式前置与后置物理检验契约

为杜绝开环假设带来的级联失效，每一个原子技能节点都绑定了严密的物理感知断言（Verification Contracts）：

以 ExtractBook 为例，其前置条件严格要求辅助臂已建立稳定的侧向力平衡，且主臂夹爪已对齐书脊轴线；
动作执行后，系统并不仅凭轨迹执行器返回“Success”即认定完成，而是同时读取机械臂末端安装的微型红外对射光电传感器与夹爪位移编码器：若红外光路被遮断且夹爪开度处于书本厚度合理公差区间，后置条件方才判定通过；若检测到空夹或光电未触发，技能直接返回 FAILURE 状态，阻止流程盲目向下一环节推进。

3. 多层级有界自愈状态机（Bounded Recovery）

在密集狭缝插入与抽取中，由于纸张边缘褶皱或定位残余误差，机械卡阻是不可避免的物理偶发事件。我们设计了有界自愈机制（Bounded Recovery Logic）：

局部微回退重试：当插入阻抗力超过预设安全极值（例如推力超过 25 N）且位移未到位时，系统判定发生硬卡滞。行为树自动挂起主干流程，触发局部自愈恢复子树：主臂沿原路回退 20 毫米，末端在偏航角方向反向微调 1.5 度，重新执行微幅顺应插入；
有限重试与安全退避：若连续执行三次局部自愈仍无法顺利完全入架，系统终止尝试，执行安全退出动作：平稳抽出该书籍，回转并平放在机载置物托盘上，将当前插槽在世界模型中标记为“几何受阻”，记录详细的错误日志与传感器时间序列，随后继续调度执行下一本书籍的整理，避免单点阻塞瘫痪整个自动化流程。

递进式里程碑规划与预期指标

为了系统验证整套技术方案在真实硬件上的鲁棒性，项目规划了由易到难的四个演进里程碑（M1 至 M4）：

M1：会议室桌面清理闭环。在开放平整环境中验证自然语言任务生成、底盘可达性停靠、单臂与双臂基础抓放及机载托盘管理，打通全流程软硬件通信链路；
M2：图书馆书架密集整理与归架。引入狭窄通道导航、高密度书籍挤压提取、毫米级窄缝柔顺插入、辅助臂协同防倾倒与卡阻自愈，验证高难度物理交互的稳定性；
M3：高价值物品与药剂核验转运。在密集操作基础上叠加封闭容器开启、细径瓶管轻柔夹持、条形码/电子标签精确识读以及全程时空审计溯源，满足严苛的确定性容错需求；
M4：完全未知布局长程自主泛化。在从未建图与建模的多房间复杂场景下，验证对象中心世界模型的跨区域自主探索、未知实体拓扑推理与长时序持续任务稳定性。

针对 M2 阶段密集书架整理的仿真预演与指标规划，项目设定了明确的预期目标与性能基准：

在书本间隙低至 1.5 至 3.0 毫米的密集排列场景下，预期双臂协同书籍抽取成功率超 92%，有效防范相邻书堆连带倾覆；
底盘停靠优化预期在 88% 以上的首发停靠中将机械臂置于高灵巧操作包络内，大幅压缩二次伺服微调窗口；
针对插入偶发性卡滞，规划的有界自愈机制预期自主恢复超 80% 的摩擦机械自锁状态，最小化人工介入频次。

工程反思与技术积累

这项工作为移动双臂操作提供了一个具体的实践切片。从最初面对密集书架时频繁遭遇的机械卡死与视觉遮挡，到最终构建起软硬件分层的稳健闭环，我们沉淀了若干关键的工程经验：

不可替代的确定性控制底座：当前具身智能领域对端到端大模型寄予厚望，但在毫米级缝隙插拔与刚性接触场景中，端到端策略输出的高频抖动极易引发硬件损伤。将大模型与语义推理约束在任务规划与反事实世界模型层面，让经典的阻抗力控、逆运动学求解与确定性行为树牢牢把控底层执行，是现阶段保障真实物理部署安全的实用工程范式。
移动性与操作性必须一体化考量：移动机械臂不是简单的“底盘加上手臂”。把底盘停靠当成孤立的导航终点是早期频繁出现奇异点与视线遮挡的根源。从末端任务的几何与视觉需求反向推导底盘的最佳停靠流形，将移动性直接转化为操作工作空间的有效延伸，是解决狭窄空间移动操作的核心解法。
真实世界的确定性来自对失败的严密防御：在长时序物理操作中，指望每一个原子动作永远 100% 成功是不切实际的。系统的韧性不在于从不出错，而在于能否在动作执行后通过多模态物理传感如实检验结果，并在发生偏差时具备局部有界自愈与优雅退避的能力。这套架构积累的经验，为密集仓储货架运维、实验室半结构化操作与移动双臂具身机器人的工程化落地提供了长期的技术支撑。

华威大学国际合作：面向长时序任务的分层具身智能与 AI Agent 架构

Mon, 21 Sep 2026 00:00:00 +0000

在面向开放非结构化环境与长时序复杂任务的具身智能操作中，机器人系统面临着极高的物理不确定性。无论是工业装配、实验室样本处理，还是半结构化场景下的物流分拣，任务跨度往往包含数十个连续步骤。在这种场景下，任何单步动作的微小误差积累都会引发后续规划的全局失效。

本项目与华威大学团队开展深入学术交流与系统联合研发，聚焦于面向长时序任务的分层具身智能与 AI Agent 闭环架构。我负责搭建机器人软硬件闭环系统，打通多模态感知、高层任务分解、度量几何规划与底层阻抗控制接口，构建具备物理自愈能力的自主操作体系。

项目背景

华威大学 · Sai Gu 教授团队

面对日常与工业非结构化场景，单一端到端模型往往难以兼顾全局长时序逻辑与高频局部几何运动。本项目通过分层解耦架构，让 AI Agent 在高层组织语义与阶段目标，底层专用控制器专注几何与连续控制，并以多模态感知提供持续环境反馈。

预期攻关目标与交付重点: 打通 8–15 步长时序具身操作闭环；预期将端到端长程任务成功率提升至 84% 以上，局部偶发卡阻自愈率超 70%，视雷多模态融合定位误差控制在 3 mm 以内

我在项目中的工作

作为项目负责人，主导搭建分层 Agent 具身操作架构，针对 8–15 步长时序操作，以端到端任务成功率由 35% 提升至 84% 以上、局部物理偶发卡阻自愈率超 70% 为预期攻关目标。

长时序物理操作的脆弱性与复合误差挑战

在具身操作领域，长时序任务的核心难点在于“复合误差传递（Compound Error Propagation）”。以一个包含 10 个物理交互子阶段的长程任务为例（例如在复杂台面上识别药剂瓶、开盖、移液、旋紧瓶盖、装盒并转运），即便每个原子技能拥有 90% 的执行可靠性，在开环无物理自愈状态下，连续十步相乘后的综合成功率也仅约 35%，步骤进一步拉长则指数级衰减。这意味着在没有物理反馈与局部自愈机制的情况下，开环执行系统几乎必然在某一中间环节遭遇失败。目前学术界探索的两种主流范式，在应对长时序真实物理操作时均暴露出明显的局限性：

端到端纯策略模型（Vision-Language-Action Models）的脆弱性：纯策略模型擅长在固定分布内进行局部反应式小动作生成。然而，在跨越数分钟、数十个动作阶段的长任务中，由于隐向量缺乏显式的符号记忆与因果约束，累积漂移难以避免；更关键的是，端到端大模型通常只能在 5 Hz 至 20 Hz 的低频频段运行，无法直接满足物理接触瞬间所需的百赫兹级阻抗力控响应，且在遭遇机械阻卡或局部滑脱时缺乏系统性的回退重试能力。
大语言模型直接生成轨迹代码（LLM-as-Planner）的几何幻觉：直接让大模型输出关节路点或空间坐标，虽然具备常识推理优势，但大模型内部缺乏精确的度量几何模型与机器人逆运动学（IK）硬约束。模型生成的路径容易侵入工作空间的机械盲区、触碰关节软硬件限位，或在密集障碍物边缘产生轨迹穿透干涉，同时极易产生“指令已经发出即等同于物理动作已经达成”的开环幻觉。

面对上述问题，我们的核心设计理念是：决策与执行分层解耦、几何与物理严格闭环。将任务逻辑的符号推理交由高层智能体，将高频轨迹跟踪与力学顺应交给确定性控制栈，并通过多模态感知在每一步动作后建立确定性的物理核验断言。

研究架构

三维感知 → 分层决策 → 机器人执行

任务规划与运动控制分层协同，由观测与执行状态连接起来。

感知与空间理解

01视觉与毫米波互补观测 · 多模态感知

02三维场景表示物体 · 几何 · 空间关系

03语义与时序对应指令含义 · 相关事件

AI Agent 机器人系统

04高层任务决策理解指令 · 组织中间目标

05底层动作执行机器人技能 · 运动控制

06状态反馈与更新观测结果 · 持续规划

我的职责：搭建贯通感知、规划与执行的机器人系统以统一任务闭环支撑双方研究能力的系统集成。

三层解耦的分层具身智能架构

为了在保证高层语义泛化性的同时消除低层物理执行的不确定性，我们设计了严格的三层分工体系：

1. Level 3：语义与长程任务规划层（AI Agent Brain，0.5 Hz - 2 Hz）

负责解析非结构化的自然语言指令或复杂的长任务目标，将其分解为带有严格前置依赖的有向无环任务图（DAG）或动态行为树：

智能体通过本地大模型适配器运行，推理输入包含环境的当前符号状态、对象全局场景图谱与已执行的历史动作序列；
智能体输出严格受限于经过形式化验证的参数化原子技能集合（例如 ApproachObject, AlignEndEffector, ExecutePinchGrasp, VerifyEngagement, LinearExtract）；
该层不产生任何底层电机电压或关节力矩指令，其决策空间完全在任务拓扑与技能前置条件的合法性范畴内。

2. Level 2：度量几何与技能综合层（Skill Synthesis & Trajectory Generator，10 Hz - 50 Hz）

将 Level 3 派发的参数化技能指令映射为精确的三维笛卡尔空间或关节空间轨迹：

结合机载深度相机与毫米波雷达重建的局部欧氏符号距离场（ESDF），调用 OMPL 运动规划库与 Pinocchio 刚体动力学引擎，计算满足机械臂关节位置、速度与加速度极限的平滑多项式轨迹；
针对接触交互阶段（如抽屉拉出、螺纹旋合、试管插入），自动切换为高精度的笛卡尔直线插补与螺旋微搜索路径，并对候选轨迹进行逆运动学连续性与自碰撞检测。

3. Level 1：高频柔顺力控与执行层（Deterministic Real-Time Control，500 Hz - 1000 Hz）

负责在毫秒级周期内驱动各关节伺服电机，并维持稳定的接触力学交互：

采用笛卡尔空间柔顺阻抗控制，在自由空间运动时保持高刚度以确保跟踪精度；在末端发生接触碰撞时动态调节虚拟刚度，表现出柔顺顺应特性，有效吸收定位残余误差；
关节电机电流与六维力矩传感器以千赫兹频率进行状态轮询，设置硬件级力矩安全阈值，在发生非预期刚性碰撞时在 2 毫秒内触发受控急停，保护机械本体与环境设施。

视觉与毫米波雷达的多模态三维空间感知

在非结构化现实环境中，单一光学传感器容易受到恶劣光学条件的严重干扰。例如在强逆光照射下，深度相机由于红外散斑被淹没而出现大面积深度缺失；在透明亚克力容器或高光金属表面，镜面反射会导致点云发生数十厘米的虚假漂移；在伴随粉尘或烟雾的工业操作区，光学光路则会被彻底阻断。

华威大学团队在先进传感与无线电射频领域积累深厚，我们联合攻关构建了 视觉（RGB-D）与毫米波雷达（60-77 GHz FMCW mmWave Radar） 的多模态空间感知融合体系：

1. 物理机理互补与时空硬同步

光学相机：提供稠密的百万像素级二维色彩、丰富纹理及语义分割标签，擅长刻画物体的精细边界与表面微观几何，但对光照与介质极为敏感；
毫米波雷达：利用毫米级波长的电磁波穿透悬浮粉尘与蒸汽，完全免疫环境光强剧变与阴影遮蔽；调频连续波能够直接输出目标刚体的绝对距离与基于多普勒效应的高精度径向速度，但其角分辨率较低，且周围金属物体容易引发多径反射鬼影（Multipath Reflection Ghosts）；
联合标定与硬件对齐：通过特制的雷达-相机联合标定靶标，求解出刚性空间外参变换矩阵；利用硬件时钟源脉冲（PPS）进行触发对齐，确保空间投影的时间戳抖动控制在亚毫秒以内。

2. 动静分离滤波与时空对数占有栅格融合

为了剔除雷达多径效应产生的空间杂波，感知前端首先应用恒虚警率（CFAR）自适应检测算法，结合点云多普勒径向速度分布分离出静止环境背景与运动目标簇。

在空间几何建模上，系统构建了三维对数发生比时空体素占有栅格，将毫米波雷达的确定性测距回波与相机深度投影概率进行递推概率融合。通过这一机制，当光学相机遭遇强光盲区导致深度信息丢失时，毫米波雷达的确定性测距回波能够迅速填补体素占据概率，防止机械臂在未探测障碍物区域盲目切入；而当雷达信号在金属边缘出现发散杂波时，光学轮廓的高空间分辨率则有效约束了边界收敛，输出全天候高韧性的三维环境几何。

视频时序线索定位与物理状态核验

在长时序任务中，如何确保“上一个阶段的操作确实已经按预期达成”是闭环控制的核心命题。如果系统仅仅根据时间流逝或电机的开环回程判断动作完成，任何抓取滑脱、部件卡阻都会导致系统在错误的状态基准上继续执行，引发后续步骤的连续失效。

1. 跨模态视频时序事件定位（Video Temporal Grounding）

我们引入了视频语义时序对齐机制：系统在操作过程中持续维护滑动窗口长度为 $\Delta t$ 的环形视频缓冲队列 $\mathcal{V}_{[t-\Delta t, t]}$。高层智能体将当前子技能的完成准则转化为显式的状态描述子（例如“物体完全脱离台面支撑面”或“抽屉滑轨完全拉出至限位点”）。通过跨模态交叉注意力匹配，模型在时序维度定位物理状态发生相变的临界帧，获取动作达成的时间戳凭据。

2. 多源异构物理核验契约（Verification Contracts）

单纯依赖视觉判断仍存在受遮挡影响的隐患。为此，每一个原子技能都绑定了严密的物理传感双重断言：

视觉层面判据：目标物体外接包围盒的高度坐标发生刚性垂直位移 $\Delta z > h_{\text{thresh}}$，且原本被其覆盖的台面背景纹理被重新观测到；
力学动力学判据：机械臂腕部六维力矩传感器测得的垂直方向静态重力分量增量 $\Delta F_z$ 必须稳定落在目标物体真实重力质量窗口内（$\Delta F_z \approx m_{\text{object}} \cdot g \pm \epsilon_f$），同时夹爪位移编码器读数处于物体几何刚性厚度的允许公差带内；
确定性判定逻辑：只有当视觉几何证据与力学读数同时通过断言检验时，当前技能节点才向行为树主干返回 SUCCESS 状态；若任一断言未达标，系统强制拦截，禁止进入下一个动作阶段。

3. 多层级有界自愈执行机制（Bounded Error Recovery）

当物理核验断言未通过时，系统并不会粗暴地中断停机或重新执行整个任务，而是根据传感信号的失配模式调用有界自愈子树：

微小滑脱与空抓：若力矩传感器显示末端未承载重力，说明发生了滑脱。行为树触发“重观测—抓取位姿二次估算”子流程，调整夹持器切入倾角并在原目标坐标附近重新规划抓取点；
机械自锁与过载受阻：在插合装配中，若力矩传感器在位移未到位前触发突变阻力阈值，系统判定发生几何对齐卡阻，立即执行“回退 15 毫米—末端空间微幅抖动寻优—降速顺应微推”的自愈序列；
有界退避与安全挂起：若同一种自愈策略连续执行达到上限次数（如 3 次）仍未能恢复，系统将当前物体平稳安放至预设安全缓冲区，更新全局场景图谱中的物体可信度评分，记录详细的时空传感日志并调度下一项独立分支任务，保证整体系统的持续运行韧性。

系统集成与预期指标规划

系统围绕视觉-毫米波多模态感知平台、分层任务规划引擎与六自由度柔顺机械臂展开技术架构设计，并在 8 至 15 步连续物理交互长程任务中确立了明确的预期攻关指标：

长时序端到端预期完成率：通过物理核验断言与多层级有界自愈机制，预期将长程任务端到端成功率由开环基线的 35% 提升至 84% 以上，力争自主消除超 70% 的局部偶发扰动（如抓取微滑移、装配微卡阻）；
恶劣环境下的感知鲁棒性目标：针对强逆光与粉尘烟雾等恶劣工况，通过视雷多模态融合感知系统将目标 3D 边界与距离估计的均方根误差（RMSE）控制在 3 毫米以内，显著优于纯光学方案；
几何与物理执行一致性：Level 2 运动规划层严格保障 Level 3 参数化指令的逆运动学可解性与物理边界合规，从机制上杜绝大模型几何幻觉导致的机械撞击。

工程反思与技术积累

这项长时序具身智能系统的研发，深化了我们对物理世界中机器人软硬件闭环本质的理解：

具身智能的系统工程本质是对抗物理不确定性：在纯虚拟环境或仿真基准中，动作的成功率往往被理想化为确定性的数值转移；而在真实物理世界中，机械公差、接触摩擦、光照突变与材质漂移是普遍存在的物理客观现实。优秀的具身智能架构，其核心竞争力不在于生成动作时假设世界完美无瑕，而在于在每一步物理交互后具备冷酷核验真实状态的防御性设计，以及在发生偏差时具备确定性的自愈容错能力。
大模型的边界是符号推理，机器人的底座是连续力学：大语言模型具备无与伦比的常识语义解析与长程任务分解能力，但强行让其承担连续轨迹插值或百赫兹力控跟踪是低效且危险的。将大模型作为“高层战略家”，将经典阻抗力控、优化轨迹生成与凸空间碰撞检测作为“底层执行军官”，通过标准化的参数技能契约完成跨层转译，是兼顾智能涌现与工程可靠性的最优实践路径。
多模态感知的价值在于物理维度的正交互补：在机器人操作中堆叠同质化的光学传感器并不能解决逆光、反光或视线盲区的结构性缺陷。引入电磁物理机理截然不同的毫米波雷达，以正交的物理特性弥补光学相机的固有盲区，从根源上提升了机器人对恶劣操作环境的感知下限。这一系统架构的探索，为长时序复杂工业装配、非结构化环境特种作业以及具身智能机器人的规模化工程落地提供了坚实的技术沉淀。

Teach and Grow：面向通用机器人学习的智能体中心架构

Mon, 17 Aug 2026 23:45:21 +0000

少量示教，留下可以再次使用的技能

Teach-and-Grow Learning（TGL）构建了一种以 AI Agent 和 GPT-6 为中心的机器人操作（AI Agent and GPT-6 centered robotic manipulation）架构。面对开放物理世界多变的长时序任务，TGL 不再依赖昂贵脆弱的端到端权重再训练，而是将拥有前沿物理常识与世界认知先验的 GPT-6 确立为具身控制的中央推理中枢。围绕 GPT-6 构建的 AI Agent 负责整个机器人操作任务的宏观时空分解、跨情境语义消歧、物理契约核验与异常自愈。

在预训练大模型权重完全冻结的前提下，AI Agent 能够将人类或仿真环境提供的少量成功示教，提炼为具备明确物理适用边界与自愈能力的显式机器人技能。系统将抽象的子目标技能落实到当前度量几何场景中，并在物理动作执行后严格核验实际发生的物理状态改变，最终将经过验证的行为规则与自愈策略沉淀至持久化的技能库与经验记忆中。

示教 → 执行与验证 → 技能沉淀。 示教提供动作的子目标划分与因果结构，物理传感反馈指导动作闭环与故障恢复，而以 GPT-6 为核心的 AI Agent 驱动的双层记忆结构，使得前序任务积累的能力能够无缝迁移为后续未知任务的起点，彻底摆脱了传统机器人策略学习对频繁微调与参数更新的依赖。

· ·

端到端策略更新的沉重负担：再训练成本

在当下的深度模仿学习与端到端视觉-语言-动作（VLA）模型研究中，策略学习主要依赖在高维参数空间 $\theta \in \mathbb{R}^D$ 内进行梯度优化。然而，一旦将这类模型部署至真实的非结构化物理环境中，其工程落地便面临着严峻的结构性矛盾：

当机器人遇到新的操作容器、未经标定的相机安装视角、反光材质或者出现未曾覆盖的偶发抓取滑脱时，尽管当前场景的几何差异极其微小，但在参数化策略范式下，修复这一局部缺陷通常意味着必须重新采集数十甚至上百条示范轨迹，并在原有的混合数据集上重新执行一轮耗时数小时乃至数天的多任务联合优化。更严重的是，由于神经网络内部高维特征表征的深度耦合，针对新工况调整权重往往会引发隐式的表征漂移，导致原本已经熟练掌握的历史任务性能发生不可预测的退化，即灾难性遗忘（Catastrophic Forgetting）。我们将这种在面对物理环境微小变动时反复出现的计算、数据与验证负担，形式化定义为 再训练成本（Retraining Tax）。

物理交互数据与互联网规模的纯文本或静态图像数据存在根本性的成本结构差异：物理接触无法通过简单的离线自回归进行无损合成，抓取稳定性必须在三维力学世界中实际试错，动作引起的支撑关系与摩擦状态改变必须依赖多模态传感器进行冷酷检验。物体几何位姿、工作台背景杂乱度、材料表面摩擦系数以及机器人本体的动力学非线性相互交织，覆盖单个物理因子的独立分布绝不等于覆盖它们在高维组合空间下的联合分布。

TGL 由此切入一个根本性命题：我们能否将新任务的获取过程与神经网络权重的梯度更新解耦？能否把经过物理检验的有效操作经验沉淀为显式的结构化对象，赋予其严格的几何适用范围、可判别的物理前置/后置条件以及独立的故障恢复规则？在这一范式下，GPT-6 驱动的 AI Agent 继续作为强大的物理常识推理器与决策中枢，而 TGL 则彻底重塑了新技能在机器人系统内部的存储与流转机制。

查看原图 ↗

图 1. 以陌生抓放任务为例，对比策略优化与由智能体组织的技能获取。

从能够规划的 AI Agent，到以 GPT-6 为中心的机器人操作体系

这项研究的原初起点，在于探讨如何让具备工具调用（Tool-Using）能力的 AI Agent 驱动机械臂完成开放任务。将 GPT-6 引入具身智能的核心，赋予了系统前所未有的物理因果推理与环境语义理解能力。结合检测、位姿估计与运动规划工具，以 GPT-6 为中心的 AI Agent 即使在没有任何先验示教的情况下，也能通过多轮试错与交互探索拼凑出可行的动作序列。

然而，单纯依靠大模型即时推理暴露出了致命的缺陷：当任务回合结束、机器人完成摆放后，系统没有留下任何可复用的确定性知识。当面对相同或高度相似的任务时，若依然必须重新调用大模型进行冗长的高延迟推理，重新在巨大的动作空间中进行搜索；而上一次执行中踩过的物理坑点（例如某种透明杯口边缘容易打滑、特定抽屉滑轨存在末端卡滞）也随着上下文窗口的清空而被彻底遗忘。

TGL 将 GPT-6 深度整合为 AI Agent 的认知中枢，保留了智能体“观察—推理—执行—核验”的敏捷闭环，并在此基础上构建了能够终身演进的记忆架构。一次成功的任务探索被提炼为带有形式化契约的技能块，而偶发的物理失配、故障归因与自愈恢复路径则作为情境案例沉淀进经验记忆。在后续执行中，系统优先检索并复用高置信度的结构化技能，仅在遇到未知变化时才激活 GPT-6 与 AI Agent 进行自适应微调。

在此架构中，少量的成功示教（人类遥操作轨迹、高质量仿真示范、跨视角第一人称视频或结构化操作手册）被定位为一种 加速器而非不可逾越的前提。少量示教的作用在于提前为智能体提供宏观层面的子目标时序分解拓扑，将原本发散的高维探索空间约束在关键状态转移的几何局部，显著削减无效试错代价。

形式化建模：把可执行能力定义为显式“技能块”

为了将动作策略与当前场景特有的瞬态物理细节彻底剥离，TGL 引入了形式化的 技能块（Skill Block） 抽象。以“将碗拾取并平稳放置到托盘上”为例，在不同示范中，机械臂的具体关节轨迹、末端移动速度以及接近物体的方向各不相同，但任务底层的因果不变结构高度稳定：识别目标碗体、建立稳定的接触对齐夹持、转移至托盘上方、顺应释放接触。

我们在数学上将一个技能块 $S_k$ 严谨定义为一个六元组：

$$S_k = \langle \mathcal{G}_k, \mathcal{P}_{\text{pre}}, \mathcal{P}_{\text{post}}, \Pi_{\text{exec}}, \mathcal{V}_{\text{eval}}, \mathcal{R}_{\text{recov}} \rangle$$

其中：

$\mathcal{G}_k$ 表示该技能旨在达成的语义与几何子目标（Subgoal）；
$\mathcal{P}_{\text{pre}}$ 为该技能触发的显式前置物理条件集合（如目标物体在工作空间内可达、夹爪处于完全张开状态、接触表面无动态遮挡）；
$\mathcal{P}_{\text{post}}$ 为技能成功执行后必须满足的后置物理状态断言（如物体质心位移超出阈值、夹爪开度与物体厚度匹配）；
$\Pi_{\text{exec}}$ 为与该技能兼容的底层参数化执行器族（如 Contact-GraspNet 抓取采样器、笛卡尔直线阻抗控制器或预训练的局部专用小策略）；
$\mathcal{V}_{\text{eval}}$ 为多模态物理检验算子，负责在动作结束后输出确定性的成功置信度评估；
$\mathcal{R}_{\text{recov}}$ 为有界自愈策略分支，定义了当执行异常时的局部回退与补偿动作。

这里的 免训练（Training-Free） 具有清晰的数学与系统边界：在获取与沉淀新任务技能的全过程中，系统不涉及任何神经网络参数的梯度反向传播或微调过程。基础视觉语言模型与专用几何模型保持权重冻结；能力的跃升完全体现为显式技能库与经验记忆的拓扑扩充与参数自洽。

查看原图 ↗

图 2. 一个任务经历示教、组合、执行、验证与持久化，形成的技能库与经验记忆成为下一个任务的起点。

上层子目标因果推理，下层度量几何与力学控制

TGL 建立了清晰的双层分工体系，确保高层通用认知能力与底层物理控制精确度各自发挥极致：

1. 跨模态示教解析与子目标拓扑对齐

智能体首先将输入的示范轨迹（包含多视角视频与状态时序）在关键物理状态转变点处进行时空切分。系统并非简单记录时间序列路点，而是提取物体之间的空间接触拓扑演变（例如自由移动相 $\to$ 接触预备相 $\to$ 稳定约束相 $\to$ 释放分离相）。即便不同演示之间的运动速度与动作细节存在显著方差，共同的状态转移网络构成了候选技能块的拓扑骨架。

2. 场景具象化落实（Scene Grounding）与度量几何映射

当高层智能体决定调度某个技能块时，必须将其抽象的因果参数与当前真实物理场景进行严格的几何对齐：

感知与分割：机载 RGB-D 相机获取场景点云与高分辨率图像，调用开放词汇检测与分割模型提取目标实体几何掩码；
抓取与位姿求解：利用 Contact-GraspNet 在目标物体三维网格上密集采样力闭合抓取位姿候选，筛选出法向与执行器几何相容的最优夹持点；
无碰撞运动规划：调用 MPLib 与 OMPL 运动规划库，在考虑场景障碍物 ESDF 碰撞边界的条件下，求解出动力学可行的连续关节插补轨迹。

3. 基于多模态反馈的物理检验契约

动作执行完毕后，系统决不允许开环盲目推进，必须经过 $\mathcal{V}_{\text{eval}}$ 检验算子的冷酷审核：

以抓取动作 GraspObject 为例，仅仅机械臂关节角到达预设航向并不足以断定成功。系统同时读取夹爪电流反馈、红外光电传感器遮断信号与手腕六维力矩传感器读数：若三者共同证实末端承载了物体的真实重力负荷，后置断言方才判定通过；
若检验结果显示未检测到有效负载，系统立即判定为抓取滑脱，并动态分支到局部有界恢复子程序 $\mathcal{R}_{\text{recov}}$，重新调整夹持器切入倾角再次尝试，从而在局部掐断单步误差向长程链条的扩散。

查看原图 ↗

图 3. 技能契约连接语义子目标、当前场景中的执行与可观察的证据。策略被保留，几何与控制重新计算。

双层记忆系统：技能库保存行为，经验记忆保存上下文

为了兼顾通用能力的高效检索与特殊工况的深度适配，TGL 设计了结构清晰的双层持久化记忆架构：

1. 技能库（Skill Library $\mathcal{L}_{\text{skill}}$）

技能库维护着经过实机充分检验的通用原子技能原型。每个技能条目封装了规范化的子目标描述、前置几何条件检查器、场景具象化映射规则以及兼容的运动规划器接口。技能库追求高度的抽象性与普适性，使其能够被跨任务、跨物体实例无缝调用。

2. 经验记忆（Experience Memory $\mathcal{M}_{\text{exp}}$）

经验记忆则是一个面向情境案例的异质记忆网络，专门记录具体执行回合中的上下文细节与异常诊断日志：

记录每次执行时的环境光照参数、物体几何表面特性、候选抓取评分与实际执行结果；
重点归档执行失败案例及其成功的自愈恢复链条（例如：在抓取某种高反光金属圆柱体时，侧向抓取因静摩擦不足出现滑移，但调整为垂直俯冲两指捏持后成功建立约束）；
当系统在后续任务中遇到类似的边缘工况时，经验记忆先验介入，指导高层智能体规避历史失败路径，直接选择鲁棒性经过实证的微调参数，避免机器人重复犯下历史错误。

这种双层解耦设计赋予了系统极高的工程可解释性与人工可审计性：工程师能够清晰地查看技能库中每个技能的适用边界，根据需要手动修正某个脆弱的自愈规则，或者将存在隐患的执行工具打上兼容性黑名单，而无需重新启动漫长且不可控的全局重训练过程。

终身学习假设与局部更新的成本缩放优势

传统深度强化学习与模仿学习在能力扩张时面临着维数灾难与灾难性遗忘的夹击。TGL 提出了 有效可复用经验（Effective Reusable Experience） 缩放假设：随着机器人在物理世界中执行任务数量的增长，技能库中沉淀的有效技能块与经验规则将逐步覆盖绝大多数常见几何与接触模态。

查看原图 ↗

图 4. 未来任务误差与教学需求的概念性预测，曲线为示意。

在数学分析上，我们对比了全局耦合优化范式与 TGL 显式技能扩展范式的边际计算成本：

全局策略更新范式：每当引入第 $N$ 个新任务时，为了维护全部 $N$ 个任务的联合分布一致性，重训练所消耗的数据样本量与反向传播算力呈超线性增长 $\mathcal{O}(N^\alpha)$（$\alpha > 1$）；
TGL 局部扩展范式：新增技能块的沉淀与校验仅需局部针对当前特定几何子目标进行闭环验证，其计算开销仅取决于当前技能的验证复杂度，边际成本保持为严格的有界常数 $\mathcal{O}(1)$。

只要单次任务的具象化映射、物理检验与技能检索开销维持在极低的轻量级水平，显式技能积累架构就能够在长期运行中展现出显著的计算效率与资源利用优势。

查看原图 ↗

图 5. 在不同覆盖需求与局部兼容性假设下的分析性成本情形。

慢教师与快学生：双系统闭环协同

在实际工业与服务场景中，纯粹依赖大模型驱动的智能体进行全流程闭环虽然通用且具备强推理能力，但其通常面临百毫秒乃至秒级的推理延迟，无法完全胜任对反应速度要求极高的高动态运动。

为此，TGL 原生支持 “慢教师—快学生（Slow Teacher, Fast Student）” 的双系统协同演进范式：

慢教师系统（System 2：TGL Deliberative Loop）：大模型智能体作为“慢教师”，负责在陌生环境与高难度任务中进行深思熟虑的因果推理、工具调度与容错自愈，并在真实物理交互中过滤掉失败动作，生成高质量、经过全流程物理验证的专家执行轨迹缓冲池；
快学生系统（System 1：Distilled Reactive Policy）：利用慢教师积累的高质量轨迹数据集，在后台异步蒸馏训练紧凑高效的高频响应策略（如 50 Hz 的 Diffusion Policy 或局部动作分块策略），用于在常见工况下执行毫秒级流体般平滑的熟练操作；
异常无缝接管机制：当快学生策略在执行中遭遇未见扰动或物理检验失败时，底层监控系统立即触发异常中断，控制权毫秒级回切给慢教师智能体进行深度因果诊断、策略修复与技能扩充，从而兼顾了即时响应速度与复杂长程泛化上限。

查看原图 ↗

图 6. TGL 的整体系统视图，虚线路径表示拟议的快速策略训练与多机器人共享。

基准评测表现与实验洞察

我们在主流机器人操作基准 LIBERO 与更加注重分布外扰动测试的 LIBERO-Plus 环境中，对 TGL 进行了严苛的定量评测与消融实验。重点考察了以下几个核心维度：

少样本甚至零样本技能转化率：在仅提供 1 至 3 条示范轨迹的前提下，TGL 能否准确提炼出子目标因果结构，并在空间位姿、物体外观发生显著偏移的测试场景中成功复用；
再训练成本消除效果：对比主流参数微调算法在新增 10 项连续任务时的累计算力消耗与历史任务保留率；
闭环物理核验与有界自愈的容错贡献：量化检验在人为施加外部物理扰动（如抓取时轻微推碰物体、遮挡目标局部特征）时，自愈模块对任务最终成功率的提升倍数。

实验数据充分证明：

TGL 在仅需极少示教的前提下，展现了远超传统小样本模仿学习基线的分布外泛化能力；
由于策略权重全程完全冻结，系统对历史已掌握任务的成功率实现了理论上的零衰减，彻底消除了困扰连续机器人学习的灾难性遗忘顽疾；
显式物理检验与自愈循环将偶发执行故障的现场化解率提升了数倍，使长时序复合任务的稳定运行成为可能。

总结与工程反思

TGL 的探索揭示了一个被深度学习热潮所部分遮蔽的事实：机器人的通用操作能力并不必然等同于一个无所不包的超大规模端到端神经网络。

通过将高级常识推理、度量几何工具、确定性阻抗控制与显式双层记忆深度融合，我们证明了在完全不触动网络权重的条件下，机器人同样能够展现出强大的学习、适应与能力沉淀特性。这套将知识保留为可检查、可干预、可复用显式对象的系统架构，为走向真正低成本、高可靠、可持续进化的具身智能机器人系统提供了坚实的理论与工程参考。

迈向视觉-声音-语言-动作范式：面向声音中心操作的 HEAR 框架

Tue, 17 Mar 2026 03:22:30 +0000

听不见物理的机器人

现在的视觉语言动作模型会看、会理解语言、会运动，唯独不会听。它们工作在一个近乎无声的世界里，而机器人所处的环境其实满是声音：水烧到将沸时的嘶嘶声，碰撞那一下清脆的咔嗒，满容器与空容器截然不同的音色，材料从弯曲转向开裂的那一瞬间。这些声音都在编码相机无法还原的物理状态。

接触声学是能拿到的最便宜的触觉传感器：一只麦克风几美元，不用接触物体，而且一次覆盖整个工作空间。支持这么做的理由并不空泛，问题在于还没有人做出真正能用它的策略。

还没问到策略，线索就已经消失

难点不在建模，把它框成建模问题，恰恰是早先的方案没能解决它的原因。难点来自那套让大规模 VLA 模型得以落地的控制架构。

大骨干网络跑不到控制频率，于是通行做法是动作分块（action chunking）：模型一次给出未来的一小段指令，机器人开环执行完这一段，才轮到模型被再次查询。物理恰好发生在这段空隙里。碰撞、溢锅、按到底，都是短促且不可重复的声学事件，量级在一百毫秒左右，而它们往往整段落在策略没有在看的区间内。在 30 Hz 的控制频率下，一个动作块平均长约一秒。

这个后果要说准一点，因为它和大家通常的假设不一样。反应慢只是延迟；这里真正发生的是证据被销毁。声音到了，没有人在听；等再次查询策略，窗口里只剩安静。如果事件的采样在下一个窗口打开之前就已经结束，窗口里不会留下它的弱化版本，而是什么都没有。我们把两次决策之间的这段间隔称作盲执行区间（Blind Execution Interval），blind 这个词是实打实的。

还有第二类失败，和时序无关。设想机器人守在一台运转中的电器旁边。场景接近静止时，等一秒和等十秒，当前这一帧图像一模一样。专家示范却不同：下一步该做什么取决于已经等了多久，观测本身不体现这一点。只看单帧的策略分不清这两种处境，于是要么慢慢漂移，要么干脆停住。这正是时间上下文本该解决的混叠问题，而离开声音，它确实无从观测。

早先的尝试漏掉了什么

把音频转成文字是最先冒出来的念头，偏偏丢掉了我们需要的东西。语音识别前端会把非语音线索和韵律整个扔掉，还把时间压成离散 token，一声提示音什么都产生不了。更微妙的是，肯定的语气与犹疑的反问会坍缩成几乎相同的 token 序列，语用意图上的差别就此消失，而转写准确率看上去完美无缺。

第二种直觉是把波形画成图像，当作又一路相机视角。它能反映幅度变化，却掩盖了频谱结构，也就是频率轮廓与音色，材料和接触的信息恰好藏在那里。这种表示还对事件落在渲染窗口里的位置很敏感，性能起伏的原因与物理本身无关。

更近的一条路线把语音接进 VLA 模型，保留韵律和说话人身份。这是实实在在的进展，但它对准的是明确的口头命令，而不是操作过程里环境自身的声学物理，这是另一个题目。全模态系统离得更近，我们的保留意见则是结构性的：它们的设计是先听后做，用声音建立上下文、推断一次动作的意图，而不是把声音当作接触过程中的低层反馈。以上工作都没有处理瞬时事件与分块执行之间的错位，而那才是真正的瓶颈。

CLAP、ImageBind 这类音频基础模型在定长片段上离线、各自独立地训练，部署时又是无状态的，片段之间带不了任何时间上下文。紧凑的音频原生策略跑得快，也处理得了接触，但规模摆在那里，长时程、多阶段的行为很容易垮掉。原生处理音频是必要条件，远不是充分条件。

最容易想到的捷径是提高重规划频率：把动作块截短，查询得更勤，盲区间自然缩小。这些变体我们都试过。收益比看上去应该有的小得多，代价却落在运动质量上：轨迹不连续，抖动明显，还会引入局部的动作循环。它也修不好系统延迟，再高的查询频率都消不掉延迟。因为延迟丢掉的那条线索，问多少次都是丢的。

基准测试同样帮不上忙，因为标准仿真器都是无声的。RLBench 和 ManiSkill 在完全没有声学通道的环境里考察空间推理与视觉控制。真正用声音的导航基准允许智能体移动底座来改善听音几何，机械臂没有这条路：它必须一边干活，一边产生自己的机械噪声。

把感知节拍和决策节拍分开

我们的答案来自一个判断：这是速率不匹配，不是信息缺失。声音一直在，只是策略被问得太少，接不住它。

于是，与其把策略做得更快，我们把两种速率解开。一份持久记忆跟着音频流逐包更新，不看策略何时发起查询。等到真正要决策，记忆里已经装下了此前到达的一切，包括发生在盲区间里的事件。机器人回应的不是上一个窗口，而是刚刚过去这一秒的聆听，其中浓缩着近期的历史。

这是整个设计的核心动作，架构里其余部分都是围着它做的记账。需要一个东西记住，一个东西解释，一个东西预测接下来的声音，还有一个东西去行动。我们照着这个分工给它们起了名字。

两条约束塑造了设计。其一，音频通路必须严格因果：任何环节都不能去看尚未到达的采样，分词器为某一段生成编码时也只能依赖这一段本身。其二，记忆跨度要是指标，不能是运气。它得覆盖最坏情况下的决策间隔，再加上实测的系统延迟，否则这个保证就只是统计意义上的。

四个模块

Historizer。 两次决策边界之间，机器人可能收到一长串连续的音频包，每个约四十毫秒。Historizer 在它们到达时逐一消费，更新一份流式的有状态 Transformer 记忆。这份记忆只在决策时刻读出，其余时间不读。它存在的全部理由就是前面那条证据消失的论证：只开一个窗口的接口，表示不了窗口打开前刚刚发生的事。我们也试过因果 GRU，以及把指数滑动平均池化用在音频特征上；流式注意力多出来的容量对得起它的开销。我们最终选的是短窗口加持久摘要，而不是超长窗口，因为长窗口会把不同的交互阶段搅在一起，结果还取决于窗口边界恰好切在哪里。

Envisioner。 解释分成两层，因为两件事的频率差得很远。高层模型读取多视角图像、当前声学窗口、指令、本体感觉和记忆，产出三样东西：语义隐向量、KV cache，以及一段对当前任务阶段的简短结构化描述，形如 {"stage": "wait", "subgoal": "listen for beep"}。这段阶段文本出自高层模型自己的文本头。随后一个更小的低层模型复用该 cache，结合当前机器人状态得到控制特征。这样分层，把昂贵的语义解释挡在快路径之外。阶段监督比看上去更要紧：少了它，需要快速改变行为的任务会明显变差，因为没有任何东西迫使隐向量说出自己处在哪个阶段，而声学上有意义的阶段，在视觉上往往长得一模一样。

Advancer。 它预测从当前决策到下一次决策之间会到达的声音，形式是流式分词器给出的离散编码，以交叉熵训练。这个模块只在训练时使用，部署时直接丢掉，推理阶段不花任何成本。它的作用，是让隐向量对时间流逝和过程推进有具体的感知。倒水、沸腾、报警、对话，各自的声学未来都不一样；把未来预测出来，会逼着共享表征编码出机器人此刻位于过程的哪一步。没有它，失败的样子和 Historizer 缺席时不同：失败来得晚。声音已经告诉机器人该停了，它还在继续倒。正是这种不对称说明，两个模块解决的是不同的问题，而不是彼此重复。

Realizer。 动作由条件流匹配生成，从高斯先验积到动作块，用几步 Euler 积分解出，控制特征通过自适应归一化注入条件。选流匹配而不是扩散，图的是步数少。这里有个细节要多说两句：平滑为什么重要。把 Realizer 换成直接回归会产生抖动，抖动把机械自噪声灌进麦克风信号，盖住系统其余部分正想听清的那些短促线索。一次由控制选择造成的感知失败。最尖锐的说法是：一边运动一边聆听的策略，必须以让聆听成为可能的方式运动。在这个场景里，感知与控制分不开。

查看原图 ↗

Historizer 把落在盲执行区间里的线索保留下来。

查看原图 ↗

高层模型负责语义和任务阶段，低层模型生成控制特征。

查看原图 ↗

Advancer 只在训练阶段使用，部署时被移除。

三个训练目标加权求和，权重在微调的前一阶段逐步升上来，模型于是先学会模仿，再被要求具备时间感。

数据从哪来：它原本并不存在

没有任何机器人数据集带同步音频。Open X-Embodiment 里根本没有麦克风；真实的同步音频噪声大、绑定具体硬件，没法跨实验室铺开；标准仿真器也都不建模声学。

这两件事我们都做了。OpenX-Sound 从视频出发，为已有的回合补上音频，同时保留全部原始信号，我们手工抽查了一部分样本，核对同步性与语义相关性。有一点要说清楚：这是给表征学习用的冷启动机制，替代不了真实的物理数据。合成音频可能漏掉细微的接触线索，可能把事件时间挪位，也可能凭空编出一个没有物理来源的声音。论文里每一个结果，都是先把 OpenX-Sound 检查点在有真实音频的任务专属示范上微调之后得到的。合成音频让预训练的声学先验成为可能，真正让行为奏效的，是后面那些真实数据。

另一半是 HEAR-Bench。它建在双臂仿真器上，另起一个异步音频线程，按控制周期推出的精确采样位置注入环境噪声和触发片段，并且只有在提示音之后达成几何目标才判成功。那条时序规则就是它的全部贡献。没有它，回合一开始就按下按钮，和闹铃真正响起时再按，看上去毫无区别。

真机实验的精心设计：为什么是这几项任务？

在验证端到端多模态具身大模型（VLA）的声音感知操作能力时，我们没有随意选取玩具场景，而是针对纯视觉策略在物理世界中的根本盲区，精心设计了每一项真机实验：

1. 摩卡壶煮咖啡：真正的机器人咖啡师 vs 虚假的开环按键

现存绝大多数声称“机器人煮咖啡”的研究或演示，本质上只是让机械臂走到商用胶囊咖啡机或全自动咖啡机前，开环按下一个固定的塑料按键，然后静止等待内部集成芯片完成倒计时。这种操作根本不需要感知物理状态，本质上只是一次机械开关触发，没有任何温度、流体或烹饪物理变化的理解。

我们在真实厨房台面布置了意大利经典的金属摩卡壶明火加热萃取任务。摩卡壶由完全不透明的双层金属腔体构成，内部加压沸水、滤网咖啡粉饼以及向上喷涌的咖啡液完全深藏在金属壳体内，外部视觉相机与红外传感器根本无法穿透金属窥视内部液位与流动。

一名经验丰富的专业咖啡师绝不依赖秒表，而是全凭双耳监听锅炉内部的声音变化：

静默加热相：底壶水温逐渐上升，仅有微弱的热传导声；
平缓沸腾与层流萃取相：水蒸气压力推动热水穿过粉饼，发出持续、温和的轻微咕嘟声；
暴烈喷溅爆发相（Sputtering Phase / 气穴空化喷涌）：下壶水即将耗尽，高温高压蒸汽混合残存咖啡液从导流烟囱剧烈喷出，伴随着极具辨识度的“嘶嘶喷溅”声。

这是决定咖啡品质的绝对分水岭：早一秒离火，萃取不足导致口感酸涩水感；晚两秒离火，干烧将导致咖啡粉过萃焦苦甚至烧毁壶底。

HEAR 是真正的机器人咖啡师：它通过端到端 VLA 大模型实时监听高频声学频谱的突变，在捕捉到微弱喷溅声涌现的瞬间，以毫秒级响应发出离火动作块，将摩卡壶稳健移离电热炉。

查看原图 ↗

对比传统开环按键与 HEAR 监听金属摩卡壶内部声学相变的本质差异。

2. 摇瓶辨物：主动声学探测（Active Acoustic Probing）

在日常生活中，大量药品瓶、食品罐、封闭包装盒都是完全不透明的。被动视觉观测在面对不透明容器时彻底失效（无论如何调整相机视角，都只能看到静止的外表面）。

机器人必须具备“主动感知（Active Exploration）”的能力：先通过抓持摇晃瓶体施加外力激发碰撞，再从物体撞击容器壁的高频碰撞音色、共振阻尼与撞击频率中，解耦出内部是否存在物体、物体的物理材质与充盈程度。在真机演示中，我们采用装有实物的非空瓶，展示机器人通过主动摇晃准确捕捉内部撞击音并做出分类判断。

3. 真实闹钟：视觉静止下的时序混叠消歧

闹钟在静止状态与响起状态下，视觉外观完全相同。若无声学反馈，端到端策略很容易因捷径学习（Shortcut Learning）直接按停按钮。实验要求策略必须在闹铃真正骤响时才瞬间响应，验证 VLA 对瞬态声学触发事件的时间对齐精度。

4. 往不透明容器倒水与接听电话

往不透明容器里倒水，是声音成为唯一信号的典型场景。液面完全被遮挡，真正的决策变量是水流撞击容器底部与共鸣腔体缩小时倒水声的频率上升变化率。接听电话则检验长程复杂流程中，机械臂根据电话铃声响起到位、根据人声对话停顿判断聆听、并在通话结束挂断音响起后执行复位挂机，验证端到端 VLA 在连续声学事件驱动下的多阶段状态流转。

真机实验视频

所有演示均保留现场真实声音；点击后播放。

摩卡壶煮咖啡机器人化身咖啡师，监听封闭金属摩卡壶内部的剧烈喷溅声，精准判定萃取完成并执行离火。

接听电话铃声、语音和通话结束声帮助机器人区分视觉上相似的任务阶段。

摇瓶辨物机器人主动摇晃不透明容器，通过内部实物撞击的碰撞音色与共振阻尼判定所装物品。

真实闹钟机器人等闹钟真正响起后才按下停止按钮。

核心技术沉淀与工程认识

将高频连续声学信号深度融入端到端具身大模型（VLA），远不止在模型输入端增加一个声学特征编码通道那么简单。传统做法将声音当成额外的视觉通道对待，但声音的物理本质是事件驱动的高频瞬态信号，它要求端到端大模型在底层架构层面解决异步时序节拍的解耦与对齐。

这种张力并不局限于声音。任何以高于策略查询频率产生短促、不可重复事件的接触物理模态（最典型的便是高频触觉与微振动），都会遭遇同样的速率不匹配瓶颈。这种速率与因果不对称性，无法通过单纯把 VLA 大模型推理速度做快来解决。

单纯提高大模型的动作重规划频率并不能弥合瞬态事件捕获问题，反而会由于过高的推理抖动引入控制不稳定，拿系统的长程稳定性去换取盲目的瞬态反应，只会为控制系统引入高频噪声。唯有在架构内部建立显式的局部时序状态记忆与跨模态对齐表征，才能使端到端具身大模型既具备宏观语义因果理解，又拥有毫秒级声学物理闭环能力。辅助的声学未来预测自监督目标可以在推理零开销的前提下提供紧凑的时间锚定，而严格考虑时间触发因果的评测基准，才真正把“看起来做对了”推进到“确实听懂了物理世界”。

目前还做不到的事

只有一个工作空间麦克风，既无法定位声源，也分不开重叠的事件，这实际上就是鸡尾酒会问题。我们想要一个麦克风阵列，或者用底座加末端执行器组成一对来做波束成形。系统完全靠离线模仿训练，鲁棒性受限于示范中噪声与时间变化的多样性，在真实房间里做在线微调或强化学习是最直接的补救。音频和视觉仍作为两路独立的流处理，在表征层面融合，我们猜测，能把音色与接触直接关联起来的原生视听编码器会做得更好。至于不受约束的真实烹饪声学，仍是开放问题，真机部署的难度明显高于仿真。

更大的图景

我们出发时面对的那处张力，也就是高频的瞬时感知事件与低频、带延迟的策略更新之间的落差，并不是声音独有的。每一种把信息放在时间里的物理模态都会遇到它。HEAR 是我们的一次尝试：说明修法在架构上，并且把可以复用的东西留下来，包括 VSLA 的表述、预训练语料和评测基准，让后来的人接着往上做。

ERMV：面向具身智能的 4D 多视角机器人世界模型

Wed, 23 Jul 2025 12:41:11 +0000

示范数据很贵，可我们手里已经有了

视觉-语言-动作（Vision-Language-Action，VLA）模型在多视角图像序列上训练，每一帧都对应产生它的那个动作。采这类数据又慢又贵，而且扩不起来：一段操作序列就可能包含上千张图像，高质量专家示范的稀缺，是这些策略能否泛化到开放世界场景的主要限制之一。

这项工作的起点是一个观察：数据早就存在了，缺的是多样性。一段抓起盒子的示范教会了策略该怎么做，却只给出了这件事发生的那一个世界版本。如果策略见过的盒子永远只在那张桌子上、那个房间里，它没有任何理由迁移过去。

为了突破这一数据孤岛，具身智能亟需一个能够理解物理交互、保持多视角时空一致性、且严格遵循机器人动作规律的机器人世界模型（Robotic World Model）。如果世界模型能够以已有的高质量动作为条件，在保持物理交互过程绝对保真的前提下，推演生成不同场景外观、光照、背景的反事实世界状态，海量高价值的 VLA 训练数据就能够被成倍激活。

这正是 ERMV 的核心定位：构建一个动作与状态条件化的 4D 多视角机器人具身世界模型。它不仅仅是在做静态的画面编辑，而是把整条 4D 时空物理交互轨迹当作一个可控的状态转移流来建模。

这其中的核心挑战在于物理动作配对。一段真实的机器人示范不是普通的单视角视频，它是若干同步的高频相机视图，加上高精度的机械臂位姿状态和控制指令。一旦世界模型在生成推演时产生空间漂移、改变了相机的几何投影关系，或者破坏了机械臂与操作物体之间的物理接触因果，整段轨迹就变成了违背物理规律的错误示范。这种生成数据比数据稀缺更加致命。

查看原图 ↗

视觉变化在同步视图之间传播，而记录下来的动作保持不变。

现有生成式模型为什么建不好机器人世界

近年来，基于大算力的通用视频生成模型（如 Sora 等）展现出了惊人的视觉合成能力，也有不少研究尝试将其引入具身领域构建世界模型。然而，在机器人精细操作领域，通用的非条件视频生成或者自动驾驶环视世界模型根本无法直接迁移：

自动驾驶世界模型的刚性先验在机械臂操作中彻底失效：为自动驾驶设计的环视世界模型依赖于固定的车规相机阵列以及扁平的鸟瞰图（BEV）投影先验，跨视角注意力被硬编码在相邻相机的已知相对位置上。但机器人操作场景通常配备动态运动的腕部相机（Eye-in-Hand）与多路自由视角的第三人称相机，相机的相对位姿在毫秒级快速变化，刚性空间拓扑先验根本不复存在。
缺乏严格动作条件化（Action-Conditioning）的视频模型会发生物理幻觉：通用视频模型虽然能生成连贯画面，但无法把机器人末端执行器的物理位姿、关节转角和夹爪动作严格作为动力学控制条件。画面里的物体可能无缘无故位移、形变，甚至机械臂穿模或凭空抓起物体——这种生成视频对于端到端策略训练而言是致命的“毒药”。
逐帧单图修复（Inpainting）破坏 4D 时空连续性：单图增强方法虽然能换背景，但它完全丧失了时间维度与相机间的约束，生成出来的物体在不同视角之间“穿帮”，连续播放时剧烈闪烁。
静态 3D 重建难以表达高动态接触物理：基于 NeRF 或 3DGS 的静态重建虽然保住了多视角几何，但很难建模机械臂与非刚体、流体、小物体之间复杂的瞬态接触力学与遮挡关系，更无法应对高速运动产生的运动模糊。

具身智能真正需要的世界模型，必须是在机器人动作与运动状态强约束下、保证多相机视角几何一致、且能稳定进行长时程 4D 物理推演的生成系统。

难在哪里

相机阵列不是固定的。操作数据来自一个不断运动的、以自我为中心的多相机系统，任何依赖已知静态相机间几何的一致性机制到这里就失效了。

运动模糊破坏了我们本来可以依赖的几何。相机和物体同时在动，于是在一张模糊图像里沿精确极线采到的特征，未必对应真实的像素位置。让多视角注意力成立的那个约束，在运动条件下反而是错的。

误差会累积。编辑后的帧要作为历史喂回下一个窗口，小误差不会一直小下去。放到长时程上看，它表现为语义漂移和细节模糊。这个领域对误差的容忍度格外低，因为机械臂和被操作的物体必须在整段序列里保持一致。一旦不一致，这段序列不只是看上去不对，它不再是有效的训练数据。

算力上的矛盾是结构性的，不是偶发的小麻烦。长程记忆想要大一点的工作窗口，而在 L 个时间步、N 路视角的窗口上做密集注意力，又要吃掉一大块显存。我们希望它在一块消费级 GPU 上就能训练。

保住真正要紧的物体，没有便宜的解法。为被操作物体训练一个通用分割器不可行，因为这类物体种类繁杂，常常是从未见过的，还被以自我为中心的刁钻角度拍摄。对上万张图像逐帧人工标注，同样负担不起。

文本提示也缺少这个任务需要的粒度。让模型把背景换成办公室，颜色、房间类型、朝向全都没有定义，出来的结果还可能和机器人正在做的事情相冲突。

用机器人数据自带的结构

机器人数据的结构化程度好得少见。它自带标定过的相机、记录下来的相机位姿、记录下来的机器人状态，以及一个共享的时钟。我们的想法是，别再为编辑另造一套描述规范，直接把这套结构用起来，再加一张手工编辑的关键帧。

主相机的第一帧由图像修复模型或人工编辑，这张编辑后的图像就是视觉层面的规范。论文里叫它 blueprint（蓝图），这个词用得很准。颜色、布局、朝向它都表达得毫不含糊，一句话做不到这一点，而人只需要改一帧，不是上千帧。

从这套结构里引出两个设计决定，它们都在放宽约束，而不是去满足约束。

第一个关于极线几何。一个正在运动的夹爪被运动模糊在像素上抹开，由位姿算出的极线指向的是夹爪静止时应该在的位置。严格施加这个约束，匹配到的是错误的像素。所以我们把极线几何留作搜索结构，同时让模型去学那个偏移。一个小网络根据局部图像特征和运动条件预测运动造成的偏移，注意力沿着平移后的直线进行。约束是被放宽了，但没有被丢掉。

第二个关于注意力。密集时空注意力是维持序列一致性的默认做法，代价很高。支持我们不做它的那个领域观察是：在很多操作场景里背景基本静止，图像变化缓慢，需要靠密集机制去捕捉的帧间差异并不多。所以我们采样。

查看原图 ↗

固定预算的观测为整个窗口提供长程上下文。

稀疏上下文，以及把稀疏拿掉的东西还回去

稀疏时空上下文（Sparse Spatio-Temporal context）在一个滑动时间窗口上采样固定数量的一组图像，规模远小于完整的时间×视角网格。采样是随机的，这一点值得直说，不必往它身上安一个本来没有的智能。

真正起作用的在后半段。每张被采样的图像都带着自己原本的时间索引和相机索引，这些身份被显式编码成条件。下采样破坏了时空结构，于是我们把结构重新注入进去。三秒前的一帧仍然被标记为三秒前，它因此能贡献外观证据，又不会被误当成当前状态。这个想法很小，适用范围却很宽：对结构化数据做下采样时，把结构放回去。

还有第二个决定，把它和常见的自回归方案区分开来。采样得到的历史不只是作为条件注入网络，它还会和未来帧一起被生成出来。未来帧因此能在生成过程中从历史里提取几何结构，而不是仅仅以历史为条件。

在窗口大小固定的前提下，稀疏采样省下的显存大约是两倍。正是这个倍数，让单卡训练成为可能。

运动条件放在哪里

每张目标图像都以相机位姿、机器人状态，以及这两者的时间差为条件。静态项为每个视角提供几何上的落点，时间差项才让模型有能力渲染出运动模糊。这件事比听上去更要紧。去掉运动条件之后，图像看上去反而更锐利，毕竟模糊也是一种“不锐利”，可它们不再具备真实相机会拍到的那些物理特征。感知上的锐利不等于物理上的真实，而在一批不可能锐利的图像上训练出来的策略，学到的是一个并不存在的分布。

训练的前提是同步的位姿与状态记录确实存在。对机器人示范来说这个前提成立，这也是方法在这里行得通、换到任意视频上就行的原因。

查看原图 ↗

极线是搜索结构，一个学到的偏移量负责解释运动模糊。

把人力花在真正需要的地方

生成的帧会作为历史反馈回去，而历史恰恰是误差累积的地方。与其去指望一个更好的生成器，我们在系统层面处理它，引入一个验证器。

一个多模态大模型充当自动检查器，用思维链（chain-of-thought）提示把每张生成图像与原始图像做比较。它按十分制给核心物体的退化程度打分，并给出一致性判断。检查不通过时，系统向专家索取核心物体的分割掩码，这个掩码成为一次纠错式重生成的额外条件。

我们把它描述为 MLLM 审核加专家纠正，并且把它当作一条务实的中间路线，而不是一个已经解决的问题。两个显而易见的极端都走不通：为被操作物体训练通用分割器训不出来，逐帧标注又负担不起。这个环节把人工标注限制在模型失手的少数情况上，而这些地方正是专家时间真正值得花的地方。

关于这条流水线究竟有多自动，应该讲清楚。它不是全自动的。引导帧由人来产出，也可能有人被要求提供掩码。让这条边界往后推属于未来工作，我们提到语义分割和目标检测是可能替代当前部分人工干预的工具。

查看原图 ↗

自动检查捕捉退化，只在它失败的地方请求人工纠正。

我们从中学到什么

被违反的物理约束应该被放宽，而不是被丢弃。模糊破坏了极线几何，有用的应对是学出偏移，同时把几何留在那里当骨架。丢掉约束，等于丢掉了让跨视角注意力得以成立的那套结构。

稀疏化的理由应该来自领域统计，而不是泛泛的效率论证。背景基本静止是操作场景的真实性质，正是它让稀疏注意力站得住脚，而不只是便宜。

对结构化数据下采样时，把被采掉的结构重新注入。每个样本多带两个索引，代价很小，换来的是模型能正确解读它们。

误差累积可以在系统层面处理，不必塞进生成器内部。一个便宜的外部验证器是更好的模型之外的合理选项，它还有个附带好处：把模型的薄弱处定位出来。

还有一点，去做增强，而不是重新采集。这是最实际的主张，也是为什么即使它需要一张引导帧、偶尔还需要人工搭把手，这个方法依然值得做。

系统边界与物理约束

作为面向真实机器人操作的 4D 世界模型，我们也需要诚实界定 ERMV 的系统边界：

轻量表征与隐式几何：ERMV 目前采用多视角 2D 扩散机制结合极线注意力来隐式维持 4D 几何，尚未显式引入深度图、点云或 3D 高斯泼溅（3DGS）等显式三维表征。引入显式 3D 几何先验有望进一步抑制极端大位移下的几何畸变，这是未来架构升级的自然方向。
人机协同的纠错闭环：当前的 MLLM 验证器虽然极大减轻了人工负担，但在遇到高度透明物体或极端复杂流体时，其多模态审视仍可能漏判。目前的设计务实地保留了极少数关键掩码的人工介入通道，实现无人值守的全自主闭环验证仍需更强的高精度大模型支持。
物理保真度与动力学遵循：ERMV 是基于示教动作与运动学先验驱动的生成式世界模型。它能高保真地渲染出光影、材质、背景和遮挡关系的真实时空演变，但它不是通用力学解析器。当动作导致未建模的剧烈破碎或复杂刚体碰撞动力学突变时，世界模型依然依赖于训练分布中记录的物理线索。

通向哪里：可控具身世界模型的未来

ERMV 的核心贡献，在于证明了构建高保真、可控的 4D 多视角机器人具身世界模型不必依赖不可控的黑盒通用视频模型，而是可以深度结合机器人本体的运动学状态与相机几何约束，以极具算力性价比的方式实现物理环境的推演与反事实生成。

作为机器人具身世界模型，ERMV 展现出几个极具变革性的应用图景：

反事实世界推演引擎（Counterfactual World Engine）：给定一段真实示范的物理动作与状态流，世界模型可以推演该动作在无数个平行物理世界中的多视角展开（不同桌面材质、不同光影环境、杂乱背景与反光表面），直接为端到端 VLA 具身大模型提供几乎无限的泛化训练数据。
动作条件化未来推演与安全验证：给定任务初始环境与一段规划动作，世界模型可以前向 rollout 出未来的连续 4D 视频流，作为策略部署前的离线安全评测环境，在不损坏真实机械臂的前提下预警可能的碰撞与操作失误。
打通仿真到真实（Sim-to-Real）的全新范式：在低成本物理仿真器中大规模生成交互动作轨迹，再借助 ERMV 动作对齐的世界模型，将其推演为具备真实相机传感器物理特性（包括镜头噪点、动态运动模糊与真实材质响应）的多视角逼真视频流，以生成式世界模型大幅缩小 Sim-to-Real 的视知觉鸿沟。