机器人操作 | 聂畅

Teach and Grow：面向通用机器人学习的智能体中心架构

Mon, 17 Aug 2026 23:45:21 +0000

少量示教，留下可以再次使用的技能

Teach-and-Grow Learning（TGL）构建了一种以 AI Agent 和 GPT-6 为中心的机器人操作（AI Agent and GPT-6 centered robotic manipulation）架构。面对开放物理世界多变的长时序任务，TGL 不再依赖昂贵脆弱的端到端权重再训练，而是将拥有前沿物理常识与世界认知先验的 GPT-6 确立为具身控制的中央推理中枢。围绕 GPT-6 构建的 AI Agent 负责整个机器人操作任务的宏观时空分解、跨情境语义消歧、物理契约核验与异常自愈。

在预训练大模型权重完全冻结的前提下，AI Agent 能够将人类或仿真环境提供的少量成功示教，提炼为具备明确物理适用边界与自愈能力的显式机器人技能。系统将抽象的子目标技能落实到当前度量几何场景中，并在物理动作执行后严格核验实际发生的物理状态改变，最终将经过验证的行为规则与自愈策略沉淀至持久化的技能库与经验记忆中。

示教 → 执行与验证 → 技能沉淀。 示教提供动作的子目标划分与因果结构，物理传感反馈指导动作闭环与故障恢复，而以 GPT-6 为核心的 AI Agent 驱动的双层记忆结构，使得前序任务积累的能力能够无缝迁移为后续未知任务的起点，彻底摆脱了传统机器人策略学习对频繁微调与参数更新的依赖。

· ·

端到端策略更新的沉重负担：再训练成本

在当下的深度模仿学习与端到端视觉-语言-动作（VLA）模型研究中，策略学习主要依赖在高维参数空间 $\theta \in \mathbb{R}^D$ 内进行梯度优化。然而，一旦将这类模型部署至真实的非结构化物理环境中，其工程落地便面临着严峻的结构性矛盾：

当机器人遇到新的操作容器、未经标定的相机安装视角、反光材质或者出现未曾覆盖的偶发抓取滑脱时，尽管当前场景的几何差异极其微小，但在参数化策略范式下，修复这一局部缺陷通常意味着必须重新采集数十甚至上百条示范轨迹，并在原有的混合数据集上重新执行一轮耗时数小时乃至数天的多任务联合优化。更严重的是，由于神经网络内部高维特征表征的深度耦合，针对新工况调整权重往往会引发隐式的表征漂移，导致原本已经熟练掌握的历史任务性能发生不可预测的退化，即灾难性遗忘（Catastrophic Forgetting）。我们将这种在面对物理环境微小变动时反复出现的计算、数据与验证负担，形式化定义为 再训练成本（Retraining Tax）。

物理交互数据与互联网规模的纯文本或静态图像数据存在根本性的成本结构差异：物理接触无法通过简单的离线自回归进行无损合成，抓取稳定性必须在三维力学世界中实际试错，动作引起的支撑关系与摩擦状态改变必须依赖多模态传感器进行冷酷检验。物体几何位姿、工作台背景杂乱度、材料表面摩擦系数以及机器人本体的动力学非线性相互交织，覆盖单个物理因子的独立分布绝不等于覆盖它们在高维组合空间下的联合分布。

TGL 由此切入一个根本性命题：我们能否将新任务的获取过程与神经网络权重的梯度更新解耦？能否把经过物理检验的有效操作经验沉淀为显式的结构化对象，赋予其严格的几何适用范围、可判别的物理前置/后置条件以及独立的故障恢复规则？在这一范式下，GPT-6 驱动的 AI Agent 继续作为强大的物理常识推理器与决策中枢，而 TGL 则彻底重塑了新技能在机器人系统内部的存储与流转机制。

查看原图 ↗

图 1. 以陌生抓放任务为例，对比策略优化与由智能体组织的技能获取。

从能够规划的 AI Agent，到以 GPT-6 为中心的机器人操作体系

这项研究的原初起点，在于探讨如何让具备工具调用（Tool-Using）能力的 AI Agent 驱动机械臂完成开放任务。将 GPT-6 引入具身智能的核心，赋予了系统前所未有的物理因果推理与环境语义理解能力。结合检测、位姿估计与运动规划工具，以 GPT-6 为中心的 AI Agent 即使在没有任何先验示教的情况下，也能通过多轮试错与交互探索拼凑出可行的动作序列。

然而，单纯依靠大模型即时推理暴露出了致命的缺陷：当任务回合结束、机器人完成摆放后，系统没有留下任何可复用的确定性知识。当面对相同或高度相似的任务时，若依然必须重新调用大模型进行冗长的高延迟推理，重新在巨大的动作空间中进行搜索；而上一次执行中踩过的物理坑点（例如某种透明杯口边缘容易打滑、特定抽屉滑轨存在末端卡滞）也随着上下文窗口的清空而被彻底遗忘。

TGL 将 GPT-6 深度整合为 AI Agent 的认知中枢，保留了智能体“观察—推理—执行—核验”的敏捷闭环，并在此基础上构建了能够终身演进的记忆架构。一次成功的任务探索被提炼为带有形式化契约的技能块，而偶发的物理失配、故障归因与自愈恢复路径则作为情境案例沉淀进经验记忆。在后续执行中，系统优先检索并复用高置信度的结构化技能，仅在遇到未知变化时才激活 GPT-6 与 AI Agent 进行自适应微调。

在此架构中，少量的成功示教（人类遥操作轨迹、高质量仿真示范、跨视角第一人称视频或结构化操作手册）被定位为一种 加速器而非不可逾越的前提。少量示教的作用在于提前为智能体提供宏观层面的子目标时序分解拓扑，将原本发散的高维探索空间约束在关键状态转移的几何局部，显著削减无效试错代价。

形式化建模：把可执行能力定义为显式“技能块”

为了将动作策略与当前场景特有的瞬态物理细节彻底剥离，TGL 引入了形式化的 技能块（Skill Block） 抽象。以“将碗拾取并平稳放置到托盘上”为例，在不同示范中，机械臂的具体关节轨迹、末端移动速度以及接近物体的方向各不相同，但任务底层的因果不变结构高度稳定：识别目标碗体、建立稳定的接触对齐夹持、转移至托盘上方、顺应释放接触。

我们在数学上将一个技能块 $S_k$ 严谨定义为一个六元组：

$$S_k = \langle \mathcal{G}_k, \mathcal{P}_{\text{pre}}, \mathcal{P}_{\text{post}}, \Pi_{\text{exec}}, \mathcal{V}_{\text{eval}}, \mathcal{R}_{\text{recov}} \rangle$$

其中：

$\mathcal{G}_k$ 表示该技能旨在达成的语义与几何子目标（Subgoal）；
$\mathcal{P}_{\text{pre}}$ 为该技能触发的显式前置物理条件集合（如目标物体在工作空间内可达、夹爪处于完全张开状态、接触表面无动态遮挡）；
$\mathcal{P}_{\text{post}}$ 为技能成功执行后必须满足的后置物理状态断言（如物体质心位移超出阈值、夹爪开度与物体厚度匹配）；
$\Pi_{\text{exec}}$ 为与该技能兼容的底层参数化执行器族（如 Contact-GraspNet 抓取采样器、笛卡尔直线阻抗控制器或预训练的局部专用小策略）；
$\mathcal{V}_{\text{eval}}$ 为多模态物理检验算子，负责在动作结束后输出确定性的成功置信度评估；
$\mathcal{R}_{\text{recov}}$ 为有界自愈策略分支，定义了当执行异常时的局部回退与补偿动作。

这里的 免训练（Training-Free） 具有清晰的数学与系统边界：在获取与沉淀新任务技能的全过程中，系统不涉及任何神经网络参数的梯度反向传播或微调过程。基础视觉语言模型与专用几何模型保持权重冻结；能力的跃升完全体现为显式技能库与经验记忆的拓扑扩充与参数自洽。

查看原图 ↗

图 2. 一个任务经历示教、组合、执行、验证与持久化，形成的技能库与经验记忆成为下一个任务的起点。

上层子目标因果推理，下层度量几何与力学控制

TGL 建立了清晰的双层分工体系，确保高层通用认知能力与底层物理控制精确度各自发挥极致：

1. 跨模态示教解析与子目标拓扑对齐

智能体首先将输入的示范轨迹（包含多视角视频与状态时序）在关键物理状态转变点处进行时空切分。系统并非简单记录时间序列路点，而是提取物体之间的空间接触拓扑演变（例如自由移动相 $\to$ 接触预备相 $\to$ 稳定约束相 $\to$ 释放分离相）。即便不同演示之间的运动速度与动作细节存在显著方差，共同的状态转移网络构成了候选技能块的拓扑骨架。

2. 场景具象化落实（Scene Grounding）与度量几何映射

当高层智能体决定调度某个技能块时，必须将其抽象的因果参数与当前真实物理场景进行严格的几何对齐：

感知与分割：机载 RGB-D 相机获取场景点云与高分辨率图像，调用开放词汇检测与分割模型提取目标实体几何掩码；
抓取与位姿求解：利用 Contact-GraspNet 在目标物体三维网格上密集采样力闭合抓取位姿候选，筛选出法向与执行器几何相容的最优夹持点；
无碰撞运动规划：调用 MPLib 与 OMPL 运动规划库，在考虑场景障碍物 ESDF 碰撞边界的条件下，求解出动力学可行的连续关节插补轨迹。

3. 基于多模态反馈的物理检验契约

动作执行完毕后，系统决不允许开环盲目推进，必须经过 $\mathcal{V}_{\text{eval}}$ 检验算子的冷酷审核：

以抓取动作 GraspObject 为例，仅仅机械臂关节角到达预设航向并不足以断定成功。系统同时读取夹爪电流反馈、红外光电传感器遮断信号与手腕六维力矩传感器读数：若三者共同证实末端承载了物体的真实重力负荷，后置断言方才判定通过；
若检验结果显示未检测到有效负载，系统立即判定为抓取滑脱，并动态分支到局部有界恢复子程序 $\mathcal{R}_{\text{recov}}$，重新调整夹持器切入倾角再次尝试，从而在局部掐断单步误差向长程链条的扩散。

查看原图 ↗

图 3. 技能契约连接语义子目标、当前场景中的执行与可观察的证据。策略被保留，几何与控制重新计算。

双层记忆系统：技能库保存行为，经验记忆保存上下文

为了兼顾通用能力的高效检索与特殊工况的深度适配，TGL 设计了结构清晰的双层持久化记忆架构：

1. 技能库（Skill Library $\mathcal{L}_{\text{skill}}$）

技能库维护着经过实机充分检验的通用原子技能原型。每个技能条目封装了规范化的子目标描述、前置几何条件检查器、场景具象化映射规则以及兼容的运动规划器接口。技能库追求高度的抽象性与普适性，使其能够被跨任务、跨物体实例无缝调用。

2. 经验记忆（Experience Memory $\mathcal{M}_{\text{exp}}$）

经验记忆则是一个面向情境案例的异质记忆网络，专门记录具体执行回合中的上下文细节与异常诊断日志：

记录每次执行时的环境光照参数、物体几何表面特性、候选抓取评分与实际执行结果；
重点归档执行失败案例及其成功的自愈恢复链条（例如：在抓取某种高反光金属圆柱体时，侧向抓取因静摩擦不足出现滑移，但调整为垂直俯冲两指捏持后成功建立约束）；
当系统在后续任务中遇到类似的边缘工况时，经验记忆先验介入，指导高层智能体规避历史失败路径，直接选择鲁棒性经过实证的微调参数，避免机器人重复犯下历史错误。

这种双层解耦设计赋予了系统极高的工程可解释性与人工可审计性：工程师能够清晰地查看技能库中每个技能的适用边界，根据需要手动修正某个脆弱的自愈规则，或者将存在隐患的执行工具打上兼容性黑名单，而无需重新启动漫长且不可控的全局重训练过程。

终身学习假设与局部更新的成本缩放优势

传统深度强化学习与模仿学习在能力扩张时面临着维数灾难与灾难性遗忘的夹击。TGL 提出了 有效可复用经验（Effective Reusable Experience） 缩放假设：随着机器人在物理世界中执行任务数量的增长，技能库中沉淀的有效技能块与经验规则将逐步覆盖绝大多数常见几何与接触模态。

查看原图 ↗

图 4. 未来任务误差与教学需求的概念性预测，曲线为示意。

在数学分析上，我们对比了全局耦合优化范式与 TGL 显式技能扩展范式的边际计算成本：

全局策略更新范式：每当引入第 $N$ 个新任务时，为了维护全部 $N$ 个任务的联合分布一致性，重训练所消耗的数据样本量与反向传播算力呈超线性增长 $\mathcal{O}(N^\alpha)$（$\alpha > 1$）；
TGL 局部扩展范式：新增技能块的沉淀与校验仅需局部针对当前特定几何子目标进行闭环验证，其计算开销仅取决于当前技能的验证复杂度，边际成本保持为严格的有界常数 $\mathcal{O}(1)$。

只要单次任务的具象化映射、物理检验与技能检索开销维持在极低的轻量级水平，显式技能积累架构就能够在长期运行中展现出显著的计算效率与资源利用优势。

查看原图 ↗

图 5. 在不同覆盖需求与局部兼容性假设下的分析性成本情形。

慢教师与快学生：双系统闭环协同

在实际工业与服务场景中，纯粹依赖大模型驱动的智能体进行全流程闭环虽然通用且具备强推理能力，但其通常面临百毫秒乃至秒级的推理延迟，无法完全胜任对反应速度要求极高的高动态运动。

为此，TGL 原生支持 “慢教师—快学生（Slow Teacher, Fast Student）” 的双系统协同演进范式：

慢教师系统（System 2：TGL Deliberative Loop）：大模型智能体作为“慢教师”，负责在陌生环境与高难度任务中进行深思熟虑的因果推理、工具调度与容错自愈，并在真实物理交互中过滤掉失败动作，生成高质量、经过全流程物理验证的专家执行轨迹缓冲池；
快学生系统（System 1：Distilled Reactive Policy）：利用慢教师积累的高质量轨迹数据集，在后台异步蒸馏训练紧凑高效的高频响应策略（如 50 Hz 的 Diffusion Policy 或局部动作分块策略），用于在常见工况下执行毫秒级流体般平滑的熟练操作；
异常无缝接管机制：当快学生策略在执行中遭遇未见扰动或物理检验失败时，底层监控系统立即触发异常中断，控制权毫秒级回切给慢教师智能体进行深度因果诊断、策略修复与技能扩充，从而兼顾了即时响应速度与复杂长程泛化上限。

查看原图 ↗

图 6. TGL 的整体系统视图，虚线路径表示拟议的快速策略训练与多机器人共享。

基准评测表现与实验洞察

我们在主流机器人操作基准 LIBERO 与更加注重分布外扰动测试的 LIBERO-Plus 环境中，对 TGL 进行了严苛的定量评测与消融实验。重点考察了以下几个核心维度：

少样本甚至零样本技能转化率：在仅提供 1 至 3 条示范轨迹的前提下，TGL 能否准确提炼出子目标因果结构，并在空间位姿、物体外观发生显著偏移的测试场景中成功复用；
再训练成本消除效果：对比主流参数微调算法在新增 10 项连续任务时的累计算力消耗与历史任务保留率；
闭环物理核验与有界自愈的容错贡献：量化检验在人为施加外部物理扰动（如抓取时轻微推碰物体、遮挡目标局部特征）时，自愈模块对任务最终成功率的提升倍数。

实验数据充分证明：

TGL 在仅需极少示教的前提下，展现了远超传统小样本模仿学习基线的分布外泛化能力；
由于策略权重全程完全冻结，系统对历史已掌握任务的成功率实现了理论上的零衰减，彻底消除了困扰连续机器人学习的灾难性遗忘顽疾；
显式物理检验与自愈循环将偶发执行故障的现场化解率提升了数倍，使长时序复合任务的稳定运行成为可能。

总结与工程反思

TGL 的探索揭示了一个被深度学习热潮所部分遮蔽的事实：机器人的通用操作能力并不必然等同于一个无所不包的超大规模端到端神经网络。

通过将高级常识推理、度量几何工具、确定性阻抗控制与显式双层记忆深度融合，我们证明了在完全不触动网络权重的条件下，机器人同样能够展现出强大的学习、适应与能力沉淀特性。这套将知识保留为可检查、可干预、可复用显式对象的系统架构，为走向真正低成本、高可靠、可持续进化的具身智能机器人系统提供了坚实的理论与工程参考。

迈向视觉-声音-语言-动作范式：面向声音中心操作的 HEAR 框架

Tue, 17 Mar 2026 03:22:30 +0000

听不见物理的机器人

现在的视觉语言动作模型会看、会理解语言、会运动，唯独不会听。它们工作在一个近乎无声的世界里，而机器人所处的环境其实满是声音：水烧到将沸时的嘶嘶声，碰撞那一下清脆的咔嗒，满容器与空容器截然不同的音色，材料从弯曲转向开裂的那一瞬间。这些声音都在编码相机无法还原的物理状态。

接触声学是能拿到的最便宜的触觉传感器：一只麦克风几美元，不用接触物体，而且一次覆盖整个工作空间。支持这么做的理由并不空泛，问题在于还没有人做出真正能用它的策略。

还没问到策略，线索就已经消失

难点不在建模，把它框成建模问题，恰恰是早先的方案没能解决它的原因。难点来自那套让大规模 VLA 模型得以落地的控制架构。

大骨干网络跑不到控制频率，于是通行做法是动作分块（action chunking）：模型一次给出未来的一小段指令，机器人开环执行完这一段，才轮到模型被再次查询。物理恰好发生在这段空隙里。碰撞、溢锅、按到底，都是短促且不可重复的声学事件，量级在一百毫秒左右，而它们往往整段落在策略没有在看的区间内。在 30 Hz 的控制频率下，一个动作块平均长约一秒。

这个后果要说准一点，因为它和大家通常的假设不一样。反应慢只是延迟；这里真正发生的是证据被销毁。声音到了，没有人在听；等再次查询策略，窗口里只剩安静。如果事件的采样在下一个窗口打开之前就已经结束，窗口里不会留下它的弱化版本，而是什么都没有。我们把两次决策之间的这段间隔称作盲执行区间（Blind Execution Interval），blind 这个词是实打实的。

还有第二类失败，和时序无关。设想机器人守在一台运转中的电器旁边。场景接近静止时，等一秒和等十秒，当前这一帧图像一模一样。专家示范却不同：下一步该做什么取决于已经等了多久，观测本身不体现这一点。只看单帧的策略分不清这两种处境，于是要么慢慢漂移，要么干脆停住。这正是时间上下文本该解决的混叠问题，而离开声音，它确实无从观测。

早先的尝试漏掉了什么

把音频转成文字是最先冒出来的念头，偏偏丢掉了我们需要的东西。语音识别前端会把非语音线索和韵律整个扔掉，还把时间压成离散 token，一声提示音什么都产生不了。更微妙的是，肯定的语气与犹疑的反问会坍缩成几乎相同的 token 序列，语用意图上的差别就此消失，而转写准确率看上去完美无缺。

第二种直觉是把波形画成图像，当作又一路相机视角。它能反映幅度变化，却掩盖了频谱结构，也就是频率轮廓与音色，材料和接触的信息恰好藏在那里。这种表示还对事件落在渲染窗口里的位置很敏感，性能起伏的原因与物理本身无关。

更近的一条路线把语音接进 VLA 模型，保留韵律和说话人身份。这是实实在在的进展，但它对准的是明确的口头命令，而不是操作过程里环境自身的声学物理，这是另一个题目。全模态系统离得更近，我们的保留意见则是结构性的：它们的设计是先听后做，用声音建立上下文、推断一次动作的意图，而不是把声音当作接触过程中的低层反馈。以上工作都没有处理瞬时事件与分块执行之间的错位，而那才是真正的瓶颈。

CLAP、ImageBind 这类音频基础模型在定长片段上离线、各自独立地训练，部署时又是无状态的，片段之间带不了任何时间上下文。紧凑的音频原生策略跑得快，也处理得了接触，但规模摆在那里，长时程、多阶段的行为很容易垮掉。原生处理音频是必要条件，远不是充分条件。

最容易想到的捷径是提高重规划频率：把动作块截短，查询得更勤，盲区间自然缩小。这些变体我们都试过。收益比看上去应该有的小得多，代价却落在运动质量上：轨迹不连续，抖动明显，还会引入局部的动作循环。它也修不好系统延迟，再高的查询频率都消不掉延迟。因为延迟丢掉的那条线索，问多少次都是丢的。

基准测试同样帮不上忙，因为标准仿真器都是无声的。RLBench 和 ManiSkill 在完全没有声学通道的环境里考察空间推理与视觉控制。真正用声音的导航基准允许智能体移动底座来改善听音几何，机械臂没有这条路：它必须一边干活，一边产生自己的机械噪声。

把感知节拍和决策节拍分开

我们的答案来自一个判断：这是速率不匹配，不是信息缺失。声音一直在，只是策略被问得太少，接不住它。

于是，与其把策略做得更快，我们把两种速率解开。一份持久记忆跟着音频流逐包更新，不看策略何时发起查询。等到真正要决策，记忆里已经装下了此前到达的一切，包括发生在盲区间里的事件。机器人回应的不是上一个窗口，而是刚刚过去这一秒的聆听，其中浓缩着近期的历史。

这是整个设计的核心动作，架构里其余部分都是围着它做的记账。需要一个东西记住，一个东西解释，一个东西预测接下来的声音，还有一个东西去行动。我们照着这个分工给它们起了名字。

两条约束塑造了设计。其一，音频通路必须严格因果：任何环节都不能去看尚未到达的采样，分词器为某一段生成编码时也只能依赖这一段本身。其二，记忆跨度要是指标，不能是运气。它得覆盖最坏情况下的决策间隔，再加上实测的系统延迟，否则这个保证就只是统计意义上的。

四个模块

Historizer。 两次决策边界之间，机器人可能收到一长串连续的音频包，每个约四十毫秒。Historizer 在它们到达时逐一消费，更新一份流式的有状态 Transformer 记忆。这份记忆只在决策时刻读出，其余时间不读。它存在的全部理由就是前面那条证据消失的论证：只开一个窗口的接口，表示不了窗口打开前刚刚发生的事。我们也试过因果 GRU，以及把指数滑动平均池化用在音频特征上；流式注意力多出来的容量对得起它的开销。我们最终选的是短窗口加持久摘要，而不是超长窗口，因为长窗口会把不同的交互阶段搅在一起，结果还取决于窗口边界恰好切在哪里。

Envisioner。 解释分成两层，因为两件事的频率差得很远。高层模型读取多视角图像、当前声学窗口、指令、本体感觉和记忆，产出三样东西：语义隐向量、KV cache，以及一段对当前任务阶段的简短结构化描述，形如 {"stage": "wait", "subgoal": "listen for beep"}。这段阶段文本出自高层模型自己的文本头。随后一个更小的低层模型复用该 cache，结合当前机器人状态得到控制特征。这样分层，把昂贵的语义解释挡在快路径之外。阶段监督比看上去更要紧：少了它，需要快速改变行为的任务会明显变差，因为没有任何东西迫使隐向量说出自己处在哪个阶段，而声学上有意义的阶段，在视觉上往往长得一模一样。

Advancer。 它预测从当前决策到下一次决策之间会到达的声音，形式是流式分词器给出的离散编码，以交叉熵训练。这个模块只在训练时使用，部署时直接丢掉，推理阶段不花任何成本。它的作用，是让隐向量对时间流逝和过程推进有具体的感知。倒水、沸腾、报警、对话，各自的声学未来都不一样；把未来预测出来，会逼着共享表征编码出机器人此刻位于过程的哪一步。没有它，失败的样子和 Historizer 缺席时不同：失败来得晚。声音已经告诉机器人该停了，它还在继续倒。正是这种不对称说明，两个模块解决的是不同的问题，而不是彼此重复。

Realizer。 动作由条件流匹配生成，从高斯先验积到动作块，用几步 Euler 积分解出，控制特征通过自适应归一化注入条件。选流匹配而不是扩散，图的是步数少。这里有个细节要多说两句：平滑为什么重要。把 Realizer 换成直接回归会产生抖动，抖动把机械自噪声灌进麦克风信号，盖住系统其余部分正想听清的那些短促线索。一次由控制选择造成的感知失败。最尖锐的说法是：一边运动一边聆听的策略，必须以让聆听成为可能的方式运动。在这个场景里，感知与控制分不开。

查看原图 ↗

Historizer 把落在盲执行区间里的线索保留下来。

查看原图 ↗

高层模型负责语义和任务阶段，低层模型生成控制特征。

查看原图 ↗

Advancer 只在训练阶段使用，部署时被移除。

三个训练目标加权求和，权重在微调的前一阶段逐步升上来，模型于是先学会模仿，再被要求具备时间感。

数据从哪来：它原本并不存在

没有任何机器人数据集带同步音频。Open X-Embodiment 里根本没有麦克风；真实的同步音频噪声大、绑定具体硬件，没法跨实验室铺开；标准仿真器也都不建模声学。

这两件事我们都做了。OpenX-Sound 从视频出发，为已有的回合补上音频，同时保留全部原始信号，我们手工抽查了一部分样本，核对同步性与语义相关性。有一点要说清楚：这是给表征学习用的冷启动机制，替代不了真实的物理数据。合成音频可能漏掉细微的接触线索，可能把事件时间挪位，也可能凭空编出一个没有物理来源的声音。论文里每一个结果，都是先把 OpenX-Sound 检查点在有真实音频的任务专属示范上微调之后得到的。合成音频让预训练的声学先验成为可能，真正让行为奏效的，是后面那些真实数据。

另一半是 HEAR-Bench。它建在双臂仿真器上，另起一个异步音频线程，按控制周期推出的精确采样位置注入环境噪声和触发片段，并且只有在提示音之后达成几何目标才判成功。那条时序规则就是它的全部贡献。没有它，回合一开始就按下按钮，和闹铃真正响起时再按，看上去毫无区别。

真机实验的精心设计：为什么是这几项任务？

在验证端到端多模态具身大模型（VLA）的声音感知操作能力时，我们没有随意选取玩具场景，而是针对纯视觉策略在物理世界中的根本盲区，精心设计了每一项真机实验：

1. 摩卡壶煮咖啡：真正的机器人咖啡师 vs 虚假的开环按键

现存绝大多数声称“机器人煮咖啡”的研究或演示，本质上只是让机械臂走到商用胶囊咖啡机或全自动咖啡机前，开环按下一个固定的塑料按键，然后静止等待内部集成芯片完成倒计时。这种操作根本不需要感知物理状态，本质上只是一次机械开关触发，没有任何温度、流体或烹饪物理变化的理解。

我们在真实厨房台面布置了意大利经典的金属摩卡壶明火加热萃取任务。摩卡壶由完全不透明的双层金属腔体构成，内部加压沸水、滤网咖啡粉饼以及向上喷涌的咖啡液完全深藏在金属壳体内，外部视觉相机与红外传感器根本无法穿透金属窥视内部液位与流动。

一名经验丰富的专业咖啡师绝不依赖秒表，而是全凭双耳监听锅炉内部的声音变化：

静默加热相：底壶水温逐渐上升，仅有微弱的热传导声；
平缓沸腾与层流萃取相：水蒸气压力推动热水穿过粉饼，发出持续、温和的轻微咕嘟声；
暴烈喷溅爆发相（Sputtering Phase / 气穴空化喷涌）：下壶水即将耗尽，高温高压蒸汽混合残存咖啡液从导流烟囱剧烈喷出，伴随着极具辨识度的“嘶嘶喷溅”声。

这是决定咖啡品质的绝对分水岭：早一秒离火，萃取不足导致口感酸涩水感；晚两秒离火，干烧将导致咖啡粉过萃焦苦甚至烧毁壶底。

HEAR 是真正的机器人咖啡师：它通过端到端 VLA 大模型实时监听高频声学频谱的突变，在捕捉到微弱喷溅声涌现的瞬间，以毫秒级响应发出离火动作块，将摩卡壶稳健移离电热炉。

查看原图 ↗

对比传统开环按键与 HEAR 监听金属摩卡壶内部声学相变的本质差异。

2. 摇瓶辨物：主动声学探测（Active Acoustic Probing）

在日常生活中，大量药品瓶、食品罐、封闭包装盒都是完全不透明的。被动视觉观测在面对不透明容器时彻底失效（无论如何调整相机视角，都只能看到静止的外表面）。

机器人必须具备“主动感知（Active Exploration）”的能力：先通过抓持摇晃瓶体施加外力激发碰撞，再从物体撞击容器壁的高频碰撞音色、共振阻尼与撞击频率中，解耦出内部是否存在物体、物体的物理材质与充盈程度。在真机演示中，我们采用装有实物的非空瓶，展示机器人通过主动摇晃准确捕捉内部撞击音并做出分类判断。

3. 真实闹钟：视觉静止下的时序混叠消歧

闹钟在静止状态与响起状态下，视觉外观完全相同。若无声学反馈，端到端策略很容易因捷径学习（Shortcut Learning）直接按停按钮。实验要求策略必须在闹铃真正骤响时才瞬间响应，验证 VLA 对瞬态声学触发事件的时间对齐精度。

4. 往不透明容器倒水与接听电话

往不透明容器里倒水，是声音成为唯一信号的典型场景。液面完全被遮挡，真正的决策变量是水流撞击容器底部与共鸣腔体缩小时倒水声的频率上升变化率。接听电话则检验长程复杂流程中，机械臂根据电话铃声响起到位、根据人声对话停顿判断聆听、并在通话结束挂断音响起后执行复位挂机，验证端到端 VLA 在连续声学事件驱动下的多阶段状态流转。

真机实验视频

所有演示均保留现场真实声音；点击后播放。

摩卡壶煮咖啡机器人化身咖啡师，监听封闭金属摩卡壶内部的剧烈喷溅声，精准判定萃取完成并执行离火。

接听电话铃声、语音和通话结束声帮助机器人区分视觉上相似的任务阶段。

摇瓶辨物机器人主动摇晃不透明容器，通过内部实物撞击的碰撞音色与共振阻尼判定所装物品。

真实闹钟机器人等闹钟真正响起后才按下停止按钮。

核心技术沉淀与工程认识

将高频连续声学信号深度融入端到端具身大模型（VLA），远不止在模型输入端增加一个声学特征编码通道那么简单。传统做法将声音当成额外的视觉通道对待，但声音的物理本质是事件驱动的高频瞬态信号，它要求端到端大模型在底层架构层面解决异步时序节拍的解耦与对齐。

这种张力并不局限于声音。任何以高于策略查询频率产生短促、不可重复事件的接触物理模态（最典型的便是高频触觉与微振动），都会遭遇同样的速率不匹配瓶颈。这种速率与因果不对称性，无法通过单纯把 VLA 大模型推理速度做快来解决。

单纯提高大模型的动作重规划频率并不能弥合瞬态事件捕获问题，反而会由于过高的推理抖动引入控制不稳定，拿系统的长程稳定性去换取盲目的瞬态反应，只会为控制系统引入高频噪声。唯有在架构内部建立显式的局部时序状态记忆与跨模态对齐表征，才能使端到端具身大模型既具备宏观语义因果理解，又拥有毫秒级声学物理闭环能力。辅助的声学未来预测自监督目标可以在推理零开销的前提下提供紧凑的时间锚定，而严格考虑时间触发因果的评测基准，才真正把“看起来做对了”推进到“确实听懂了物理世界”。

目前还做不到的事

只有一个工作空间麦克风，既无法定位声源，也分不开重叠的事件，这实际上就是鸡尾酒会问题。我们想要一个麦克风阵列，或者用底座加末端执行器组成一对来做波束成形。系统完全靠离线模仿训练，鲁棒性受限于示范中噪声与时间变化的多样性，在真实房间里做在线微调或强化学习是最直接的补救。音频和视觉仍作为两路独立的流处理，在表征层面融合，我们猜测，能把音色与接触直接关联起来的原生视听编码器会做得更好。至于不受约束的真实烹饪声学，仍是开放问题，真机部署的难度明显高于仿真。

更大的图景

我们出发时面对的那处张力，也就是高频的瞬时感知事件与低频、带延迟的策略更新之间的落差，并不是声音独有的。每一种把信息放在时间里的物理模态都会遇到它。HEAR 是我们的一次尝试：说明修法在架构上，并且把可以复用的东西留下来，包括 VSLA 的表述、预训练语料和评测基准，让后来的人接着往上做。