机器人化学家：面向生化实验的双臂移动操作全栈系统
TL;DR 移动双臂机器人系统结合环境感知、技能学习与任务规划，面向化学实验室的多步骤实验操作实现自动化。
机器人化学家系统全景：移动底盘贯通多工位，仿生双臂协同完成精密器皿操作，融合示教、策略学习与执行反馈闭环。在生化实验室自动化与“AI for Science”的研究范式中，计算化学模型与大型语言模型（LLM）已经能够自主设计分子逆合成路线与高通量反应条件。然而，智能科学探索的真正瓶颈在于物理世界的实验闭环验证（Wet-Lab Physical Validation）。传统的自动化移液工作站体积庞大、管路复杂且高度专用化，无法操作标准的人类实验仪器（如通风橱、旋转蒸发仪、台式离心机、分析天平与磁力搅拌器）。构建具备人类操作尺度与高机动性的通用双臂移动机器人化学家系统，成为打通全流程自主生化合成的关键突破口。
然而，将双臂协作机器人部署进真实生化实验室，面临着远超传统工业流水线的物理与感知挑战。系统必须在非结构化环境中应对完全透明反光的玻璃器皿、严苛的机械装配公差、流体晃动飞溅风险，以及包含数十个连续步骤的长时序实验任务。
本项目基于轮式全向移动底盘与协作双臂平台，研发了面向生化实验台操作的全栈软硬件系统：结合多视角几何感知、运动学重定向示教、参数化技能库与物理状态契约核验，实现试管与烧杯协同操作、试剂微升转移以及离心机精密对称配平装配等实验流程的自主闭环。
实验室场景的真实挑战与系统分层
实验室操作不同于工业产线标准刚性工件的流水线装配，它对机器人的空间感知精度、双臂协调柔顺性和任务容错性提出了极高要求：
表格可左右滑动，查看其余列。
| 系统层次 | 核心工程挑战 | 我们采取的应对方案 |
|---|---|---|
| 环境与本体感知 | 透明石英/高硼硅玻璃器皿导致常规深度点云出现大量空洞与折射失真 | 结合多视角轮廓提取、空间圆锥交会几何与隐式先验，高精度解算 6D 抓取位姿 |
| 移动与空间布局 | 底盘停靠微小偏差与化学通风橱狭小有限空间的臂体作业干涉 | 移动底盘提供粗定位，到达工位后基于视觉标记与局部特征二次对齐最佳可操作度构型 |
| 精密接触技能库 | 易碎薄壁玻璃防破损防滑脱、微型离心机精密孔位装配防卡滞 | 将操作解耦为抓取、倾倒、对准、插拔等参数化原子技能块，引入自适应柔顺对齐与寻孔微动 |
| 流体运动稳定性 | 运输液体试剂途中液面晃动溢出、倾倒时表面张力挂壁与液滴失准 | 基于流体动力学约束优化加加速度平滑轨迹，结合手眼视觉实时监测倾倒状态 |
| 智能体规划与自愈 | 跨越数十个连续操作步骤的长时序流程中，微小误差累积导致整体任务阻断 | VLM 驱动的任务层在每个动作前后核验物理状态契约，触发局部重试与异常恢复分支 |
实验意图 → 技能学习 → 物理执行 → 闭环反馈
移动底盘高效穿梭实验工位，仿生双臂执行高精度器皿操作，智能体分层规划驱动技能调用并闭环检验物理结果。
核心技术实现：从物理先验到闭环自愈
为了在真实生化实验台前实现无人值守的高可靠作业，我们构建了多模态感知、运动学映射、动力学平稳控制与契约状态核验的全链条系统。
1. 透明与反光玻璃器皿的 6D 空间位姿精密解算
在生化实验中，烧杯、试管与量筒大多采用透明高硼硅玻璃或石英材质制成。主动结构光相机投射的红外散斑会直接穿透玻璃表面，并在器皿内部和背面形成严重的焦散二次反射，导致常规传感器输出的深度图出现大面积飞点与空洞。
针对透明物体的几何感知退化，我们构建了多视角轮廓相交与 CAD 几何约束联合优化流程：
- 边缘提取与空间圆锥交会：利用车体与手眼多路高分辨率相机从不同视角拍摄玻璃器皿，提取高精度器皿轮廓边缘；通过多视角视线反向投影构建空间椭圆锥面，解析求解多锥面的公共切相交流形，精准恢复器皿口部三维圆环的空间位置与法向朝向。
- CAD 几何模型约束与法向对齐：以提取的口部特征为基准，将试管与烧杯的几何模型沿主轴展开，在局部有效点云上进行法向约束对齐，将透明器皿的 6D 位姿解算误差稳定控制在毫米级以内，为末端柔顺抓取提供了高可靠几何基准。
2. 人类示教动作的人机运动学重定向与奇异点规避
经验丰富的化学家在操作移液枪、旋开瓶盖与转移试剂时动作敏捷平顺。为了提取人类双手操作的专家先验，我们搭建了基于穿戴式动捕与双目视觉的人类示范采集系统。然而，协作机械臂受到固定的连杆长度、关节力矩极限与运动奇异点的严格约束。如果直接将手腕笛卡尔位姿硬映射给机器人，在操作特定工作台边缘时极易引发关节速度超限或运动顿挫。
我们设计了考虑可操作度优化与平滑约束的运动学重定向机制：
- 操作特征流形提取：从人类示范中解耦出器皿间相对接触姿态、进出法向量与末端速度特征标尺，过滤人体抖动噪声；
- 任务空间逆运动学投影优化：在逆运动学求解中引入机械臂可操作度指标与参考舒适姿态偏离惩罚，引导机械臂在逼真复现双手协同操作逻辑的同时，始终运行在远离奇异位形的高刚度安全区域内。
3. 微型离心机工位的高精度轴向对齐与柔顺装配
台式离心机是生化实验的核心设备，转子内部均匀分布着倾斜深度孔位，装配间隙极其微小。若离心管插入时的姿态轴线发生轻微倾斜，管体会立即卡滞在转子孔口边缘，强行下压会导致试管破裂或电机报警。
为此，我们设计了“全局定位 + 眼在手视觉伺服 + 柔顺螺旋探孔”的三阶段装配控制架构：
- 全局粗定位：底盘停靠于离心机操作台前方后，双臂首先将试管转运至离心机转子正上方的待命平面；
- 眼在手同轴度伺服导引：安装在机械臂末端的高清微距相机对离心机孔位边缘执行拟合，解算出孔位几何中心与试管底部的相对位置与轴线偏角，通过视觉伺服动态驱动机械臂微调末端姿态，使对准同轴度误差迅速收敛；
- 轴向定力下沉与螺旋微动探孔：末端开启轴向柔顺阻抗控制，以微速垂直向下插入试管，同时实时监控腕部力传感器的纵向阻力。若检测到阻力异常突增，判定为管口发生轻微干涉，系统自动激活微幅高频水平螺旋搜索微动，顺畅滑入孔底，实现连续高可靠的安全落座。
4. 流体运输平稳控制与微量倾倒
在生化实验中，转运敞口烧杯与试管时，液面晃动不仅容易造成液体飞溅污染台面，晃动的流体还会持续产生偏心力矩扰动末端抓持。
- 流体运动抑制与平滑轨迹规划：结合容器几何尺寸与液深特性，在机器人末端轨迹生成层设计加加速度（Jerk）受限的平滑滤波器，对加减速脉冲进行滤波整形，有效消除加速、急停与换向过程中的激振，实现运输全流程液面平稳无溢出。
- 倾倒弯月面视觉监控：在将试剂自管口倒入烧杯时，双臂协同控制倾斜角度。通过高帧率手眼相机实时监测管口液体的表面张力弯月面与液滴分离状态，实现对流体转移量的精准闭环调节。
5. 显式物理状态契约核验与长时序异常自愈
在包含数十个离散步骤的复杂生化实验中（例如取管、旋盖、天平称量、移液、振荡、离心对角配平装载、离心分离等），开环顺序执行极易由于微小偶发异常导致整组实验中断。
我们构建了基于显式物理契约的分层自愈执行引擎：
- 分层任务编排架构：顶层由具身规划 Agent 负责长程时序推理，中层将实验流程实例化为带有参数化约束的原子技能块，底层运动控制器负责执行与轨迹插值，确保逻辑推演与高频控制解耦互不阻塞。
- 前置与后置物理断言校验：为每个技能节点配置多模态物理断言条件（例如抓取技能校验夹爪开度与自重拉力突变，配重装载技能校验对角对称位置的质量平衡等）。
- 局部分支自愈重试机制：一旦某一后置契约校验未通过，系统不会直接报错中断实验，而是根据异常特征自动触发局部的恢复动作分支（如释放夹爪、回退安全位姿、重新局部多视角对齐并自适应补偿后再次抓取），显著提升长时序实验的整体鲁棒性。
实机演示与功能验证
上面两段实机视频记录了机器人在真实生化实验台前的全流程作业实况：
- 微型器皿精准识别与流体转移：机器人在光照复杂的实验台前准确识别出透明试管与敞口烧杯的三维几何位姿，双臂平稳协作完成液体吸取、转运与注入，全流程液面平静无晃动溢出；
- 离心机狭窄工位精密作业：机械臂依靠眼在手微距相机精准锁定微型离心机内部微小倾斜孔位，以亚毫米级的同轴度顺畅完成试管垂直插拔与对角对称装载，并在动作完毕后平滑撤出通风橱安全区。
工程总结与技术积累
生化实验室场景下的双臂移动操作，是机器人从工业确定性环境迈向非结构化复杂精细作业的试金石。在研发落地过程中沉淀了以下关键技术认知：
- 突破光学退化需要几何先验与隐式神经表征融合：面对透明反光的玻璃器皿，单纯依赖常规深度传感器是不可行的。将 2D 亚像素边缘流形、空间圆锥交会几何与隐式 3D 场景重建有机融合，是保证接触可靠性的根本前提。
- 将动力学特性内化于动作规划中：易碎器皿抓持与流体转运在本质上是多体动力学约束问题。只有将接触力矩上限、振动抑制与输入整形显式纳入底层轨迹生成器，才能真正实现高柔顺、防晃动、无飞溅的专业级实验操作。
- 显式契约断言是长时序可靠性的唯一保障：在涉及数十个步骤的物理实验流中，开环假设是极其危险的。给每个原子技能赋予自检与自愈能力，让系统具备“感知-行动-断言-重试”的物理闭环，是具身智能体走出实验室走向真实科研自动化的核心路径。
- 软硬件协同设计对抗空间非结构化：在通风橱等受限作业空间内，移动底盘的宏观位姿冗余与双臂操作微观构型的协同解耦，是避免关节死锁与作业奇异性的关键支撑。