<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>3D视觉与位姿估计 | 聂畅</title><link>https://changnie.top/zh/tags/3d%E8%A7%86%E8%A7%89%E4%B8%8E%E4%BD%8D%E5%A7%BF%E4%BC%B0%E8%AE%A1/</link><atom:link href="https://changnie.top/zh/tags/3d%E8%A7%86%E8%A7%89%E4%B8%8E%E4%BD%8D%E5%A7%BF%E4%BC%B0%E8%AE%A1/index.xml" rel="self" type="application/rss+xml"/><description>3D视觉与位姿估计</description><generator>HugoBlox Kit (https://hugoblox.com)</generator><language>zh-Hans</language><lastBuildDate>Wed, 01 Jan 2025 00:00:00 +0000</lastBuildDate><image><url>https://changnie.top/media/icon_hu_3dd7560279821d57.png</url><title>3D视觉与位姿估计</title><link>https://changnie.top/zh/tags/3d%E8%A7%86%E8%A7%89%E4%B8%8E%E4%BD%8D%E5%A7%BF%E4%BC%B0%E8%AE%A1/</link></image><item><title>工业物料搬运：全自主双臂移动机器人与料箱智能拆垛转运</title><link>https://changnie.top/zh/projects/factory-material-handling/</link><pubDate>Wed, 01 Jan 2025 00:00:00 +0000</pubDate><guid>https://changnie.top/zh/projects/factory-material-handling/</guid><description>&lt;p&gt;在工业制造与自动化仓储场景中，固定式工业机械臂工作空间受限，传统 AGV 具备搬运能力但缺少末端操作机构。轮式双臂复合机器人结合了两者的移动与操作能力，可实现多工位间的自主拆垛与转运。&lt;/p&gt;
&lt;p&gt;针对工业料箱流转任务，我们基于轮式移动底盘与双协作机械臂平台，搭建了物料搬运与拆垛系统：实现目标料箱 6D 位姿解算、双臂协同闭环抬升、跨工位移动对齐与防晃平稳转运。&lt;/p&gt;
&lt;h2 id="project-context-title"&gt;项目背景&lt;/h2&gt;
&lt;section class="project-overview" aria-labelledby="project-context-title"&gt;
&lt;p class="project-overview__collaboration"&gt;&lt;strong&gt;宁德时代（CATL）合作 · 工业移动双臂搬运机器人&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;工业产线物料流转中，单一固定机械臂工作空间有限，而传统 AGV 只能转运无法抓取。我们基于轮式双臂复合机器人平台，解决黑色反光料箱视觉感知、紧贴缝隙切入、双臂闭环内力抑制与行进防晃等核心工程挑战。&lt;/p&gt;
&lt;dl&gt;
&lt;div&gt;&lt;dt&gt;核心成果与实机验证&lt;/dt&gt;&lt;dd&gt;双臂 10 kg 重载协同搬运、密集料箱 3D 位姿高精解算（拆垛成功率超 98%）、闭链协同内力解耦与跨工位平稳转运实机闭环&lt;/dd&gt;&lt;/div&gt;
&lt;/dl&gt;
&lt;/section&gt;
&lt;h2 id="我在项目中的工作"&gt;我在项目中的工作&lt;/h2&gt;
&lt;p class="project-role"&gt;作为项目负责人，统筹搭建重载工业物流移动双臂协同作业框架；引入 VLM 开放感知与 3D 位姿解算，实现双臂 10 kg 重载协同搬运与平滑轨迹规划，密集料箱拆垛识别与对接成功率超 98%，保障跨工位高效转运。&lt;/p&gt;
&lt;h2 id="产线环境下的核心工程挑战"&gt;产线环境下的核心工程挑战&lt;/h2&gt;
&lt;p&gt;在现代化动力电池与精密制造车间中，物料周转普遍采用重达 15 至 25 公斤的标准工业料箱（Tote Box）。传统自动化产线通常在固定工位架设重型六轴工业机械臂或桁架机械手，这不仅需要占用宝贵的车间面积并搭建安全防护围栏，且无法跨工位灵活流转；而常规自主移动机器人（AMR/AGV）仅具备平面运输能力，缺乏对非结构化堆叠料箱的精准拆垛、抓取与上下料能力。将全向移动底盘与双协作机械臂集成的复合移动双臂机器人，成为打通高柔性产线“最后十米”物料流转的关键形态。&lt;/p&gt;
&lt;p&gt;然而，实验室环境下的箱体抓取与真实电池产线高强度作业之间存在显著的工程鸿沟。系统在工业现场面临极其严苛的物理与感知约束：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;黑色吸光注塑塑料与重度表面磨损的感知退化&lt;/strong&gt;：
车间流转的工业料箱普遍采用黑色防静电聚丙烯（ESD-PP）注塑材料，对近红外光（NIR）具有极强的吸光特性；同时，长期在自动化滚筒线上运转使料箱表面布满反光磨损与注塑流道斑纹。常规工业结构光 3D 相机照向黑色料箱时，点云反射率极低，在关键的箱口边缘与把手凹槽处经常出现 40% 以上的深度点大面积空洞或严重漂移。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;密集堆叠与微小侧向作业间隙（Tight Packing Clearance）&lt;/strong&gt;：
料箱在托盘或物流台车上通常以 3 至 5 层密集垛状堆叠，箱体间横向缝隙往往不足 20 毫米。机械臂末端夹爪在切入把手凹槽时，单侧安全裕度仅有 3 至 5 毫米。若视觉位姿估计存在厘米级偏差，末端执行器将直接刚性撞击相邻料箱，引发托盘晃动甚至整垛坍塌事故。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;双臂夹持重载刚体闭链运动学下的“内力对抗与过载”&lt;/strong&gt;：
单臂操作是典型的开链运动学系统，而当双臂末端夹爪同时刚性抓持一个重量超过 20 公斤的刚性塑料料箱时，系统瞬时闭合为封闭运动学链（Closed Kinematic Chain）。由于两个机械臂在关节电机响应、谐波减速器柔度及控制器通信延迟上存在微小差异（即使微秒级延迟或亚毫米级同步跟踪误差），都会在料箱内部激发起数十倍于外载荷的破坏性内应力（超过 300 N 的拉扯或扭转内力）。该内应力会瞬间触发机械臂关节力矩保护报警停机，或导致料箱卡口断裂脱落。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;长距离跨工位重载行进中的悬垂晃动与倾覆力矩&lt;/strong&gt;：
复合机器人的移动底盘在厂房环氧地坪上快速行驶（速度 1.0–1.5 m/s），地面接缝、坡道过渡以及启停制动产生的惯性加速度，会通过机械臂长悬臂直接放大为底盘翻滚力矩。若双臂保持高位悬持姿态，重心偏移极易诱发车体共振与滑移，危及车间人员与周边精密机台的安全。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;section class="project-system-map factory-system-map" aria-labelledby="factory-map-title"&gt;
&lt;header&gt;
&lt;span&gt;系统与算法架构&lt;/span&gt;
&lt;h3 id="factory-map-title"&gt;目标识别 → 工位对齐 → 双臂搬运 → 状态闭环&lt;/h3&gt;
&lt;p&gt;高精导航精准定位工位，3D 视觉实时解算料箱位姿，双臂协同自适应抓取与高稳定性转运。&lt;/p&gt;
&lt;/header&gt;
&lt;div class="project-system-map__flow"&gt;
&lt;div class="project-system-map__group"&gt;
&lt;span&gt;感知与任务准备&lt;/span&gt;
&lt;div class="project-system-map__grid"&gt;
&lt;div class="project-system-map__stage"&gt;&lt;span&gt;01&lt;/span&gt;&lt;strong&gt;场景感知&lt;/strong&gt;&lt;small&gt;图像与深度 · 料箱分割 · 邻近关系&lt;/small&gt;&lt;/div&gt;
&lt;div class="project-system-map__stage"&gt;&lt;span&gt;02&lt;/span&gt;&lt;strong&gt;目标与顺序&lt;/strong&gt;&lt;small&gt;拆垛顺序 · 操作方式 · 目标位姿&lt;/small&gt;&lt;/div&gt;
&lt;div class="project-system-map__stage"&gt;&lt;span&gt;03&lt;/span&gt;&lt;strong&gt;导航与对齐&lt;/strong&gt;&lt;small&gt;粗接近 · 侧向观察 · 精细取料位置&lt;/small&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;i aria-hidden="true"&gt;↓&lt;/i&gt;
&lt;div class="project-system-map__group"&gt;
&lt;span&gt;料箱转运主循环&lt;/span&gt;
&lt;div class="project-system-map__grid"&gt;
&lt;div class="project-system-map__stage"&gt;&lt;span&gt;04&lt;/span&gt;&lt;strong&gt;双臂取箱&lt;/strong&gt;&lt;small&gt;位姿更新 · 双侧夹持 · 协同抬升&lt;/small&gt;&lt;/div&gt;
&lt;div class="project-system-map__stage"&gt;&lt;span&gt;05&lt;/span&gt;&lt;strong&gt;持箱转运&lt;/strong&gt;&lt;small&gt;稳定持箱 · 移动至卸料区域&lt;/small&gt;&lt;/div&gt;
&lt;div class="project-system-map__stage"&gt;&lt;span&gt;06&lt;/span&gt;&lt;strong&gt;卸料与释放&lt;/strong&gt;&lt;small&gt;位置调整 · 双臂放置 · 松爪撤离&lt;/small&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;i aria-hidden="true"&gt;↺&lt;/i&gt;
&lt;div class="project-system-map__stage"&gt;&lt;strong&gt;动作完成 → 状态复位 → 更新目标 → 下一轮搬运&lt;/strong&gt;&lt;small&gt;导航到位与操作状态反馈贯穿任务流程。&lt;/small&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/section&gt;
&lt;h2 id="核心技术体系设计与实现"&gt;核心技术体系设计与实现&lt;/h2&gt;
&lt;p&gt;针对上述工程难题，我们在工业级计算平台上构建了一套融合多模态几何视觉、闭环导纳动力学解耦及分层伺服对接的全栈技术架构。&lt;/p&gt;
&lt;h3 id="1-弱纹理黑色料箱的-6d-位姿解算与堆叠拓扑推理"&gt;1. 弱纹理黑色料箱的 6D 位姿解算与堆叠拓扑推理&lt;/h3&gt;
&lt;p&gt;为了从低对比度与缺失深度的传感器数据中稳定恢复料箱空间位姿，我们构建了结合几何轮廓反投影与 CAD 先验约束的分层估计流程：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;多模态边缘几何轮廓提取与射线反投影&lt;/strong&gt;：充分利用 RGB 图像在边缘高对比度上的优势，提取料箱上沿矩形边缘与双侧把手凹槽的轮廓线条；将 2D 轮廓射线反投影至 3D 视锥空间，并与周围未退化的稀疏点云建立几何法向相交约束，构建出料箱几何框架的空间骨架；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;CAD 先验约束下的粗细两级几何配准&lt;/strong&gt;：引入标准料箱高精 CAD 几何模型。粗配准阶段利用点对特征与料箱外廓比例先验快速筛选位姿候选，滤除环境干扰；精配准阶段联合优化把手局部贴合度与外框边缘几何残差，将 6D 位姿误差稳定控制在毫米级以内；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;堆叠接触树与自顶向下安全解垛规划&lt;/strong&gt;：在识别出垛架内所有料箱位姿后，系统根据空间几何关系自动构建有向无环图支撑树，严格按拓扑排序执行顶层优先拆垛，并实时校验下层受力支撑状态，从根本上防止错抓下层引发垛架坍塌。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3 id="2-基于虚拟机构的主从导纳控制与内力解耦抑制"&gt;2. 基于虚拟机构的主从导纳控制与内力解耦抑制&lt;/h3&gt;
&lt;p&gt;为解决双臂抓持刚性重物时的内应力自锁问题，我们设计了&lt;strong&gt;基于虚拟机构的主从协同导纳控制框架&lt;/strong&gt;，将双臂协作由开环空间运动同步升级为闭环力-位混合自适应：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;接触内力与外力空间解耦观测&lt;/strong&gt;：在两臂腕部配置六维力/力矩传感器，在料箱质心建立虚拟连杆坐标系，将实测力信号正交解耦为用于搬运抬升的合成外力与相互拉扯抵消的寄生内力分量；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;领航-从动变阻抗自适应调节&lt;/strong&gt;：将左臂设定为领航臂执行主规划轨迹，右臂设定为从动臂运行动态导纳模型；在夹紧方向维持恒定预紧力防滑脱，在剪切与扭转方向降低刚度实现柔顺自适应，当机械臂运动出现微小不同步时毫秒级释放破坏性内力，消除关节力矩过载跳闸现象。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3 id="3-底盘-双臂分级高精工位对齐与手眼协同"&gt;3. 底盘-双臂分级高精工位对齐与手眼协同&lt;/h3&gt;
&lt;p&gt;针对长距离行驶后底盘停靠存在的微小漂移，系统构建了分级对接机制：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;底盘粗停靠与工作空间投影&lt;/strong&gt;：底盘导航至料架前方后，根据双臂交集的最大可操作度调整基座朝向并执行初步姿态调整，锁死底盘抱闸；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;眼在手相机二次高精配准&lt;/strong&gt;：安装在机械臂末端的微型传感器在近距离拍摄料箱把手细节与工位基准定位销，反向求解闭环几何误差并直接补偿至机械臂运动学逆解中，消除底盘累积停靠偏差。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3 id="4-转运全流程重载平稳控制与动态避障"&gt;4. 转运全流程重载平稳控制与动态避障&lt;/h3&gt;
&lt;p&gt;为确保重载料箱在长距离跨工位穿梭时的平稳性，系统在整车运动控制层实施了姿态收拢与加速度平滑机制：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;低重心安全收拢姿态&lt;/strong&gt;：料箱脱开堆垛后，规划算法驱动双臂将料箱后撤并收拢至底盘中心低重心转运位姿，显著提升整机抗倾覆裕度；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;S 型加加速度轨迹平滑&lt;/strong&gt;：全周期限制加加速度，消除启停阶段的机械冲击，避免料箱内部高价值工件在运输中发生位移磕碰；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;全身动态包络安全防护&lt;/strong&gt;：将底盘、机械臂与夹持料箱建模为动态变形包络，结合激光雷达划分动态防护区，检测到人员靠近时平滑降速与安全制动。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3 id="5-全身运动学冗余协调与工业级实时总线"&gt;5. 全身运动学冗余协调与工业级实时总线&lt;/h3&gt;
&lt;p&gt;复合移动机器人拥有多自由度高冗余空间，我们在控制层采用基于任务优先级的逆运动学架构：优先保障双臂末端对料箱抓取点位姿与刚性间距的严苛跟踪，同时利用零空间冗余自由度优化双臂可操作度指标并规避关节限位与自碰撞。&lt;/p&gt;
&lt;p&gt;在底层通信上，系统采用硬实时 Linux 内核与工业总线，实现底盘驱动电机、两臂 12 个关节驱动器与腕部 6 轴力传感器的高速时钟同步，保障双臂闭环导纳控制的高频高响应。&lt;/p&gt;
&lt;h3 id="6-多源异常感知与自愈恢复机制"&gt;6. 多源异常感知与自愈恢复机制&lt;/h3&gt;
&lt;p&gt;在车间生产节拍中，偶发扰动不可避免。系统构建了多层级故障自愈机制：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;抓取滑脱微阻抗监测&lt;/strong&gt;：在抬升初期通过监测纵向拉力斜率判断有效负载，若拉力异常低于标称阈值判定为抓取滑脱，底盘立即悬停并将料箱轻放回托盘，退回预备位触发二次视觉微配准重新抓取；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;接触过载顺应反向退让&lt;/strong&gt;：在切入窄缝时若力传感器感知到异常侧向反向阻力，驱动从动臂沿阻力反向微调退让，并结合手眼视觉修正姿态后重新切入，保障复杂堆叠工况下的超高操作成功率。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="实机搬运全流程验证"&gt;实机搬运全流程验证&lt;/h2&gt;
&lt;div class="project-video-gallery is-single" aria-label="项目视频"&gt;&lt;figure class="project-video-card"&gt;
&lt;video controls playsinline preload="none" poster="/projects/factory-material-handling/tote-transfer-poster_hu_6fecfadcea7f2212.webp" aria-label="双臂自主料箱转运全流程"&gt;
&lt;source src="https://changnie.top/projects/factory-material-handling/tote-transfer.mp4" type="video/mp4"&gt;
&lt;/video&gt;
&lt;figcaption&gt;&lt;strong&gt;双臂自主料箱转运全流程&lt;/strong&gt;&lt;span&gt;实机原速展示：机器人在产线自主完成料箱精准识别、稳定协同抬升、长距离跨工位转运与毫米级入位放置。&lt;/span&gt;&lt;/figcaption&gt;
&lt;/figure&gt;&lt;/div&gt;
&lt;p&gt;上述实拍视频记录了复合机器人在典型电池制造物流工位间的闭环作业实况：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;复杂堆叠自主拆垛&lt;/strong&gt;：在深色料箱以 4 层紧密堆垛摆放且光照不均的环境下，机器人连续执行多次无干涉拆垛作业，末端夹爪顺畅切入 15 mm 狭窄侧隙；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;双臂平稳协同抬升&lt;/strong&gt;：在夹持 10 kg 重载料箱升降与翻转过程中，腕部力传感器监测到的内部寄生扭矩始终被控制在 2 N·m 以内，双臂动作平滑无颤动；&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;长距离跨工位自动对接&lt;/strong&gt;：机器人跨越数十米车间通道，自主绕行临时停靠叉车，最终将料箱精准放置在下游自动化输送线的滚轮卡槽内，放置重复定位误差小于 2 毫米。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="工程总结与技术积累"&gt;工程总结与技术积累&lt;/h2&gt;
&lt;p&gt;工业场景下的双臂移动操作，是机器人感知、机构动力学与控制科学的高度协同。本项目带来的关键工程认知在于：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;不可单纯信任开环刚性假设&lt;/strong&gt;：在毫米级作业空间与高刚性工件面前，纯靠位置控制的刚性机械臂必然遭遇机构应力瓶颈。引入以物理内力反馈为核心的闭环导纳机制，是将实验室算法推向高可靠工业应用的基石。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;多模态互补突破物理感知退化&lt;/strong&gt;：面对黑色吸光材料与反光磨损，任何单一的视觉或点云算子都会出现失效边界。将 2D 高对比度边缘轮廓与 3D 几何法向先验有机融合，是在恶劣工业光学条件下获取稳定位姿的有效解法。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;分层解耦消除不确定性累积&lt;/strong&gt;：底盘大范围移动带来的毫米级漂移，必须通过末端局部的闭环视觉与力觉伺服逐级吸收，避免将宏观导航误差传导至精细微观操作中。&lt;/li&gt;
&lt;/ol&gt;</description></item></channel></rss>