工程项目 2023 地形建模 · 多模态障碍感知

商用智能割草机器人:非结构化草坪多源融合感知与自适应避障

TL;DR 户外割草机器人融合地形与障碍物感知、多传感器定位和覆盖路径规划,实现草坪自主作业。

实地严苛场景测试与商业化落地 全栈软硬件系统研发与户外复杂地形实机落地
技术概念图展示多传感器智能割草机器人将相机和激光雷达观测送入地形感知、障碍物融合与路径规划。 智能割草机器人系统架构全貌:车载多模态感知经过地形自适应建模与跨传感器障碍物融合,形成高动态全自主作业与避障闭环。
projects

项目背景

宝时得科技(Positec Group)产学研量产合作项目

面对户外起伏草地长草回波厚重、非平坦地表、沟壑凹坑密集以及人宠动态穿行等复杂挑战,项目构建了高可靠的户外低速移动机器人感知与控制系统,摆脱传统物理埋线与随机碰撞方案,实现真正的草坪场景自主作业。

工业级交付成果与实地验证
商用级全栈免埋线割草机器人系统;作业避障成功率超 98%、起伏草坪自适应 3D 障碍物检测、正负障碍物快速识别与视雷多模态融合

我在项目中的工作

作为项目负责人,主持研发宝时得智能割草机坡度自适应滤波与视觉避障算法,作业避障成功率超 98%,攻关起伏草地上的多线激光雷达点云滤波、正负障碍物分离与视雷跨模态空间融合。

传统商用与家用割草机多采用在草坪边缘人工预埋低频电磁感应线、配合车机随机碰撞反弹的作业方案。在大面积起伏庭院、市政公园或不规则绿地中,物理埋线存在人工施工成本高昂、断线检修繁琐以及随机碰撞重割率高、漏割严重的根本缺陷。基于无边界线的多传感器自主感知、自适应全地形导航与规律化覆盖作业,是下一代智能园林移动机器人的核心技术演进方向。

本项目联合全球园林电动工具领军企业宝时得科技(Positec / WORX),研发免物理埋线、具备全场景自主感知、自适应建图与全局覆盖路径规划能力的商用级割草机器人。我作为项目技术负责人,负责系统全栈软硬件架构选型、跨模块集成与实地部署;同时作为专项算法负责人,攻关复杂起伏草地上的多线激光雷达自适应点云感知、地表正负障碍物分离提取以及视雷跨模态空间融合算法。

起伏草地环境对感知的核心物理挑战

在硬质结构化公路(如沥青或水泥路面)上进行自动驾驶感知时,地表通常具备平整、高硬度与连续几何特性,垂直高于路面 10 厘米的反射点几乎可以无歧义地判定为障碍物。然而,当机器人驶入真实的非结构化户外草坪时,这些经典的几何与物理假设全部失效:

  1. 草尖回波与真实障碍物的物理混淆: 草叶本身具有柔软、透光、表面起伏及随风摆动的特性。激光雷达的红外测量光束穿透草层时,会在草尖、草身中段与底层泥土之间产生连续多次漫反射与微弱回波,在三维点云中形成一层松散噪点层。若简单将高于底层泥土的点云视为障碍物,机器人在茂密草坪上将陷入寸步难行的误报状态;若粗暴进行高度截断,地表的细小管道、石块或宠物将被完全漏检。

  2. 连续起伏地形与局部法向多变: 真实户外草坪充满缓坡、排水洼地与自然波浪状起伏。采用全局或大区域平面拟合算法,在距离车体稍远位置就会因为地形非平面性而失效,将正常的上坡草皮误判为障碍物阻断通行。

  3. 隐蔽凹坑、沟壑与阶梯跌落的负障碍危机: 割草机器人底盘低矮,驱动轮直径有限。在连续草坪中,天然沉降形成的微小浅坑或绿化排水沟,是导致小车卡死、刀盘打地或整车侧翻的主要诱因。负障碍物在物理上并非高出地表的实体反射,而是地表向下凹陷导致的激光射线打空与阴影,无法通过常规聚类算法捕捉。

  4. 极端动态光照与恶劣光学环境: 户外草坪作业环境面临烈日直射、树荫斑驳交替以及晨昏逆光等严酷光照变化,被动双目立体匹配易产生视差空洞,对纯视觉感知构成巨大挑战。

  5. 嵌入式超低功耗与实时计算约束: 割草机器人由机载动力电池供电,全栈感知、定位、建图与控制算法必须在有限功耗的嵌入式计算模组上高频硬实时稳定运行。

系统架构

面向非结构化草坪的自主移动机器人

定位、感知、规划与控制共享同一套车载传感器和计算平台。

车载传感器与计算
01 · Vision多相机与 RGB-D草地区域、目标类别、场景语义与外观
02 · Geometry激光雷达距离、局部地形与障碍物点云
03 · MotionRTK/GNSS · IMU · 轮速全局约束与连续局部运动
自主作业核心
04多传感器融合定位视觉、激光、惯性、轮速与卫星约束
05视觉目标与场景语义可割草区域、目标类别与像素级语义
06 · 项目主导与重点技术总体集成 + 点云障碍检测 + 多传感器障碍融合主导模块协作与实地联调;重点解决起伏草地中的障碍分离,并把三维几何、语义分割和视觉目标统一为规划可用的障碍物结果
机器人行为
07局部环境模型可通行草地与动态/静态障碍物
08路径与覆盖规划安全绕障、覆盖割草与回充
09底盘与割草控制把环境状态转化为实时运动决策

核心算法架构与系统实现

为了在低算力与复杂户外非结构化环境下实现稳定自主作业,我们构建了多源因子图定位、自适应点云地形建模、正负障碍物分离及视雷跨模态融合的全栈技术链路。

1. 多传感器因子图紧耦合融合定位

为保证机器人在长达数小时的作业中维持高精度平行的“弓字形”遍历航迹,必须实时解算厘米级的位置与绝对航向姿态:

  • 多模态传感器协同互补拓扑:硬件集成双天线 RTK-GNSS 接收机、车规级 6 轴 IMU、高精度轮速编码器以及多线三维激光雷达,在空旷区域输出厘米级定位真值与绝对航向角;
  • 打滑自适应轮速计因子:在清晨湿滑草地或斜坡上驱动轮易发生打滑。系统实时比对轮速计加速度与 IMU 沿轴向实测加速度,建立打滑残差监测机制,自适应调整轮速观测置信度,防止虚假位移注入;
  • 因子图统一平滑后端:利用因子图构建紧耦合滑动窗口优化后端,统一融合绝对位置因子、惯性预积分因子、运动学因子与激光里程计面特征因子,平稳消除卫星信号多径跳变影响。

2. 起伏草坪的自适应点云地形建模与正负障碍物分离

从散乱的点云中剔除随风摆动的草叶回波,并精准锁定微小地表障碍物,是全栈感知算法的核心突破点。

点云障碍物检测流程图,包含滤波与栅格投影、草地与平地模式、高度判断、凹坑判断、聚类、跟踪与障碍物发布。
适应地形的点云障碍物检测流程:从局部极坐标栅格划分和坡度平坦度判断,到聚类、跟踪与障碍物发布。打开原始尺寸

我们构建了基于极坐标局部流形展开与射线断裂分析的地形感知管道:

  • 非均匀极坐标栅格映射:将车体周围探测范围内的激光原始点云映射至极坐标网格,统计每个单元内的点云高度分布、点数密度及高度离散方差;
  • 径向连续流形地表拟合与自适应坡度递推:由车轮接地点出发,沿各方位角射线向外递推局部切平面。利用地形坡度一阶导数与二阶曲率的物理连续性先验,对相邻单元施加平坦度与斜率突变约束,精准追踪真实起伏流形,动态滤除贴合地表的草皮点云;
  • 正障碍物双模式自适应判定:针对修剪平地与杂草丛生野地设计双重门限与点云密度熵检验,有效剥离深草干扰并锁定低矮硬质障碍物;
  • 负障碍物射线断裂几何检测:针对地表凹坑与沟壑缺乏反射点的特性,建立激光射线传播几何模型,通过捕捉径向距离的非正常断裂与突增,同时检测近边缘点的垂直高度骤降,精准勾勒出负障碍物的危险边缘线;
  • 栅格连通域聚类与时空滤波跟踪:提取出的障碍物栅格通过快速连通域分析合并为 3D 聚类簇,后端引入时空一致性检验,彻底消除风吹草动引发的瞬态虚警。

3. 视雷跨模态空间融合与语义增强

激光雷达具备绝对测距与几何尺寸解算能力,但无法辨识障碍物的语义属性(无法区分塑料玩具、躺卧的宠物或无害的纸屑);相机具有丰富的色彩语义但缺乏绝对三维尺度。

多传感器障碍物融合流程图。点云结果投影到语义分割和目标检测结果,输出纯点云、带类别和纯视觉估计三类障碍物。
多传感器障碍物融合流程:几何检测与图像语义投影对齐,输出纯点云、带类别和视觉估计三类综合障碍物。打开原始尺寸

我们在嵌入式端侧部署了经过轻量化量化的目标检测网络(TensorRT 加速优化),以 20 Hz 频率实时检测人、猫狗、电线、工具及花坛边界。随后在标定外参矩阵下将 3D 点云聚类框投影至 2D 像素平面,构建三类互补的融合输出:

  1. 带类别的高可信融合目标(Fused Semantic Obstacle): 激光雷达 3D 聚类框的像素投影与视觉检测框交并比(IoU)大于阈值。该目标同时具备准确的三维空间距离、物理轮廓边界及明确的语义标签(如宠物或儿童)。路径规划器据此分配最高避障优先级,主动施加 1 米以上的宽阔避让安全走廊;
  2. 纯点云几何未知目标(Point-Cloud Only Obstacle): 视觉未检出(如未见过的灰暗石块、树桩或地表深坑),但激光雷达检测出强烈的凸起或负障碍特征。规划器将其视作刚性障碍物,维持标准的近身贴边绕行逻辑;
  3. 远距离纯视觉预警候选(Vision-Only Candidate): 视觉在远方(10–15 米外)探测到移动的人或宠物,此时激光雷达反射点过于稀疏(仅个位点)。系统预先降低行驶车速,维持对前方的注意力机制,待小车靠近且点云形成有效几何支撑后,再执行精细避让。
实地融合可视化:画面包含目标类别、投影点云和融合后的相机视图障碍物结果。
实地关联示例:视觉类别与投影后的点云支持在同一坐标系中精确咬合。

4. 复杂草坪全自主作业与抗滑移控制

  • 弓字形全覆盖路径规划(CCPP): 在融合生成的局部与全局环境地图中,规划器基于牛耕式分解法(Boustrophedon Cellular Decomposition)生成全覆盖割草走廊,并在地块边界自适应规划平滑的环形绕圈转弯轨迹,最小化非作业空转航程;
  • 坡道防侧滑前馈动力学控制: 在面对横向坡度达 20° 的草坡时,重力侧向分量导致车辆显著向坡底“滑移切线”。控制系统实时解析 IMU 横滚角与俯仰角,在左右轮速差动控制方程中注入侧向滑移前馈补偿项,确保小车在陡坡作业时依然走出笔直的割草航线。

实地作业测试回放

上面的现场录屏记录了机器人在复杂起伏草地中的高动态闭环测试:前后双目相机画面与车载 32 线 LiDAR 扫描点云实现纳秒级硬同步回放。红色高亮的三维点云簇准确去除了深草杂波,实时框定出地表隐蔽的低矮石块、花坛围栏与台阶边缘,验证了自适应感知与融合架构在恶劣户外自然光影下的高鲁棒性。

工程总结与技术积累

商用割草机器人的户外落地,是移动机器人算法与复杂非结构化自然环境深度碰撞的典型范式。在项目工程攻坚中沉淀了以下核心体会:

  1. 用物理先验化解非结构化感知难题:在面对杂草散射点云与多变起伏坡度时,通用的纯数据驱动或简单几何平面模型必然失效。唯有深入理解激光在植被中的散射物理特性,构建沿径向平滑连续的局部流形展开模型,才能以极小的算力代价优雅分离杂波与障碍。
  2. 正负障碍物协同检测是户外小车作业的生命线:对低底盘移动底盘而言,地表凹坑与边缘陡坡带来的安全隐患丝毫不亚于高耸的实体障碍。将负障碍检测提升至与正障碍同等的系统优先级,是保证全自主越野移动安全的物理防线。
  3. 端侧极致优化是产品量产的前提:在电池供电与严苛成本限制下,脱离计算资源约束的算法没有量产价值。将轻量化深度学习网络与高效紧凑的几何点云流水线有机编排,是在十几瓦低功耗芯片上实现 20 Hz 高频硬实时闭环的关键保证。