车规级 4D 自动标注系统：面向智能驾驶的多相机刚性 SfM 与高精几何重建

Thu, 20 Jun 2024 00:00:00 +0000

项目背景

哪吒汽车（NETA Auto）合作 · 汽车多相机重建与四维标注

面向高等级自动驾驶对海量高质量 4D 标注数据的迫切需求，项目构建了涵盖数据同步、语义分割、多源融合定位、刚性多相机重建、稠密路面重建与多趟地图聚合的工业级全自动数据工厂。全系统在车厂实际产线稳定运行，大幅提升数据生产效率。

车规级交付成果与量产验证: 车规级 4D 自动标注工程全链路；累计处理超 1,000 km 实车数据（跨趟次配准误差优于 5 cm）、位姿与外参在线标定、标注综合提效 80% 以上

我在项目中的工作

作为项目负责人，主导搭建车规级多相机三维重建与自动化 4D 标注系统架构；带领 5 人算法组优化刚性多相机 SfM 与时空聚合，累计处理实车数据超 1,000 km，跨趟次几何配准误差优于 5 cm，标注综合提效 80% 以上。

在自动驾驶感知系统从传统单目检测向大模型 BEV（鸟瞰图）感知、占用网格网络（Occupancy Network）以及端到端模型演进的过程中，海量且具备时空一致性的高质量 4D 真实空间标注数据（包括高精地面网格、车道拓扑标线、动静态障碍物 3D 边界框及其时空运动轨迹），成为模型训练与评测的核心资源。

传统基于多线车载激光雷达并依赖外包人工进行逐帧点云标注的模式，面临着数据吞吐周期长、人工标注成本高昂以及跨天气/跨传感器泛化能力不足等瓶颈；而若直接将经典的运动恢复结构（Structure-from-Motion, SfM）算法迁移至车载环视行车视频流中，则会不可避免地遭遇自动驾驶直线行车带来的严重几何退化、路面弱纹理、自车动态阴影以及多相机外参累积漂移等一系列棘手的物理与数学挑战。

本项目联合国内造车新势力哪吒汽车（NETA Auto），主导研发并落地了车规级 4D 视觉全自动标注系统。我作为项目技术负责人（Tech Lead），负责系统顶层算法架构设计，主导攻关了核心的刚性多相机组（Rig）SfM 重建引擎、路面弱纹理特征解耦、时空先验引导的稠密路面重建以及多行程场景跨时空聚合链路。这套工业实战中积累的核心几何优化理论与工程方法，后续沉淀发表于机器人顶级会议。

为什么自动驾驶行车数据会让经典 SfM 频频失效？

在经典摄影测量学与计算机视觉教科书中，主流的 SfM 重建框架（如 COLMAP 或 VisualSFM）均基于“观察者手持单反相机围绕静止雕塑或建筑物进行 360 度环绕多角度拍摄”的理想假设。在这一假设下，相机视点高度分散、空间基线开阔、视角交汇角良好。然而，车载环视相机在真实城市道路与高速公路上采集的数据，在几何与物理特性上截然不同：

直线走廊运动与视点共线退化：在高速公路或城市主干道上，车辆通常沿直线平稳向前行驶数公里，前后相机的空间运动轨迹严格退化为一条一维直线走廊。在多视几何中，纯前向平移且视点共线属于典型的三角化病态条件。当前向相机沿光轴方向前进时，极点落在图像中心，光轴附近的特征光线平行交角趋于零，微小的匹配误差会在纵深方向被急剧放大，导致重建点云在行进方向上发生严重的“纵向拉伸”甚至几何发散。
多相机外参在非约束优化中的“刚性破裂”：车身四周通常刚性固联着 6 至 8 台环视工业相机（覆盖前视广角、前视长焦、左前、右前、左后、右后）。传统的单相机 SfM 将每台相机的每一帧均视作一个完全独立的六自由度位姿变量。对于一段包含 $N$ 个时间戳的行车序列，待优化位姿变量高达 $6N$ 个。由于前后帧特征匹配不可避免地存在噪声累积，独立优化会导致原本在物理车身上保持绝对刚性不变的相机相对安装外参（Extrinsics）随时间发生不自然的虚假微小漂移，进而在不同视角拼接处产生严重的地面重影与几何错位。
沥青路面弱纹理与“自车动态阴影”的致命干扰：在车载图像中，道路沥青下半平面通常占据了整张图像 40% 以上的画幅。路面纹理分布均匀、缺乏高梯度角点，且在强日光直射下存在剧烈的地面热浪与反光。更为致命的是车身自身投射在地面的动态阴影：自车阴影边缘轮廓极其清晰、反差极大，极易被传统角点检测算子（如 SIFT 或 Harris）误捕获为高置信度特征点。然而，该阴影特征并非地面物理实体，而是随车体以相同线速度向前移动的虚假光学现象。若将该阴影特征送入静态空间三角化，优化器会强行拟合出距离极近的虚假悬浮噪点，严重拉偏自车轨迹。
异时异光照下“无重叠图像”的多行程跨时空聚合难题：自动驾驶高精地图要求对同一路口在不同时段（如周一早晨阴天与周五傍晚黄昏）的多趟行驶轨迹进行精准对齐。由于环境光照变化巨大、动态交通流完全不同，两趟行程之间根本无法直接通过图像外观匹配建立帧间关联，导致各行程点云各自孤立。

系统全貌：从原始行车流到 4D 矢量标注

为了在车厂量产数据工厂中实现日均数万公里视频日志的高吞吐全自动标注，我们构建了分工明确、松耦合且高鲁棒的工程链路：

完整项目范围

4D 视觉自动化标注系统

从同步车载数据到结构化局部地图；多相机 SfM 为标注和地图生成提供几何。

上游基础模块

01数据处理与同步相机 · IMU · GNSS · 底盘 · 标定

02语义感知全场景与车道线掩膜

03融合定位带尺度车辆轨迹

04 · 我负责的几何模块多相机 SfM 静态重建与系统接口系统集成 · 位姿与外参 · 稀疏/稠密几何 · 下游交付

下游工程模块

05地面重建稠密道路表面

06自动标注车道线 · 标志 · 静态元素

07多趟局部地图场景聚合与拓扑

多传感器纳秒级同步与预处理：将车载 6 路环视相机图像、车载 IMU 高频数据、GNSS 定位报文与底盘轮速脉冲对齐至同一时间基准与自车中心（Rear Axle Center）参考系；
动态语义掩膜与环境解耦：利用轻量化分割模型实时提取移动车辆、行人和天空区域，生成动态掩膜，彻底切除动态前景对静态三维几何的污染；
高确定性组合导航初值注入：基于车载组合惯导系统提供带绝对尺度的平滑先验轨迹；
刚性多相机组 SfM 重建引擎（核心）：以车身刚性相机组（Rig）为最小求解基元，联合求解自车轨迹与相机相对外参，生成厘米级稀疏路网骨架；
时空先验引导的稠密地面重建：利用运动几何先验剪枝无重叠图像对，加速多视立体（MVS）深度估计，融合出高保真连续地面点云；
跨时空多行程局部地图聚合：通过“粗 GNSS 锚定 + 结构化几何特征拓扑对齐”，将多段异步独立行程拼接为局部统一的高精矢量地图。

01输入与标定六路环视图像 · 多传感器定位 · 语义掩膜 · 初始内外参

02受约束的关联 SuperPoint · 时序/视野先验 · 两视几何校验

03相机组稀疏重建初始化 · 相机组注册 · 三角化 · RIG BA · 外点过滤

04稠密化与聚合 ACMP 深度 · COLMAP 融合 · 地面过滤 · 多趟对齐

05工程输出优化位姿与外参 · 稀疏/稠密地面点云 · 下游重建先验

核心算法设计与工程实现

1. 以“刚性相机组（Rig）”为原子单元的束调整优化

为了从根本上约束外参漂移并大幅降低解算自由度，我们重构了多视几何的优化参数化形式：不再将每台相机的每次曝光看作独立位姿，而是将同一时刻采集的 6 张环视图像显式绑定为一个刚性相机组单元。相机的绝对世界位姿显式分解为随时间变化的底盘车身中心位姿与相机固联于底盘的相对安装外参。

在此参数化下，整个序列的待优化位姿变量急剧减少。我们建立了**刚性相机组全局束调整（Rig BA）**优化框架，联合优化车身轨迹、相机相对外参以及空间静态路标点。

这种刚性参数化带来了两大决定性的工程优势：

互补视角几何强约束：当车辆在强逆光或经过大型货车遮挡时，前视相机可能完全过曝或被阻挡，但侧向与后向相机仍能稳定跟踪道路两侧的建筑物与路灯。通过相机组内固定的相对几何变换，不受干扰的相机视角能直接反向锁定整车位姿，彻底消除了单目直线行车的纵向深度拉伸退化；
外参在线联合自标定：将相机相对外参纳为系统待优化变量，优化器能够在整车运动中将各相机的相对位姿收敛至优于离线出厂标定房的精度，有效吸收车辆行驶过程中的微小机械形变。

利用相机组重叠先验，可以去除许多外观相似但物理上不可能成立的跨相机匹配。

2. 相机组可视重叠区域先验与极线几何剪枝

在两两图像特征匹配阶段，暴力全图匹配（Brute-Force Matching）在多相机、长时序数据下会导致计算量呈 $O(M \cdot N^2)$ 爆炸式增长。

我们引入了结构化相机组视锥重叠空间先验：

前视广角相机与左前侧向相机在物理安装上仅有约 30° 的水平视场交叠。在图像坐标系中，前视相机的右半部分像素在几何上绝对不可能出现在左前相机的视锥中；
算法利用安装几何先验划分匹配掩膜，强制要求左前相机仅与前视相机的左侧视场（$u < W/2$）进行特征关联搜索；
同时在匹配后施加本质矩阵 $E$ 极线几何距离校验与单应矩阵 $H$ 平面一致性校验，将特征匹配中的错误关联滤除率提升至 95% 以上，并将单任务特征匹配时间缩减了 80%。

3. 地表弱纹理与自车动态阴影的解耦过滤

为了解决弱纹理沥青路面与车身动态阴影污染点云的问题，我们在三角化前设计了局部流形地面过滤机制：

针对配准后的粗点云，沿道路延伸方向以 5 米为单位建立滑动局部栅格窗口；
在局部窗口内运行局部最优 RANSAC（LO-RANSAC）拟合局部切平面方程 $n_{\text{road}}^\top X + d = 0$；
对落在拟合地面上下 10 厘米薄层内的特征点进行打标并从稀疏束调整优化中主动剔除，阻止其参与位姿迭代。这一操作确保了位姿图优化器完全基于高可靠的立面刚性结构（如路灯杆、建筑外立面、交通标志牌架）收敛位姿，根除了路面噪点对自车轨迹的拉扯。

邻域过滤去除离散点，分栅格 RANSAC 抑制路面附近的点云厚度，再向下游交付。

4. 时空先验引导的加速 PatchMatch 稠密深度重建

在生成下游感知模型所需的连续稠密三维网格（Dense Mesh）与占用栅格（Occupancy）时，传统多视立体视觉（MVS）需要在全场景点云中遍历搜索视点重叠，处理耗时动辄数小时。

我们开发了时空邻域引导的稠密匹配机制：

基于刚性 SfM 恢复的高精车体轨迹，直接通过视锥视线夹角 $\theta_{\text{parallax}} \in [5^\circ, 30^\circ]$ 与时间戳滑动窗口（仅选取当前帧前后 15 帧以内）快速筛选最优立体像对，避免了全局遍历；
采用多视角 PatchMatch 算法（ACMP）在 GPU 上并行迭代深度图与法向量场，并引入倾斜平面支撑先验，在缺乏纹理的平整沥青路面上平滑插值恢复出完整的稠密深度；
最终通过多视角几何一致性深度融合算子，将 6 路环视相机的稠密深度图融合为全景统一的高精稠密点云。

COLMAP 稠密结果

ACMP + COLMAP 融合

混合方案改善了弱纹理路面的恢复，同时保留了更实用的融合耗时。

5. 粗到细的多行程跨时空场景聚合网络

针对不同天数采集的同一十字路口多段独立行驶数据，我们构建了两阶段跨行程图优化融合管道：

粗对齐阶段：利用车载 RTK-GNSS 差分报文提取各行程的绝对大地坐标，将待拼接行程整体平移旋转至基准行程的近邻局部坐标系中；
细精化阶段：利用道路交叉口恒定存在的静态地标结构（如高耸交通信号灯杆、龙门架、沿街建筑特征），提取跨行程不变几何特征。通过 PnP 与 RANSAC 解算出跨行程坐标系间的相对刚体变换初值 $T_{\text{run1} \to \text{run2}}$；
全局位姿图松弛（Global Pose Graph Relaxation）：固定第一趟参考行程的绝对位姿，将后续所有行程作为带有相对几何残差边的图节点加入位姿图，执行全局非线性最小二乘优化，平滑吸收两趟数据的累积误差，最终拼接生成长达数十公里的无缝一致高精地图。

独立重建直接叠加

多场景聚合后

跨趟关联与变换优化把多个局部行驶片段组合为一致场景。

车规级质检与精度实测验证

全栈系统在车厂实际数据中心进行了严格的量产级质检验收，与车载高线束激光雷达 SLAM 真值及 RTK 高精轨迹进行像素级对比验证：

稠密几何精度与路面平整度：将纯视觉恢复的稠密点云重投影至前视长焦与广角相机图像中，与同步高精激光雷达点云进行空间叠合。在 50 米有效感知范围内，路面高程绝对误差小于 $\pm 3\text{ cm}$，路牙与减速带轮廓边缘清晰锐利，彻底消除了传统视觉点云在 30 米开外的上翘与下塌漂移；
长序列轨迹闭环一致性：在连续行驶 5 公里的复杂城市与园区路段中，纯视觉刚性相机组 SfM 轨迹与高精组合导航真值对比，航向角漂移率被压低至 0.05°/100m，长距离闭环误差小于行驶总里程的 0.1%；
外参自标定对齐验证：将优化前后的外参直接应用于生成车周 360° BEV 俯视图。优化前，相邻相机接缝处的斑马线与车道线存在 5–10 厘米的明显阶梯错位；优化后，跨相机边界的线条平滑连续无肉眼可见错齿。

优化前后 BEV 投影对比：跨相机边界连续性的改善，为外参优化提供定性证据。

生产流程视频实况

下面四段视频记录了车规级 4D 自动标注流水线在实际生产中的完整运行表现：

车载环视视频输入车规级量产车采集的六路同步环视相机高动态行车序列。

静态场景三维点云重建刚性多相机 SfM 恢复的高精静态道路场景结构与几何细节。

稠密高精度深度估计通过时序与几何重叠先验引导生成的高吞吐、高一致性稠密深度。

外观与几何重投影验证高精位姿、稠密几何与原始图像之间的一致性像素级重投影验证。

车载环视视频输入：量产测试车在密集交通流中录制的六路高动态环视视频流；
静态场景三维点云重建：刚性多相机组 SfM 高保真恢复出的立交桥、沿街建筑与道路几何三维骨架；
稠密高精度深度估计：时空先验引导下实时计算出的全景稠密视差与深度图，路面连续完整；
外观与几何重投影验证：高精三维结构反向重投影回原视频帧，点云边缘与真实物体像素精确咬合。

工程总结与技术积累

将计算机视觉中的运动恢复结构（SfM）与多视立体几何推向量产级车规自动标注，是多视几何算法在工业级复杂系统上的典型突破。核心工程经验总结如下：

用物理机构刚性打破算法病态退化：算法不应脱离传感器载体的物理现实。通过将多相机间的物理刚性约束显式写入优化方程，不仅彻底斩断了多目外参的漂移链条，更通过跨相机的多向交汇视角巧妙化解了直线平移下的三角化病态发散问题。
几何特征解耦是抵抗环境噪点的关键：在弱纹理路面与移动阴影面前，全盘接收所有视觉特征只会导致优化器数值发散。针对场景不同物理分区（地面与立面）设计分层解耦的特征筛选机制，是大型几何系统稳定收敛的必要工程设计。
从单行程局域重建走向多行程空间拓扑聚合：单次行驶的数据终究存在视野死角与偶发遮挡。通过构建自适应几何对齐网络将多趟异步数据链式融合成局部统一地图，为构建高保真数字孪生世界与端到端自动驾驶模型提供了可规模化量产的数据工厂底座。

多相机刚性重建 | 聂畅