高精地图 | 聂畅

车规级 4D 自动标注系统：面向智能驾驶的多相机刚性 SfM 与高精几何重建

Thu, 20 Jun 2024 00:00:00 +0000

项目背景

哪吒汽车（NETA Auto）合作 · 汽车多相机重建与四维标注

面向高等级自动驾驶对海量高质量 4D 标注数据的迫切需求，项目构建了涵盖数据同步、语义分割、多源融合定位、刚性多相机重建、稠密路面重建与多趟地图聚合的工业级全自动数据工厂。全系统在车厂实际产线稳定运行，大幅提升数据生产效率。

车规级交付成果与量产验证: 车规级 4D 自动标注工程全链路；累计处理超 1,000 km 实车数据（跨趟次配准误差优于 5 cm）、位姿与外参在线标定、标注综合提效 80% 以上

我在项目中的工作

作为项目负责人，主导搭建车规级多相机三维重建与自动化 4D 标注系统架构；带领 5 人算法组优化刚性多相机 SfM 与时空聚合，累计处理实车数据超 1,000 km，跨趟次几何配准误差优于 5 cm，标注综合提效 80% 以上。

在自动驾驶感知系统从传统单目检测向大模型 BEV（鸟瞰图）感知、占用网格网络（Occupancy Network）以及端到端模型演进的过程中，海量且具备时空一致性的高质量 4D 真实空间标注数据（包括高精地面网格、车道拓扑标线、动静态障碍物 3D 边界框及其时空运动轨迹），成为模型训练与评测的核心资源。

传统基于多线车载激光雷达并依赖外包人工进行逐帧点云标注的模式，面临着数据吞吐周期长、人工标注成本高昂以及跨天气/跨传感器泛化能力不足等瓶颈；而若直接将经典的运动恢复结构（Structure-from-Motion, SfM）算法迁移至车载环视行车视频流中，则会不可避免地遭遇自动驾驶直线行车带来的严重几何退化、路面弱纹理、自车动态阴影以及多相机外参累积漂移等一系列棘手的物理与数学挑战。

本项目联合国内造车新势力哪吒汽车（NETA Auto），主导研发并落地了车规级 4D 视觉全自动标注系统。我作为项目技术负责人（Tech Lead），负责系统顶层算法架构设计，主导攻关了核心的刚性多相机组（Rig）SfM 重建引擎、路面弱纹理特征解耦、时空先验引导的稠密路面重建以及多行程场景跨时空聚合链路。这套工业实战中积累的核心几何优化理论与工程方法，后续沉淀发表于机器人顶级会议。

为什么自动驾驶行车数据会让经典 SfM 频频失效？

在经典摄影测量学与计算机视觉教科书中，主流的 SfM 重建框架（如 COLMAP 或 VisualSFM）均基于“观察者手持单反相机围绕静止雕塑或建筑物进行 360 度环绕多角度拍摄”的理想假设。在这一假设下，相机视点高度分散、空间基线开阔、视角交汇角良好。然而，车载环视相机在真实城市道路与高速公路上采集的数据，在几何与物理特性上截然不同：

直线走廊运动与视点共线退化：在高速公路或城市主干道上，车辆通常沿直线平稳向前行驶数公里，前后相机的空间运动轨迹严格退化为一条一维直线走廊。在多视几何中，纯前向平移且视点共线属于典型的三角化病态条件。当前向相机沿光轴方向前进时，极点落在图像中心，光轴附近的特征光线平行交角趋于零，微小的匹配误差会在纵深方向被急剧放大，导致重建点云在行进方向上发生严重的“纵向拉伸”甚至几何发散。
多相机外参在非约束优化中的“刚性破裂”：车身四周通常刚性固联着 6 至 8 台环视工业相机（覆盖前视广角、前视长焦、左前、右前、左后、右后）。传统的单相机 SfM 将每台相机的每一帧均视作一个完全独立的六自由度位姿变量。对于一段包含 $N$ 个时间戳的行车序列，待优化位姿变量高达 $6N$ 个。由于前后帧特征匹配不可避免地存在噪声累积，独立优化会导致原本在物理车身上保持绝对刚性不变的相机相对安装外参（Extrinsics）随时间发生不自然的虚假微小漂移，进而在不同视角拼接处产生严重的地面重影与几何错位。
沥青路面弱纹理与“自车动态阴影”的致命干扰：在车载图像中，道路沥青下半平面通常占据了整张图像 40% 以上的画幅。路面纹理分布均匀、缺乏高梯度角点，且在强日光直射下存在剧烈的地面热浪与反光。更为致命的是车身自身投射在地面的动态阴影：自车阴影边缘轮廓极其清晰、反差极大，极易被传统角点检测算子（如 SIFT 或 Harris）误捕获为高置信度特征点。然而，该阴影特征并非地面物理实体，而是随车体以相同线速度向前移动的虚假光学现象。若将该阴影特征送入静态空间三角化，优化器会强行拟合出距离极近的虚假悬浮噪点，严重拉偏自车轨迹。
异时异光照下“无重叠图像”的多行程跨时空聚合难题：自动驾驶高精地图要求对同一路口在不同时段（如周一早晨阴天与周五傍晚黄昏）的多趟行驶轨迹进行精准对齐。由于环境光照变化巨大、动态交通流完全不同，两趟行程之间根本无法直接通过图像外观匹配建立帧间关联，导致各行程点云各自孤立。

系统全貌：从原始行车流到 4D 矢量标注

为了在车厂量产数据工厂中实现日均数万公里视频日志的高吞吐全自动标注，我们构建了分工明确、松耦合且高鲁棒的工程链路：

完整项目范围

4D 视觉自动化标注系统

从同步车载数据到结构化局部地图；多相机 SfM 为标注和地图生成提供几何。

上游基础模块

01数据处理与同步相机 · IMU · GNSS · 底盘 · 标定

02语义感知全场景与车道线掩膜

03融合定位带尺度车辆轨迹

04 · 我负责的几何模块多相机 SfM 静态重建与系统接口系统集成 · 位姿与外参 · 稀疏/稠密几何 · 下游交付

下游工程模块

05地面重建稠密道路表面

06自动标注车道线 · 标志 · 静态元素

07多趟局部地图场景聚合与拓扑

多传感器纳秒级同步与预处理：将车载 6 路环视相机图像、车载 IMU 高频数据、GNSS 定位报文与底盘轮速脉冲对齐至同一时间基准与自车中心（Rear Axle Center）参考系；
动态语义掩膜与环境解耦：利用轻量化分割模型实时提取移动车辆、行人和天空区域，生成动态掩膜，彻底切除动态前景对静态三维几何的污染；
高确定性组合导航初值注入：基于车载组合惯导系统提供带绝对尺度的平滑先验轨迹；
刚性多相机组 SfM 重建引擎（核心）：以车身刚性相机组（Rig）为最小求解基元，联合求解自车轨迹与相机相对外参，生成厘米级稀疏路网骨架；
时空先验引导的稠密地面重建：利用运动几何先验剪枝无重叠图像对，加速多视立体（MVS）深度估计，融合出高保真连续地面点云；
跨时空多行程局部地图聚合：通过“粗 GNSS 锚定 + 结构化几何特征拓扑对齐”，将多段异步独立行程拼接为局部统一的高精矢量地图。

01输入与标定六路环视图像 · 多传感器定位 · 语义掩膜 · 初始内外参

02受约束的关联 SuperPoint · 时序/视野先验 · 两视几何校验

03相机组稀疏重建初始化 · 相机组注册 · 三角化 · RIG BA · 外点过滤

04稠密化与聚合 ACMP 深度 · COLMAP 融合 · 地面过滤 · 多趟对齐

05工程输出优化位姿与外参 · 稀疏/稠密地面点云 · 下游重建先验

核心算法设计与工程实现

1. 以“刚性相机组（Rig）”为原子单元的束调整优化

为了从根本上约束外参漂移并大幅降低解算自由度，我们重构了多视几何的优化参数化形式：不再将每台相机的每次曝光看作独立位姿，而是将同一时刻采集的 6 张环视图像显式绑定为一个刚性相机组单元。相机的绝对世界位姿显式分解为随时间变化的底盘车身中心位姿与相机固联于底盘的相对安装外参。

在此参数化下，整个序列的待优化位姿变量急剧减少。我们建立了**刚性相机组全局束调整（Rig BA）**优化框架，联合优化车身轨迹、相机相对外参以及空间静态路标点。

这种刚性参数化带来了两大决定性的工程优势：

互补视角几何强约束：当车辆在强逆光或经过大型货车遮挡时，前视相机可能完全过曝或被阻挡，但侧向与后向相机仍能稳定跟踪道路两侧的建筑物与路灯。通过相机组内固定的相对几何变换，不受干扰的相机视角能直接反向锁定整车位姿，彻底消除了单目直线行车的纵向深度拉伸退化；
外参在线联合自标定：将相机相对外参纳为系统待优化变量，优化器能够在整车运动中将各相机的相对位姿收敛至优于离线出厂标定房的精度，有效吸收车辆行驶过程中的微小机械形变。

利用相机组重叠先验，可以去除许多外观相似但物理上不可能成立的跨相机匹配。

2. 相机组可视重叠区域先验与极线几何剪枝

在两两图像特征匹配阶段，暴力全图匹配（Brute-Force Matching）在多相机、长时序数据下会导致计算量呈 $O(M \cdot N^2)$ 爆炸式增长。

我们引入了结构化相机组视锥重叠空间先验：

前视广角相机与左前侧向相机在物理安装上仅有约 30° 的水平视场交叠。在图像坐标系中，前视相机的右半部分像素在几何上绝对不可能出现在左前相机的视锥中；
算法利用安装几何先验划分匹配掩膜，强制要求左前相机仅与前视相机的左侧视场（$u < W/2$）进行特征关联搜索；
同时在匹配后施加本质矩阵 $E$ 极线几何距离校验与单应矩阵 $H$ 平面一致性校验，将特征匹配中的错误关联滤除率提升至 95% 以上，并将单任务特征匹配时间缩减了 80%。

3. 地表弱纹理与自车动态阴影的解耦过滤

为了解决弱纹理沥青路面与车身动态阴影污染点云的问题，我们在三角化前设计了局部流形地面过滤机制：

针对配准后的粗点云，沿道路延伸方向以 5 米为单位建立滑动局部栅格窗口；
在局部窗口内运行局部最优 RANSAC（LO-RANSAC）拟合局部切平面方程 $n_{\text{road}}^\top X + d = 0$；
对落在拟合地面上下 10 厘米薄层内的特征点进行打标并从稀疏束调整优化中主动剔除，阻止其参与位姿迭代。这一操作确保了位姿图优化器完全基于高可靠的立面刚性结构（如路灯杆、建筑外立面、交通标志牌架）收敛位姿，根除了路面噪点对自车轨迹的拉扯。

邻域过滤去除离散点，分栅格 RANSAC 抑制路面附近的点云厚度，再向下游交付。

4. 时空先验引导的加速 PatchMatch 稠密深度重建

在生成下游感知模型所需的连续稠密三维网格（Dense Mesh）与占用栅格（Occupancy）时，传统多视立体视觉（MVS）需要在全场景点云中遍历搜索视点重叠，处理耗时动辄数小时。

我们开发了时空邻域引导的稠密匹配机制：

基于刚性 SfM 恢复的高精车体轨迹，直接通过视锥视线夹角 $\theta_{\text{parallax}} \in [5^\circ, 30^\circ]$ 与时间戳滑动窗口（仅选取当前帧前后 15 帧以内）快速筛选最优立体像对，避免了全局遍历；
采用多视角 PatchMatch 算法（ACMP）在 GPU 上并行迭代深度图与法向量场，并引入倾斜平面支撑先验，在缺乏纹理的平整沥青路面上平滑插值恢复出完整的稠密深度；
最终通过多视角几何一致性深度融合算子，将 6 路环视相机的稠密深度图融合为全景统一的高精稠密点云。

COLMAP 稠密结果

ACMP + COLMAP 融合

混合方案改善了弱纹理路面的恢复，同时保留了更实用的融合耗时。

5. 粗到细的多行程跨时空场景聚合网络

针对不同天数采集的同一十字路口多段独立行驶数据，我们构建了两阶段跨行程图优化融合管道：

粗对齐阶段：利用车载 RTK-GNSS 差分报文提取各行程的绝对大地坐标，将待拼接行程整体平移旋转至基准行程的近邻局部坐标系中；
细精化阶段：利用道路交叉口恒定存在的静态地标结构（如高耸交通信号灯杆、龙门架、沿街建筑特征），提取跨行程不变几何特征。通过 PnP 与 RANSAC 解算出跨行程坐标系间的相对刚体变换初值 $T_{\text{run1} \to \text{run2}}$；
全局位姿图松弛（Global Pose Graph Relaxation）：固定第一趟参考行程的绝对位姿，将后续所有行程作为带有相对几何残差边的图节点加入位姿图，执行全局非线性最小二乘优化，平滑吸收两趟数据的累积误差，最终拼接生成长达数十公里的无缝一致高精地图。

独立重建直接叠加

多场景聚合后

跨趟关联与变换优化把多个局部行驶片段组合为一致场景。

车规级质检与精度实测验证

全栈系统在车厂实际数据中心进行了严格的量产级质检验收，与车载高线束激光雷达 SLAM 真值及 RTK 高精轨迹进行像素级对比验证：

稠密几何精度与路面平整度：将纯视觉恢复的稠密点云重投影至前视长焦与广角相机图像中，与同步高精激光雷达点云进行空间叠合。在 50 米有效感知范围内，路面高程绝对误差小于 $\pm 3\text{ cm}$，路牙与减速带轮廓边缘清晰锐利，彻底消除了传统视觉点云在 30 米开外的上翘与下塌漂移；
长序列轨迹闭环一致性：在连续行驶 5 公里的复杂城市与园区路段中，纯视觉刚性相机组 SfM 轨迹与高精组合导航真值对比，航向角漂移率被压低至 0.05°/100m，长距离闭环误差小于行驶总里程的 0.1%；
外参自标定对齐验证：将优化前后的外参直接应用于生成车周 360° BEV 俯视图。优化前，相邻相机接缝处的斑马线与车道线存在 5–10 厘米的明显阶梯错位；优化后，跨相机边界的线条平滑连续无肉眼可见错齿。

优化前后 BEV 投影对比：跨相机边界连续性的改善，为外参优化提供定性证据。

生产流程视频实况

下面四段视频记录了车规级 4D 自动标注流水线在实际生产中的完整运行表现：

车载环视视频输入车规级量产车采集的六路同步环视相机高动态行车序列。

静态场景三维点云重建刚性多相机 SfM 恢复的高精静态道路场景结构与几何细节。

稠密高精度深度估计通过时序与几何重叠先验引导生成的高吞吐、高一致性稠密深度。

外观与几何重投影验证高精位姿、稠密几何与原始图像之间的一致性像素级重投影验证。

车载环视视频输入：量产测试车在密集交通流中录制的六路高动态环视视频流；
静态场景三维点云重建：刚性多相机组 SfM 高保真恢复出的立交桥、沿街建筑与道路几何三维骨架；
稠密高精度深度估计：时空先验引导下实时计算出的全景稠密视差与深度图，路面连续完整；
外观与几何重投影验证：高精三维结构反向重投影回原视频帧，点云边缘与真实物体像素精确咬合。

工程总结与技术积累

将计算机视觉中的运动恢复结构（SfM）与多视立体几何推向量产级车规自动标注，是多视几何算法在工业级复杂系统上的典型突破。核心工程经验总结如下：

用物理机构刚性打破算法病态退化：算法不应脱离传感器载体的物理现实。通过将多相机间的物理刚性约束显式写入优化方程，不仅彻底斩断了多目外参的漂移链条，更通过跨相机的多向交汇视角巧妙化解了直线平移下的三角化病态发散问题。
几何特征解耦是抵抗环境噪点的关键：在弱纹理路面与移动阴影面前，全盘接收所有视觉特征只会导致优化器数值发散。针对场景不同物理分区（地面与立面）设计分层解耦的特征筛选机制，是大型几何系统稳定收敛的必要工程设计。
从单行程局域重建走向多行程空间拓扑聚合：单次行驶的数据终究存在视野死角与偶发遮挡。通过构建自适应几何对齐网络将多趟异步数据链式融合成局部统一地图，为构建高保真数字孪生世界与端到端自动驾驶模型提供了可规模化量产的数据工厂底座。

MRASfM：驾驶场景中的多相机运动恢复结构与聚合

Sat, 31 Jan 2026 00:00:00 +0000

驾驶数据的形态不适合摄影测量

驾驶场景的图像重建，通常交给视觉 SLAM 去做。可一旦目标是高精地图或者新视角合成，SLAM 这条路就暴露出一个结构性的短板：它的估计是增量式的，只在局部做优化，全局修正无从谈起，长轨迹上的漂移便一点点攒起来。运动恢复结构（structure-from-motion, SfM）走的是相反的路子，一次性读入全部数据，最后统一做一次全局束调整（bundle adjustment）。离线这个特点让它上不了实时机器人，也恰恰是它在这里的价值所在，因为它可以把实时系统花不起的算力花掉。

顺理成章的下一步，是把 SfM 用在驾驶上。但驾驶数据有三个特点，让这件事比看上去难得多。

第一个是采集几何。经典 SfM 假设你绕着目标走一圈，从各个方向拍照；汽车却是沿着一条走廊往前开。视点几乎共线，而共线正是 SfM 所依赖的平移估计最怕的情形。

第二个是数据本身就是碎的。驾驶场景往往只录很短一段时间，重叠有限，覆盖同一片区域的两段行程甚至可能相隔几周。两个最终要落进同一张地图的数据集之间，常常连一张共享图像都没有。

第三个是标定，也是它改变了我们设计整套方法的思路。车辆标定本来就不容易，初值里带着误差，到了起伏路面上误差还会更大。于是出发时手上的那组外参（extrinsics），并不是真正需要的那组，可它偏偏又是能拿到的最强先验。这对矛盾贯穿了整个设计。

已有方法默认了什么

多相机 SLAM 系统精度不错，代价是把精确的相机间相对位姿与内参当成输入。标定必须在部署之前完成，换一套相机配置就很难适应，实际使用中的灵活性因此受限。

增量式 SfM 是最接近的基线，我们对它的批评也很具体。它在增量重建的过程中完全不理会相机组的先验，等重建结束，才在刚性束调整里把先验加回去。到那个时候，增量估计阶段攒下的误差已经没有机会纠正，刚性束调整也抹不掉已经烙进结构里的漂移。逐图像束调整有另一个相关的毛病：相机之间的相对位姿在帧与帧之间可能对不上。

全局多相机 SfM 确实从一开始就固定住相机之间的相对位姿，但它对误匹配敏感，而且当估计出的相对平移接近共线时容易退化。驾驶场景的轨迹默认就接近共线，所以这不是边界情况，而是结构性的隐患。

里程计引导的 SfM 押的是相反的一边，直接拿里程计位姿和相机外参做配准。这对标定精度和里程计精度要求都很高，而这两样恰恰是实地部署最难稳定提供的。这类工作用单应（homography）寻找重叠图像对，这个思路我们借用了；“先验可以信任”这个前提，我们没有借。

还有一个跟这个场景绑在一起的匹配问题。传统描述子在弱纹理图像里提不出多少特征点，而道路场景里到处都是弱纹理表面。

最后，现有的聚合模块在合并重建时，一般默认待合并的两段之间存在共享图像。真实数据里，共享图像通常并不存在。

难在哪里

先验要用，却不能被信任。外参和里程计是车上最强的信号，也是最不可靠的东西。全信，会得到一类失败；完全不用，会得到另一类。两者之间可以腾挪的设计空间很窄。

共线是真正的退化，不是数值上的小毛病。固定相机组的全局方法把成败押在相对平移估计上，直线行驶让这个估计变得病态。

失败模式恰好落在有用信号的位置上。路面在每张图像里都占去很大面积，却几乎不含纹理，于是既提不出足够的匹配，提出来的也多半不可靠。更麻烦的是车辆阴影的边缘：对比度高，会被当成特征点检测出来。阴影边缘不是场景里的一个点，阴影一动，这个特征就跟着动，等于把运动注进了路面，而那正是结构最要紧的地方。

遮挡在相机组上和单相机上完全是两回事。单目系统里，一个相机被挡住就等于全线失败；环视相机组里，其他相机仍然看得见世界。但这份冗余只有在配准真的共享位姿时才算数，逐相机独立估计会把这点好处白白扔掉。

鲁棒性也是有代价的。相机越多，束调整里要优化的位姿越多，效率随之下降。覆盖度买来鲁棒性，账单记在优化规模上，而抵消这笔开销，正是我们很大一部分设计存在的理由。

相机组才是单元

我们的做法是换掉重建的原子。不再把每张图像当作一个待求解的独立相机，而是让刚性单元（rigid unit），也就是同一时刻拍下的全部图像，成为拿位姿的那个对象。这个位姿按定义就是该时刻的车辆位姿。

好处在于，相机组的位姿可以分解成一个随时间变化的车辆位姿和一个静态的组内相对位姿。一个观测充分的相机，能把那些什么也看不到的相机的位姿一并背起来。相机组只估计一次，不必在每一帧重新学一遍。

关键在这个分解用在哪里。我们把它当作配准和束调整内部的重参数化（reparameterization），而不是事后追加的约束。就这一个决定，同时带来三件事。位姿变量从“每相机每时刻一个”降到“每时刻一个加每相机一个”。优化出的相机组在帧间保持一致，因为本来就只有一个相机组需要一致。标定也从一项必须正确的输入，变成一个可以被改正的量。

搭起一次重建

先做对应关系搜索。SuperPoint 负责检测，SuperGlue 负责匹配；匹配点落在不同语义类别的图像对直接丢掉，其余交给几何验证。图像对不是全都试一遍：手上有粗略的组内相对位姿和车辆位姿，就能估出每张图像大致的视场，只去匹配那些有机会重叠的图像对。这么过滤，效率和精度都会好一些，因为两两全匹配本身就昂贵，还会把永远不会共享内容的图像对所带来的噪声引进来。

接下来配准分三步。先在对应关系最丰富的那些图像上估计 PnP。这些逐图像的估计换算成逐单元的估计，再用局部鲁棒旋转平均和平移平均融合成一个单元位姿。该单元里剩下的每张图像，拿单元位姿和标定一复合，位姿就出来了。

中间那一步，正是本方法在前文两类失败模式之间的落点。它和全局那一类一样做平均，但平均的对象是从可靠图像推出来的单元假设，不是原始的相对平移，这才让它扛得住共线。

对这个模块的交代要诚实，而且范围很窄。它对平均位姿精度和效率的作用都很小，真正的用处在遮挡视角上；对应关系丰富的场景里，它并不显眼。我们把这个取舍写出来，而不是把这个模块说成人人受益，因为冗余的价值本来就更集中在长尾。

查看原图 ↗

某个相机被遮挡，不再让整个单元失败。

先把路面挪开

一个单元配准完成之后，我们用 LO-RANSAC 在路面点上拟合平面模型，再把它们去掉。这一步直接冲着阴影边缘的问题去。移动的阴影边缘会产生一个并不附着在场景上的特征，而它落在视野里面积最大、纹理最少的那个表面上，三角化的噪声于是默认往那里集中。去掉这些点，重建精度会提高，收敛也更快。

这里用的假设是路面局部平坦，而我们自己采集的真实场景里就有坡度变化，所以这是一个近似，不是保证。

查看原图 ↗

在噪声最集中的地方，去掉阴影驱动和纹理贫乏的点。

在相机组上做束调整

相机组束调整（camera set bundle adjustment, CSBA）优化的对象是车辆位姿和组内相对位姿，靠代换约束（substitution constraints）把每个相机位姿写成车辆位姿与相机组几何的组合，局部阶段使用 Cauchy 鲁棒损失。变量包括内参、车辆位姿、组内相对位姿和场景点。

它有两种模式，这个划分很要紧。局部 CSBA 固定内参和组内相对位姿，只动新注册的单元及其邻居。全局 CSBA 在所有已注册单元上优化全部变量，当还有大量单元没被优化时，我们就触发一次。

全局 CSBA 重新优化内参和相对位姿，这就是论文所说的在线标定（online calibration）能力。它也是实际收益的所在，因为这一步把实地最不可靠的输入变成了输出。局部 CSBA 更便宜，而它冻结的恰恰是这几个参数，取舍就在这里：便宜的模式修不了标定，能修标定的模式更贵。

从“每相机每时刻一个位姿”到“每时刻一个加每相机一个”的削减，值得多花点笔墨。六个相机跑一条长轨迹，逐图像的写法要优化出六倍于所需的位姿，而每多一个变量，就多一个噪声可以藏身的自由度。变量少了，收敛更快，结果也更一致。在这个问题上，鲁棒性和效率是同一条杠杆，这样的情况并不常见。

查看原图 ↗

车辆位姿与组内相对位姿联合优化，标定才有可能在实地越用越准。

合并没有共享图像的行程

聚合必须在没有共享图像的前提下工作，所以整套策略是粗到细的。先用卫星定位把场景放进一个全局坐标系，用轨迹中点来代表它：一个场景放在几何中心，最近的若干邻居成为候选，再由单应引导的空间图像对，从候选里挑出视觉重叠最大的那一个。

粗放置与真实位置之间差着一个未知变换，因为定位误差比对齐容差更大。那就把这个变换本身当成变量。把新场景里的一张图像重定位，得到一个更精确的位姿，由此求出粗放置与真实放置之间的变换，再用这个变换一次性把整个刚性单元注册进去。接着是三角化，然后一个基于变换的束调整优化这个变换与场景点，同时固定住参考场景的相机位姿。

配准、三角化和调整轮流迭代，直到新场景的每个单元都被吸收进来。合并后的结果接着成为下一段场景的新参考，于是聚合是链式推进的，而不是围绕单一全局锚点展开。道理很简单：链式推进，误差就不会全部来自某一次可能出错的粗对齐。

这一阶段的设计意图是，聚合在粗对齐那一步永远不必精确，只要近到足够重定位即可。

查看原图 ↗

卫星定位把场景放到大概位置，视觉再把它修准。

我们从中得到什么

物理不变量最好的用法是重参数化，而不是加约束。事后强制刚性，拦不住此前已经积累的误差；把刚性写进变量结构，误差从一开始就没有积累的机会。

先验应该用来剪枝，不该用来下结论。粗略位姿决定匹配哪些图像对、从哪里起步，几何最终仍然来自匹配到的证据。这正是我们的做法与我们批评的那类做法之间的分界。

设计时，要让先验可以被改正，而不只是被信任。把相对位姿变成可优化量，最不可靠的输入才会变成输出。

还有一点：判断一个模块的价值，要去它失败模式所在的地方看。相机组配准几乎不改变平均位姿误差，可当某个相机被遮挡时，它就是成功与失败的分水岭。聚合指标足以把一个模块的全部价值盖住。

它仍然假设了什么

方法把粗略轨迹、粗略标定和语义信息当作输入。语义从哪里来，我们只做了假设，没有交代；标签质量对结果的影响，也没有报告。

多场景聚合没做消融。大约三个候选场景这个选择，以及以几何中心为参考的启发式，论文里只做了陈述，既没有给出理由，也没有失败分析。

刚性单元完全由“同时”来定义，这个假设松动时会怎样，我们没有测。相机时间同步误差和支架形变都会破坏它，而这两点都没有讨论。在线标定只做了声明，没有刻画：全局阶段对内参和相对位姿的优化，在多大的运动多样性、多少个相机之下才是良态的，我们没有说。

平面模型假定路面局部平坦，而我们自己的部署里就有坡度变化。跨不同多相机配置的通用性只有论断，实验也只在六相机和七相机的相机组上做过。动机里提到了阴影之外的动态物体，正文里没有专门处理。

它通向哪里

如果要我们概括自己的贡献，那就是换了一个单元，其余的一切都由它推出来。这个更换换来了什么，值得说清楚：把相机组当作配准与优化的原子单元，能在复杂环境里得到稳健的位姿估计，效率也高于传统的逐相机方法。再配合路面过滤和聚合阶段，整条流程能从那些本来没打算合并的行程里，做出统一的一张地图。

我们有意从两个方向做了验证。真实车辆上的实验说明它在数据集之外也站得住，公开基准则把精度上的论断摆到传统基线旁边。这件事实际的分量在于：智能车辆能更可靠地感知周围环境、估计自身位姿，而下游任务真正消费的，就是这两样东西。