自动驾驶 | 聂畅

低速自动驾驶全栈科研平台：软硬件一体化搭建与实车闭环验证

Sat, 01 Jan 2022 00:00:00 +0000

自动驾驶算法研究在仿真环境之外，需要面对真实的地面摩擦力、传感器物理噪声、总线通信延迟与执行器非线性响应。2019 年进入实验室初期，商用自动驾驶测试平台成本极其昂贵且底层通信协议高度封闭，难以开展涉及底盘极限动力学与底层传感器驱动的研究。为了建立自主可控的实车实验体系，我们决定从最底层的硬件电气改装开始，全自主搭建科研实车平台。

在 2019 至 2022 年间，我们自主设计并搭建了两套物理构型互补的自动驾驶实验车：一套为面向园区道路巡航的低速纯电动乘用实车，另一套为具备全向机动能力的四轮独立驱动与转向（4WID-4WIS）科研 AGV 小车。研发工作贯穿了机械安装支架测绘加工、高低压隔离配电箱定制、底盘私有 CAN 总线协议逆向解析与 Linux SocketCAN 驱动编写、多传感器微秒级硬件时钟同步，以及基于 ROS 的感知、定位、规划与底盘控制全栈算法体系。最终在校园与园区实际道路环境下，完成了涵盖激光 SLAM、RTK 循迹、视觉车道线保持、动态多目标识别跟踪、自动紧急制动（AEB）、极限自主泊车与车车网联（V2X）跟随等多类典型场景的实车全闭环验证。

项目背景

自动驾驶核心科研平台 · 全栈软硬件自主研发

为在真实物理环境中检验和迭代算法，实验室在早期开展了全栈自动驾驶实车平台的自主搭建。从底层线控底盘改装与配电隔离做起，逆向解析 CAN 总线协议并构建完整的 ROS 软件栈，搭建了稳定可复用的科研实车平台，为后续感知、定位与控制算法研究提供实车验证环境。

实车交付与多场景闭环验证: 2 大构型线控自动驾驶实车科研平台；300+ 小时实车路测、涵盖 8 大场景全闭环演示（横向循迹误差 <5 cm，AEB 响应 <60 ms）与全栈 ROS 系统

我在项目中的工作

作为项目负责人，从零搭建 2 代全线控自动驾驶科研实车平台（乘用车与 4WIS AGV），累计完成 300+ 小时实地路测，负责底层线控改装、配电隔离、CAN 总线逆向与多场景实车闭环验证。

两套底盘形态，互补的科研试验场

为了全面支撑不同层级的科研攻关，我们设计并搭建了两种差异化的物理实验底盘：

园区低速电动乘用车平台：具备标准乘用车的悬挂、转向管柱与载人座椅空间。底盘承载能力强、空间开阔，支持在车顶与车头布置重型传感器阵列（包括 32 线激光雷达、双目立体工业相机、前后环视广角相机、双天线 RTK-GNSS 以及高精度惯性测量单元），后备箱布置搭载独立 GPU 的高性能车载工控机。该平台主要用于验证长距离大范围的园区高精地图构建、激光/视觉/惯导融合定位、复杂道路交通参与者博弈决策以及车车网联编队协同。
紧凑型四轮独立转向（4WID-4WIS）全向 AGV 平台：底盘搭载 8 台大功率无刷直流伺服电机（4 台负责四轮独立驱动，4 台负责四轮独立转向转角）。该构型突破了传统阿克曼转向机构的非完整运动学约束，可在软件层面实时切换为标准阿克曼前向转向、同向斜行蟹行（Crab Steer）、横向平移（Lateral Shift）以及四轮对角转向的原地零半径旋转（Zero-Radius Pivot Turn）。该平台专门用于极限狭窄空间内的敏捷避障验证与复杂车位极限几何泊车算法研究。

两套平台共同确立了一个核心技术原则：使高层算法直接面对真实的物理接触力学、通信抖动与执行器死区滞后，为后续算法的鲁棒性优化构筑物理基准。

全栈自动驾驶系统架构

多传感器融合 → 实时状态估计 → 决策规划 → 线控底盘执行

车载全栈 ROS 系统打通环境感知、实时建图定位与高精度轨迹跟踪，线控底盘经由 CAN 毫秒级闭环执行。

传感与计算

01环境观测摄像头 · 激光雷达 · 超声波

02定位输入RTK GNSS · IMU · 激光地图

03车载计算工控机 · ROS · 状态显示

自动驾驶软件与执行

04感知与定位目标 · 车道 · 障碍物 · 车辆位姿

05决策规划参考路线 · 行驶目标

06控制与线控底盘运动指令 · CAN 通信 · 底盘执行

车辆运动 → 新的观测与状态反馈 → 下一轮控制地图与 RTK 循迹分别使用对应定位输入。

硬件构建：从零到一的电气与传感器拓扑

在缺乏现成车规配套套件的条件下，将分散的传感器与执行器集成为高可靠的整车系统，需要系统性解决电气干扰、空间标定与时间同步等工程难题。

硬件子系统	选型配置与主要功能	现场搭建中攻克的关键工程挑战
线控底盘与 CAN 总线	转向电机、电驱动油门与电液线控制动推杆	逆向解析底盘私有通信协议，开发 100 Hz 循环 Linux SocketCAN 高确定性驱动，建立硬件心跳急停机制
3D 激光雷达	32 线 / 16 线机械旋转式 LiDAR，负责 3D 点云空间扫描与建图	定制铝合金减震桁架，阻隔车体振动传递，消除点云颠簸高频抖动；标定激光束反射强度衰减阈值
高动态工业相机	前向窄角 60° 相机与大广角 120° 相机，负责车道线与目标视觉识别	消除进出林荫道与地下通道的强逆光过曝；基于圆孔标定板实现相机与激光雷达的高精空间刚性标定
RTK-GNSS 差分定位	双天线 RTK 接收机，提供厘米级三维坐标与绝对航向角真值	双天线前后基线布局优化（保持 1.5 米间距）；解决高大建筑物遮挡造成的载波相位跳动与卫星失锁平滑平稳过渡
车规级 IMU 惯导单元	6 轴高精惯性测量单元，提供 200 Hz 加速度与角速度	机械基座严格对齐车身几何中心与后轴轴线；在静止与恒温环境下完成三轴零偏（Bias）与温漂在线校准
超声波雷达阵列	前后保险杠布置 8 颗超声波探头，负责近身盲区探测	合理优化各探头波束锥角交叉重叠区域，通过通道时序触发消除临近探头声波互串干扰
配电与电气隔离	48V 动力电池组转 12V/24V 隔离直流供电网络	设计强弱电物理隔离配电箱，加入压敏电阻与瞬态抑制二极管（TVS），消除电机反电动势浪涌与地线回路干扰

1. 硬件时钟硬同步与纳秒级时间对齐

在车辆以 20–30 km/h 速度行进时，100 毫秒的时间漂移将造成接近 1 米的空间投影位置误差。传统的基于软件系统时间戳（ROS Time）打标的方式受操作系统的调度抖动影响，精度难以满足多传感器特征级融合的要求。

我们构建了多层级硬件授时与硬触发同步机制：

PTP 与 PPS 纳秒级授时：RTK-GNSS 接收机锁定卫星信号后，输出高精度的秒脉冲（PPS, Pulse Per Second）方波与 GPRMC 时间报文，激光雷达接收 PPS 信号将自身内部时钟锁定在纳秒级绝对时间基准上；
FPGA/微控制器硬件脉冲触发曝光：由专用微控制器捕获 PPS 同步信号，并以 20 Hz 的固定频率向工业相机发送外触发方波脉冲，强制相机图像传感器在特定激光雷达旋转至前向视场的瞬间同步曝光；
采集端驱动在底层直接读取硬件帧寄存器捕获的时间戳，将全系统多源传感器的数据采集时间对齐误差压缩至 1 毫秒以内。

2. 空间外参刚性联合标定（LiDAR-Camera-IMU Extrinsics）

针对多传感器空间位姿偏差，设计了专用标定流程：

相机与激光雷达的刚性外参变换矩阵，基于包含空心圆孔的专用棋盘标定板进行联合解算。通过最小化三维激光点在空间平面上的拟合误差与在二维图像边缘的重投影误差，结合圆孔边缘特征完成非线性优化解算；
IMU 与激光雷达的外参则通过车辆在空旷场地上执行连续正弦波转向与急加减速运动，利用连续轨迹参数化求解二者角速度与线加速度的动态残差，获得厘米级平移与 0.1 度级旋转外参精度。

3. 底盘私有 CAN 总线逆向与线控驱动开发

实车底盘控制器（VCU）的原厂通信协议未公开。我们利用 CAN 监听盒录制车辆人工驾驶时的总线原始报文，通过对比油门开度、刹车踏板踩踏、转向盘旋转与轮速计脉冲的变化规律，逐帧逆向反推提取关键 DBC 信号字段（包括转向角反馈、期望转向角写入、左右轮速脉冲计数及制动压力指令）。

在此基础上，开发了具备安全校验机制的 Linux SocketCAN 驱动程序：

采用 100 Hz 定时循环线程向底盘写入控制帧，保证通信周期的确定性；
建立双向校验看门狗：一旦底盘控制器在 100 毫秒内未收到上位机有效心跳包，底层固件立即强制退回人工接管状态并主动施加平缓制动，杜绝软件死机导致车辆失控。

全栈 ROS 软件架构与算法系统

软件架构运行于 Ubuntu Linux 与 ROS 环境，深度优化节点间通信效率，划分为三大核心业务链路：

1. 定位与高精建图链路

基于激光点云与 IMU 紧耦合的 SLAM 建图：从 32 线 LiDAR 扫描点云中提取曲率极值点（线特征与面特征），通过 IMU 连续预积分提供高频位姿先验，构建因子图优化后端。实时解算车辆六自由度位姿并在线拼接点云，生成全局坐标系下的厘米级三维几何点云地图。
基于 NDT/ICP 的高频在线自定位：在预先构建的高精点云地图中，系统采用正态分布变换（NDT）与匹配协方差自适应 ICP 算法，以 50 Hz 频率实时匹配当前激光帧与全局地图，输出高可靠的实时位姿。即使在穿过完全遮挡卫星信号的楼宇连廊时，位姿估计依然连续平滑无跳变。
双天线 RTK-GNSS 差分循迹：利用车顶前后安装的双天线基线，在静止状态下即可直接解算出车辆航向角。融合地面轮速计读数，在宽阔道路上为局部规划器提供绝对地理参考。

2. 环境感知与道路语义理解链路

前向视觉车道线实时拟合：工业相机采集的图像经过畸变校正与逆透视映射（IPM）变换至鸟瞰坐标系，采用轻量化分割网络提取车道边界像素。利用三次多项式曲线拟合车道中心线，实时提取车道曲率与横向中心线偏移量，为车道居中控制提供几何输入。
视雷融合多目标 3D 检测与跟踪：利用深度学习目标检测网络识别 2D 图像中的行人与车辆目标框；通过标定外参将目标视锥反向投影至 3D 激光点云中，提取对应的局部聚类点云簇并拟合 3D 有向包围盒（Oriented Bounding Box）。后端接入交互式多模型无迹卡尔曼滤波（IMM-UKF），在线融合匀速与匀转弯率运动模型，输出平滑的世界坐标系速度与加速度估计。

3. 分层决策规划与高频线控执行

分层决策状态机：上层有限状态机（FSM）负责全局任务调度，涵盖巡航循迹、遇障减速避让、交叉路口会车让行、极限泊车与紧急制动等模式；局部规划器在 Frenet 坐标系下实时采样多项式轨迹簇，动态避让前方慢速行驶障碍物。
横纵向动力学闭环控制：横向控制结合纯跟踪（Pure Pursuit）与线性时变模型预测控制（LTV-MPC），根据车速动态自适应前视距离，消除大曲率转弯时的超调与画龙现象；纵向控制基于速度与加速度闭环 PID，经由 CAN 总线以 100 Hz 高频实时下发转向角与制动力矩指令。

实车录屏：七大核心场景全闭环

三维激光雷达实时建图基于车载 3D LiDAR 实时构建园区与道路厘米级高精点云地图，结构层次分明。

高精 SLAM 自主定位循迹小车完全基于自建激光点云地图实现高频位姿估计，自主平稳跟踪目标轨迹。

AGV 实车视觉车道线保持前向相机毫秒级分割车道线，结合转向控制算法实现高速平滑居中巡航。

车载多目标高动态检测随车视角与算法输出同步显示，实时稳定识别行人、车辆及多类道路参与者。

自动紧急制动（AEB）实车验证面对突发横穿行人的极限工况，多传感器毫秒级联动响应，平稳安全紧急制动。

狭窄库位全自动泊车融合超声波与视觉感知，精准规划倒车轨迹，自适应毫米级驶入狭窄车位。

V2X 网联双车协同跟随通过车车无线通信实时共享动力学状态，两辆自动驾驶车辆在连续弯道上高精度编队跟随。

上面的七段实拍录像完整记录了两台实车平台在校园道路与试验场地中的高强度闭环验证：

三维激光雷达实时建图：搭载 32 线 LiDAR 的乘用车在林荫道与建筑区间平稳行驶，实时渲染出包含树木树冠、路牙与建筑立面的高保真几何点云地图；
高精 SLAM 自主定位循迹：完全关闭卫星差分信号，车辆纯粹依靠车载点云地图与 NDT 实时匹配，在数百米长曲折道路上平稳自主巡航；
AGV 实车视觉车道线保持：4WIS 小车前向相机实时解析地面白色引导标线，转向机构动态自适应调整，小车平滑稳定保持在车道中央巡航；
车载多目标高动态检测：随车视角与算法检测框同步回放，在复杂光影下准确识别横穿马路的行人、迎面自行车与路边停放车辆，输出三维几何朝向框；
自动紧急制动（AEB）实车极限验证：面对突然推入车道正前方的假人目标，感知系统在 60 毫秒内计算出碰撞时间（TTC < 1.2s），底层线控制动推杆全力抱死，车辆在障碍物前 0.8 米处平稳安全刹停；
狭窄库位全自动泊车：超声波雷达探测车位边界，算法规划出包含两把倒车的多段轨迹，4WIS 小车精准倒车揉库，最终姿态完美对齐停车标线；
V2X 网联双车协同跟随：通过车载无线自组网实时广播前车动力学状态，两台实验车在复杂弯道上保持恒定车距，实现高灵敏度、无延迟的列队协同编队。

工程总结与技术积累

通过从零到一亲手完成两台实车平台的机械改装、电气布线、总线逆向、时钟同步与算法栈落地，我们建立了扎实且完整的物理系统工程感知力：

物理层先验对算法健壮性的决定性作用：仿真器中不存在通信掉包、高频振动、地线噪声与电机反电动势冲击。唯有在实车上亲手调试过配电浪涌与电机死区，才能真正理解控制算法为何必须设计前馈抗扰与硬件看门狗兜底。
时间确定性是传感器融合的生命线：任何复杂的空间几何算法，一旦遭遇毫秒级的时钟偏差与不确定延迟，融合结果必然发散失效。采用硬件级 PPS 授时与外触发曝光，从物理底层消除延迟不确定性，是多模态感知系统可靠运行的前提。
模块化解耦与可复用性：这套软硬件一体化的自主全栈平台，为课题组后续的多项产学研合作项目（包括工业搬运机器人、自主割草机及地下车库自主泊车）提供了直接可迁移的技术积淀与工程范式。

MRASfM：驾驶场景中的多相机运动恢复结构与聚合

Sat, 31 Jan 2026 00:00:00 +0000

驾驶数据的形态不适合摄影测量

驾驶场景的图像重建，通常交给视觉 SLAM 去做。可一旦目标是高精地图或者新视角合成，SLAM 这条路就暴露出一个结构性的短板：它的估计是增量式的，只在局部做优化，全局修正无从谈起，长轨迹上的漂移便一点点攒起来。运动恢复结构（structure-from-motion, SfM）走的是相反的路子，一次性读入全部数据，最后统一做一次全局束调整（bundle adjustment）。离线这个特点让它上不了实时机器人，也恰恰是它在这里的价值所在，因为它可以把实时系统花不起的算力花掉。

顺理成章的下一步，是把 SfM 用在驾驶上。但驾驶数据有三个特点，让这件事比看上去难得多。

第一个是采集几何。经典 SfM 假设你绕着目标走一圈，从各个方向拍照；汽车却是沿着一条走廊往前开。视点几乎共线，而共线正是 SfM 所依赖的平移估计最怕的情形。

第二个是数据本身就是碎的。驾驶场景往往只录很短一段时间，重叠有限，覆盖同一片区域的两段行程甚至可能相隔几周。两个最终要落进同一张地图的数据集之间，常常连一张共享图像都没有。

第三个是标定，也是它改变了我们设计整套方法的思路。车辆标定本来就不容易，初值里带着误差，到了起伏路面上误差还会更大。于是出发时手上的那组外参（extrinsics），并不是真正需要的那组，可它偏偏又是能拿到的最强先验。这对矛盾贯穿了整个设计。

已有方法默认了什么

多相机 SLAM 系统精度不错，代价是把精确的相机间相对位姿与内参当成输入。标定必须在部署之前完成，换一套相机配置就很难适应，实际使用中的灵活性因此受限。

增量式 SfM 是最接近的基线，我们对它的批评也很具体。它在增量重建的过程中完全不理会相机组的先验，等重建结束，才在刚性束调整里把先验加回去。到那个时候，增量估计阶段攒下的误差已经没有机会纠正，刚性束调整也抹不掉已经烙进结构里的漂移。逐图像束调整有另一个相关的毛病：相机之间的相对位姿在帧与帧之间可能对不上。

全局多相机 SfM 确实从一开始就固定住相机之间的相对位姿，但它对误匹配敏感，而且当估计出的相对平移接近共线时容易退化。驾驶场景的轨迹默认就接近共线，所以这不是边界情况，而是结构性的隐患。

里程计引导的 SfM 押的是相反的一边，直接拿里程计位姿和相机外参做配准。这对标定精度和里程计精度要求都很高，而这两样恰恰是实地部署最难稳定提供的。这类工作用单应（homography）寻找重叠图像对，这个思路我们借用了；“先验可以信任”这个前提，我们没有借。

还有一个跟这个场景绑在一起的匹配问题。传统描述子在弱纹理图像里提不出多少特征点，而道路场景里到处都是弱纹理表面。

最后，现有的聚合模块在合并重建时，一般默认待合并的两段之间存在共享图像。真实数据里，共享图像通常并不存在。

难在哪里

先验要用，却不能被信任。外参和里程计是车上最强的信号，也是最不可靠的东西。全信，会得到一类失败；完全不用，会得到另一类。两者之间可以腾挪的设计空间很窄。

共线是真正的退化，不是数值上的小毛病。固定相机组的全局方法把成败押在相对平移估计上，直线行驶让这个估计变得病态。

失败模式恰好落在有用信号的位置上。路面在每张图像里都占去很大面积，却几乎不含纹理，于是既提不出足够的匹配，提出来的也多半不可靠。更麻烦的是车辆阴影的边缘：对比度高，会被当成特征点检测出来。阴影边缘不是场景里的一个点，阴影一动，这个特征就跟着动，等于把运动注进了路面，而那正是结构最要紧的地方。

遮挡在相机组上和单相机上完全是两回事。单目系统里，一个相机被挡住就等于全线失败；环视相机组里，其他相机仍然看得见世界。但这份冗余只有在配准真的共享位姿时才算数，逐相机独立估计会把这点好处白白扔掉。

鲁棒性也是有代价的。相机越多，束调整里要优化的位姿越多，效率随之下降。覆盖度买来鲁棒性，账单记在优化规模上，而抵消这笔开销，正是我们很大一部分设计存在的理由。

相机组才是单元

我们的做法是换掉重建的原子。不再把每张图像当作一个待求解的独立相机，而是让刚性单元（rigid unit），也就是同一时刻拍下的全部图像，成为拿位姿的那个对象。这个位姿按定义就是该时刻的车辆位姿。

好处在于，相机组的位姿可以分解成一个随时间变化的车辆位姿和一个静态的组内相对位姿。一个观测充分的相机，能把那些什么也看不到的相机的位姿一并背起来。相机组只估计一次，不必在每一帧重新学一遍。

关键在这个分解用在哪里。我们把它当作配准和束调整内部的重参数化（reparameterization），而不是事后追加的约束。就这一个决定，同时带来三件事。位姿变量从“每相机每时刻一个”降到“每时刻一个加每相机一个”。优化出的相机组在帧间保持一致，因为本来就只有一个相机组需要一致。标定也从一项必须正确的输入，变成一个可以被改正的量。

搭起一次重建

先做对应关系搜索。SuperPoint 负责检测，SuperGlue 负责匹配；匹配点落在不同语义类别的图像对直接丢掉，其余交给几何验证。图像对不是全都试一遍：手上有粗略的组内相对位姿和车辆位姿，就能估出每张图像大致的视场，只去匹配那些有机会重叠的图像对。这么过滤，效率和精度都会好一些，因为两两全匹配本身就昂贵，还会把永远不会共享内容的图像对所带来的噪声引进来。

接下来配准分三步。先在对应关系最丰富的那些图像上估计 PnP。这些逐图像的估计换算成逐单元的估计，再用局部鲁棒旋转平均和平移平均融合成一个单元位姿。该单元里剩下的每张图像，拿单元位姿和标定一复合，位姿就出来了。

中间那一步，正是本方法在前文两类失败模式之间的落点。它和全局那一类一样做平均，但平均的对象是从可靠图像推出来的单元假设，不是原始的相对平移，这才让它扛得住共线。

对这个模块的交代要诚实，而且范围很窄。它对平均位姿精度和效率的作用都很小，真正的用处在遮挡视角上；对应关系丰富的场景里，它并不显眼。我们把这个取舍写出来，而不是把这个模块说成人人受益，因为冗余的价值本来就更集中在长尾。

查看原图 ↗

某个相机被遮挡，不再让整个单元失败。

先把路面挪开

一个单元配准完成之后，我们用 LO-RANSAC 在路面点上拟合平面模型，再把它们去掉。这一步直接冲着阴影边缘的问题去。移动的阴影边缘会产生一个并不附着在场景上的特征，而它落在视野里面积最大、纹理最少的那个表面上，三角化的噪声于是默认往那里集中。去掉这些点，重建精度会提高，收敛也更快。

这里用的假设是路面局部平坦，而我们自己采集的真实场景里就有坡度变化，所以这是一个近似，不是保证。

查看原图 ↗

在噪声最集中的地方，去掉阴影驱动和纹理贫乏的点。

在相机组上做束调整

相机组束调整（camera set bundle adjustment, CSBA）优化的对象是车辆位姿和组内相对位姿，靠代换约束（substitution constraints）把每个相机位姿写成车辆位姿与相机组几何的组合，局部阶段使用 Cauchy 鲁棒损失。变量包括内参、车辆位姿、组内相对位姿和场景点。

它有两种模式，这个划分很要紧。局部 CSBA 固定内参和组内相对位姿，只动新注册的单元及其邻居。全局 CSBA 在所有已注册单元上优化全部变量，当还有大量单元没被优化时，我们就触发一次。

全局 CSBA 重新优化内参和相对位姿，这就是论文所说的在线标定（online calibration）能力。它也是实际收益的所在，因为这一步把实地最不可靠的输入变成了输出。局部 CSBA 更便宜，而它冻结的恰恰是这几个参数，取舍就在这里：便宜的模式修不了标定，能修标定的模式更贵。

从“每相机每时刻一个位姿”到“每时刻一个加每相机一个”的削减，值得多花点笔墨。六个相机跑一条长轨迹，逐图像的写法要优化出六倍于所需的位姿，而每多一个变量，就多一个噪声可以藏身的自由度。变量少了，收敛更快，结果也更一致。在这个问题上，鲁棒性和效率是同一条杠杆，这样的情况并不常见。

查看原图 ↗

车辆位姿与组内相对位姿联合优化，标定才有可能在实地越用越准。

合并没有共享图像的行程

聚合必须在没有共享图像的前提下工作，所以整套策略是粗到细的。先用卫星定位把场景放进一个全局坐标系，用轨迹中点来代表它：一个场景放在几何中心，最近的若干邻居成为候选，再由单应引导的空间图像对，从候选里挑出视觉重叠最大的那一个。

粗放置与真实位置之间差着一个未知变换，因为定位误差比对齐容差更大。那就把这个变换本身当成变量。把新场景里的一张图像重定位，得到一个更精确的位姿，由此求出粗放置与真实放置之间的变换，再用这个变换一次性把整个刚性单元注册进去。接着是三角化，然后一个基于变换的束调整优化这个变换与场景点，同时固定住参考场景的相机位姿。

配准、三角化和调整轮流迭代，直到新场景的每个单元都被吸收进来。合并后的结果接着成为下一段场景的新参考，于是聚合是链式推进的，而不是围绕单一全局锚点展开。道理很简单：链式推进，误差就不会全部来自某一次可能出错的粗对齐。

这一阶段的设计意图是，聚合在粗对齐那一步永远不必精确，只要近到足够重定位即可。

查看原图 ↗

卫星定位把场景放到大概位置，视觉再把它修准。

我们从中得到什么

物理不变量最好的用法是重参数化，而不是加约束。事后强制刚性，拦不住此前已经积累的误差；把刚性写进变量结构，误差从一开始就没有积累的机会。

先验应该用来剪枝，不该用来下结论。粗略位姿决定匹配哪些图像对、从哪里起步，几何最终仍然来自匹配到的证据。这正是我们的做法与我们批评的那类做法之间的分界。

设计时，要让先验可以被改正，而不只是被信任。把相对位姿变成可优化量，最不可靠的输入才会变成输出。

还有一点：判断一个模块的价值，要去它失败模式所在的地方看。相机组配准几乎不改变平均位姿误差，可当某个相机被遮挡时，它就是成功与失败的分水岭。聚合指标足以把一个模块的全部价值盖住。

它仍然假设了什么

方法把粗略轨迹、粗略标定和语义信息当作输入。语义从哪里来，我们只做了假设，没有交代；标签质量对结果的影响，也没有报告。

多场景聚合没做消融。大约三个候选场景这个选择，以及以几何中心为参考的启发式，论文里只做了陈述，既没有给出理由，也没有失败分析。

刚性单元完全由“同时”来定义，这个假设松动时会怎样，我们没有测。相机时间同步误差和支架形变都会破坏它，而这两点都没有讨论。在线标定只做了声明，没有刻画：全局阶段对内参和相对位姿的优化，在多大的运动多样性、多少个相机之下才是良态的，我们没有说。

平面模型假定路面局部平坦，而我们自己的部署里就有坡度变化。跨不同多相机配置的通用性只有论断，实验也只在六相机和七相机的相机组上做过。动机里提到了阴影之外的动态物体，正文里没有专门处理。

它通向哪里

如果要我们概括自己的贡献，那就是换了一个单元，其余的一切都由它推出来。这个更换换来了什么，值得说清楚：把相机组当作配准与优化的原子单元，能在复杂环境里得到稳健的位姿估计，效率也高于传统的逐相机方法。再配合路面过滤和聚合阶段，整条流程能从那些本来没打算合并的行程里，做出统一的一张地图。

我们有意从两个方向做了验证。真实车辆上的实验说明它在数据集之外也站得住，公开基准则把精度上的论断摆到传统基线旁边。这件事实际的分量在于：智能车辆能更可靠地感知周围环境、估计自身位姿，而下游任务真正消费的，就是这两样东西。