“自动驾驶的汽车怎么看路？”这个问题背后是一个完整的感知体系：摄像头、激光雷达、毫米波雷达、超声波传感器各看一段信息，视觉感知负责把图像变成“哪里有车、是什么”，传感器融合负责把多路信息拼成一幅可信的世界模型。本篇讲清楚：单靠摄像头为什么不够、视觉感知的流水线长什么样、前/中/后融合三种架构怎么选，以及工程上最容易翻车的时间同步与标定问题。

1 为什么一辆车要装这么多传感器

图 6-1 典型量产车传感器布局

核心矛盾在于：摄像头“看得懂但量不准”，激光雷达“量得准但看不懂”，毫米波“测速强但认不清”。感知系统要回答“前方 50m 有个行人正在以 1.2m/s 横穿马路”，任何单一传感器都给不出完整答案，这就是融合存在的理由。

2 视觉感知：从一帧图像到一份目标清单

图 6-2 视觉感知流水线

2.1 ISP 预处理

图像进入算法前先经过 ISP：去畸变（广角镜头边缘拉伸）、HDR 合成（隧道出入口明暗剧烈变化）、去运动模糊。这步做不好，后面检测网络再强也是“糊图输入”。

2.2 检测网络：找到“是什么”

检测网络（YOLO 系列、DETR 系列、BEV 检测器）在图像上输出一堆候选框 + 类别 + 置信度。后处理用 NMS（非极大值抑制）去掉同一目标上的冗余框，只保留置信度最高的。

2.3 跟踪：给目标稳定的 ID

逐帧检测得到的是“本帧有车”，但决策系统需要“这辆车从哪来、要去哪”。卡尔曼滤波用位置和速度状态预测下一帧目标位置，再与检测框做关联匹配（匈牙利算法/马氏距离），维持目标 ID，输出带速度与轨迹的目标列表。

3 传感器融合：三种架构怎么选

图 6-3 前融合 / 中融合 / 后融合架构对比

前融合（数据级）：把原始点云投影到图像（或反之）再一起送进网络。信息损失最小，但对时空对齐和算力要求极高，工程落地难；

后融合（目标级）：每种传感器各自完成检测，输出目标列表后再做关联融合。算力低、模块解耦好，但融合时信息已经丢过一轮，精度天花板低；

中融合（特征级）：各模态先提特征，再在统一空间（如 BEV 鸟瞰网格）做特征融合，如 BEVFusion。兼顾精度与工程性，是当前量产主流方向。

选择逻辑很朴素：算力充裕、传感器标定质量高，尽量往“前”走；量产成本敏感，BEV 中融合是当前甜点；纯后融合只适合算力极紧的低端方案。

4 时空对齐：融合的前提，也是最大的坑

图 6-4 时间同步与空间配准

4.1 时间对齐

60km/h 的车速下，100ms 时间误差就对应约 3 米位移。融合算法把不同时刻的数据对到一起，结果就是“鬼影”：雷达说车在这、图像说车在那。常用手段：摄像头硬触发采样、雷达/激光自带时间戳并在软件里插值对齐、全车 PTP/gPTP 时钟同步。

4.2 空间对齐（外参标定）

每个传感器安装在车的哪个位置、朝向如何，由外参（旋转 R + 平移 t）描述，通常离线标定。融合时把各传感器坐标统一变换到车辆坐标系（或世界坐标系）。外参标错几厘米，融合目标就会系统性偏移；标定板脏了、安装支架松了，都是隐蔽故障源。

4.3 去畸变与运动补偿

车辆运动时曝光时间内目标相对运动会产生拖影；点云在一帧内也是“扫描出来的”而非同一时刻。按自车速度做运动补偿/去畸变，是中高阶方案的标配。

5 实操：YOLO 检测 + 雷达目标投影关联（简化版）

▍YOLO 检测 + 马氏距离关联（教学简化版）

真实量产代码远不止这些：点云地面分割、聚类、目标聚类关联、卡尔曼增益更新都在这里展开。但核心思想不变——先把多路数据放到同一时间、同一坐标系，再做匹配与融合。

6 常见 Bug 与重难点

7 小结

单一传感器都有物理短板，感知 = 视觉语义理解 + 雷达精确测距 + 融合补全；

视觉流水线：ISP 预处理 → 检测网络 → NMS → 卡尔曼跟踪；

融合三档：前融合信息最全、后融合工程最简、BEV 中融合是当前量产主流；

时间同步（100ms≈3m）与外参标定是融合成败的前提，也是工程事故高发区；

可视化调试是排查融合问题的第一手段。