自动驾驶车辆要安全行驶,首先要可靠地感知周围环境。单一传感器各有局限,摄像头怕逆光、激光雷达贵且雨天衰减、毫米波雷达看不清细节。于是,让多种传感器协同工作的多传感器融合技术,成为自动驾驶感知系统的核心方案。
摄像头能提供丰富的颜色与纹理信息,擅长识别交通标志、车道线,但在夜间和强光下表现会下降。激光雷达通过发射激光束测量距离,能精确描绘三维轮廓,却无法分辨物体颜色,成本也偏高。毫米波雷达擅长测速、且不受雨雾影响,但分辨率有限。把它们的数据融合起来,就能让车辆既看清物体的形状位置,又知道它的速度,还能在恶劣天气下保持感知能力,从而大幅提升整体可靠性。
按照数据在哪一步合并,融合可分为三种。前融合把原始数据先对齐再统一处理,信息损失最小但计算量大;后融合让各传感器独立完成目标检测,再在结果层合并,实现简单但容易漏掉弱目标;中融合则介于两者之间,在特征层面进行融合,兼顾信息量与算力。目前量产方案多采用中融合或后融合,而高阶自动驾驶研发则倾向于前融合,追求更高的感知精度。
多传感器融合并非简单叠加,核心难点在于时空对齐,不同传感器的采样频率与安装位置各不相同,要把同一时刻、同一目标的数据对应起来并不容易。此外,传感器之间的冗余与冲突如何处理、系统算力如何分配,也都是工程上需要解决的问题。随着芯片算力提升与算法成熟,融合感知正变得越来越可靠,成为自动驾驶走向量产的安全基石。