端到端新突破:「蒸馏」一下性能提升100%!北理工计算机学院出品
CVPR 2024最佳论文
贾浩楠 发自 副驾寺智能车参考 | 公众号 AI4Auto
既省资源,又提升效率的不可能任务,真能在端到端自动驾驶上实现!
今年计算机顶会CVPR 2024入选论文中,来自北京理工大学计算机学院团队,拿出了一项“全球首次”的成果:
“蒸馏”一下,端到端自动驾驶系统性能,直接提升一倍左右。
而且这样的提升,完全不以牺牲系统可靠性或增加成本为代价。
就是既要又要。
解决了什么问题
自动驾驶技术体系,现在流行端到端,以前则是模块化的结构。但无论是哪种,其实之前一直有这么一个问题没解决:
Transformer架构为基础的自动驾驶大模型,参数量大,占用计算资源多,部署在资源有限的车端,其实并不是最佳方案。
如果要保证性能,车端计算成本就要增加,而且输出结果的时间也会变长;如果要保证成本和敏捷性,又不得不削减模型规模,导致性能下降。
北京理工大学计算机学院团队提出了一种新的知识蒸馏框架——PlanKD,业内首次实现了端到端规划器在保持较小体量的同时,性能不打折扣:
实验结果中可以看出,相同参数量的端到端规划器,使用PlanKD后性能(驾驶分数)有50-100%的提升。
更详细的实验结果如下:
采用一个52.9Million参数的大模型最为“老师”,带着几个不同规模的“学生”模型,并采用这3个主要的数据作为标准:驾驶分数,路线完成度、违章分数。
实验的基础条件,首先是著名的自动驾驶开源仿真平台CARLA,由英特尔和丰田联合开发,提供基于真实城镇构建的仿真环境和各种不同类型的气候条件,NOA开发必备的工具,也是目前端到端唯一测试平台。
端到端自动驾驶基础模型,使用的是2023年由商汤科技一作提出的InterFuser,一个以Transformer为主要架构的多模态模型。当时InterFuser在CARLA公开排行榜是No.1的水平。
关于商汤多模态大模型和端到端自动驾驶的新进展,智能车参考详细介绍过。
实验的硬件条件,是一块英伟达RTX 3090 GPU。
研发团队在8个不同模拟城镇中分别采用21种不同的天气条件模拟(7个用来训练算法,1个用来测试)。
结果显示,同样参数的InterFuser模型,在有PlanKD的情况下,驾驶分数分平均提高60-100%;路线完成度提升20%左右;违章分数提升25%左右。
同时,碰撞率和违章率都下降了10-60%不等。
以及和规模巨大的“老师”模型比起来,有PlanKD加持的小规模模型,推理时间大大减少。
什么样的方法解决问题
自动驾驶发展这么多年,各种思路、技术、路线层出不穷,但业内专家都会告诉你,自动驾驶干的其实就是一条线:
车辆轨迹的规划路线,各位老司机在使用智驾的过程中肯定深有体会:只要屏幕上的这条线能“甩”过去,那么极大概率就能顺利通过场景,反之就需要人为接管了。
规划的过程,包括了感知、识别、预测等等环节在里面。
北理计算机学院团队的PlanKD,本质是一个“蒸馏器”,把大模型的能力、知识转移给小模型,提高相应性能。
知识蒸馏本身其实是深度学习领域内被广泛应用的方法,但之前从来没应用在端到端自动驾驶上,因为驾驶任务本身具有特殊性。
首先是传感器采集的场景信息中,有大量和驾驶行为本身无关的信息,如果把这些信息也转移给小模型,反而会降低性能。
其次, 输出规划轨迹中的不同路径点,可能对运动规划具有不同程度的重要性,而在某些关键路径点上的轻微偏差可能会导致严重后果。
知识蒸馏改善端到端性能、成本,本身具有很大的潜力,但真的“上车”,主要就得解决上面两个问题。
针对场景中的无关信息,团队设计了一种基于信息瓶颈策略的规划相关信息蒸馏器,只提取与规划相关的信息,而不是不加区别地传输所有信息:
所谓信息瓶颈本质是一种学习方式,在学习一种场景特征时,既能最大限度地降低这个特征与输入之间的相关性,同时最大化它与特定类别之间的相关性。
具体到端到端规划任务上,团队采取的是最小化某一关键特征征与其他中间特征之间的相关性,同时最大化该特征与规划所需的基本事实之间相关性,来推导出重要且必要的规划信息:
其中β是拉格朗日乘数,I(x,x)是相关性,M则是为规划状态数量。Z是学习到的与规划相关的关键特征。
H 和 Yi 分别是第 i 个规划状态的中间特征图和真值的随机变量
对于不同路径点对规划的影响,团队给出了一种以安全为主要考虑因素的路径点知识蒸馏方法:
首先考虑到每个路径点的重要性与驾驶场景的上下文有关,所以需要计算 BEV 场景图像与轨迹中每个路径点之间的注意力权重来确定其重要性。
其次为了提高注意力权重对安全关键情况的意识,还设计了一种安全意识排名损失函数。
获得注意力权重后,将其纳入路径点安全意识损失函数中,用于蒸馏,具体如下:
此外,为了避免学生模型过分专注于重要的路径点而忽略其他路径点,还引入熵损失,以确保更平滑的注意力权重分布。
具体思路就是这样。
这篇CVPR 2024顶会论文的意义其实可以这么理解:
知识蒸馏方法首次“上车”,应用在自动驾驶领域;
PlanKD本身能提高自动驾驶安全可靠性;
为资源有限的车端大模型部署提供了一个解决方案。
论文地址:https://arxiv.org/abs/2403.01238
- 比亚迪三十年庆,王传福:1000亿投入智能化2024-11-29
- 华为智驾首次上车比亚迪!38万元硬派越野车标配端到端2024-11-12
- 小鹏也背叛纯电了!增程首秀续航1400公里,自研智驾芯片亮相,还给老用户搞硬件升级2024-11-07
- 奥迪确认用华为智驾:问界阿维塔同款,纯燃油实现「有路就能开」2024-11-04