理想暴雨测智驾,端到端+VLM上车,车主:求更新!
“领先无图一个时代”?
一凡 发自 副驾寺
智能车参考 | 公众号 AI4Auto
「自动驾驶」的上限有多高?
李想用一段视频回答了这个问题。
在宣布三年高考…啊不是,在宣布“三年L4,明年L3”后,李想再度发声谈自动驾驶,分享了团队的最新进展,还特别强调了背后的技术范式:
端到端+VLM (视觉语言模型)。
暴雨测智驾,效果挺意外
刚刚,李想发布了一段理想测试智驾系统的视频。
可以看到,即使在暴雨中,显示的车道线仍然非常清晰,系统还对场景情况进行了简述。
驾驶决策也很果断,嫌前车太慢,直接就是一个变道:
右转过路口比较顺畅,过弯就避让:
车主一整个期待住了,求快更新:
在视频中,测试者还特别强调,“真的没有用到图”。
因此视频所展示的,很可能就是还在内测阶段的理想无图NOA,目前测试范围扩大至一万人,预计将于今年三季度正式推送。
对此,有理想智驾团队成员转发微博称,理想端到端+VLM技术“超越无图一个时代”。
很多网友也是对此表示震撼,点赞理想的智驾进展:
实际落地,是否有网友们说的这么夸张,目前还不得而知。
但从公开成果来看,理想近期确实在智能驾驶方面,取得了一些不错的进展。
来,咱们一起扒一扒。
理想汽车近期的重要工作
理想汽车近期在智能驾驶方面有三项重要进展,先来看感知层:
理想联合中山大学,提出了一个名为UA-Track的3D多对象跟踪框架。
该框架主要是针对自动驾驶感知中的不确定性问题进行了优化,比如目标对象尺寸过小,或是被遮挡,造成跟踪不准确。
框架主要包括三个关键组件:
- 不确定性感知概率解码器(Uncertainty-aware Probabilistic Decoder), 简称UPD。引入了概率注意力机制,来捕获目标预测中的不确定性。
- 不确定性引导的查询去噪策略(Uncertainty-guided Query Denoising),简称UQD。在训练阶段模仿实际跟踪过程中,目标可能会受到的遮挡和观测误差,增强模型对不确定性的鲁棒性和收敛性。
- 不确定性降低的查询初始化(Uncertainty-reduced Query Initialization),简称UQI。利用预测的2D对象位置和深度信息来减少查询不确定性,提高初始对象定位的准确性。
这三个模块组成了一个端到端的系统,从输入图像直接生成跟踪结果。最终整体还会平衡损失函数,实现整体性能的最优化。
UA-Track在nuScenes(多模态3D自动驾驶数据集)基准测试中取得了最先进的性能,测试集上的AMOTA(平均多目标跟踪精度)达到了66.3%,比之前最好的端到端解决方案提高了8.9%。
这是理想在感知层取得的最新成果,此外,理想还联合清华大学等单位,进行了TOD3Cap工作,提出了一种对象级的稠密图文对数据的生成方案。
可以对3D场景下的每个对象,生成详细的自然语言描述。同时还开源了一个室内外数据集。
相比这两项工作,可能另一项工作DriveVLM大家更熟悉些,也是理想和清华的合作成果。
李想近日在出席重庆论坛时提到过,将人类快慢思考引入到AI算法中,整个自动驾驶系统一分为二:
传统的感知、预测、规划,这种模块化的范式对应第一类系统,是智能体基于人为手动写好的规则,就像人根据直觉和应急变化,做出快速反应。
不需要复杂的过程,应对常见场景没问题,响应迅速,需求算力也不高。
但是,很显然解决不了无穷无尽的Corner Case,怎么办?
这就需要借助第二类系统VLM,具备一定的通识能力,通过端到端的场景理解,识别物体和预测,进行决策和轨迹规划。
算力消耗大,需要更长的推理时间,好处是能够处理复杂场景,以及从未见过的长尾场景。
这些重要工作,为理想实现智能驾驶突破,提供了技术底层支撑。
通过测试视频,看起来理想下一阶段的智驾能力很不错。
当全面推送后,考虑到理想汽车的保有量,想必能力也会较快速的迭代,更上一层楼。
当然,具体能力会达到什么水平,还是要「上路见真章」。
什么时候,全国推送?
参考链接:
理想暴雨测智驾:https://weibo.com/1243861097/OiI9G30X8
清华MARS Lab解析DriveVLM:https://zhuanlan.zhihu.com/p/692173066?utm_psn=1784386450537615360
论文传送门:
UA-Track: Uncertainty-Aware End-to-End 3D Multi-Object Tracking
https://arxiv.org/pdf/2406.02147
TOD 3Cap: Towards 3D Dense Captioning in Outdoor Scenes
https://arxiv.org/pdf/2403.19589
DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
https://arxiv.org/pdf/2402.12289
- All in端到端后元戎获7亿融资,被曝长城独投!用L2+直达Robotaxi2024-11-05
- 大模型安全PK,怎么就让车厂拿了一等奖?2024-11-01
- 宁德时代给增程车提速:400公里大电池,4C超充,钠离子上车2024-10-31
- 1周载客15万单,Waymo跑出Robotaxi商业化最佳成绩2024-10-31