最晚明年上半年落地L3：理想端到端自动驾驶，性能大幅提升

golang学习网今天将给大家带来《最晚明年上半年落地L3：理想端到端自动驾驶，性能大幅提升》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习科技周边或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

最近一段时间，生成式 AI 技术兴起，众多造车新势力都在探索视觉语言模型与世界模型的新方法，端到端的智能驾驶新技术似乎成为了共同的研究方向。上个月，理想汽车发布了端到端 + VLM 视觉语言模型 + 世界模型的第三代自动驾驶技术架构。此架构已推送千人内测，将智能驾驶行为拟人化，提高了 AI 的信息处理效率，增强了对复杂路况的理解和应对能力。李想曾在公开的分享中表示，面对大部分算法难以识别和处理的罕见驾驶环境，VLM（Visual Language Model）即视觉语言模型可以系统地提升自动驾驶的能力，这种方法从理论上实现了突破。

新一代的自动驾驶系统大幅提高了能力上限 —— 让 AI 可以应对很多过去难以解决的情况，也降低了门槛 —— 减少了技术研发团队规模的需求，有望让更多人在不久的将来获得大幅提升的体验。
这一套自动驾驶技术架构受诺贝尔奖得主丹尼尔・卡尼曼（Daniel Kahneman）快慢系统理论的启发，在自动驾驶领域模拟人类的思考和决策过程也需要「快系统」与「慢系统」进行协同。其中：
・    快系统（系统 1）善于处理简单任务，是人类基于经验和习惯形成的直觉；在自动驾驶中以端到端大模型构成，包含感知与规划，足以应对驾驶车辆时 95% 的常规场景。
・    慢系统（系统 2）是人类通过更深入的理解与学习形成的逻辑推理、复杂分析和计算能力；在自动驾驶系统中主要是 VLM 模型，它在驾驶车辆时用于解决复杂甚至未知的交通场景，占日常驾驶的约 5% 场景。
上周，在理想汽车北京研发总部举行的活动中，理想汽车智能驾驶副总裁郎咸朋强调，目前理想的智能驾驶已经全面切入端到端 + 大模型方案，这让车辆已能够理解复杂路况和交通规则。
「不论端到端还是传统感知决策模型，都需要大量数据进行训练。一个潜在问题是，如果遇到没见过的场景，系统就不能很好的工作，」郎咸朋表示。「我们正在探索让车辆像人一样思考和决策的能力。」

理想汽车北京总部。

自去年下半年起，理想开始调整战略，转换轨道。今年 2 月，在清华大学交叉信息研究院、理想汽车提交的 DriveVLM 论文中，研究人员应用最近生成式 AI 领域兴起的视觉语言模型（VLM），在视觉理解和推理方面表现出了非凡的能力。

在业界，这是第一个提出自动驾驶快慢系统的工作，其方法充分结合了主流自动驾驶 pipeline 和具备逻辑思考的大模型 pipeline，并第一个完成了端测部署的大模型工作（基于英伟达 Orin 平台）。

DriveVLM 系统

DriveVLM 包含一个 Chain-of-Though (CoT) 流程，具有三个关键模块：

1. 场景描述：用语言描述驾驶环境并识别关键对象。
2. 场景分析：深入研究关键对象的特征及其对自我车辆的影响。
3. 分层规划：从元动作和决策描述到路径点逐步制定计划。

这些模块对应于传统自动驾驶系统流程中的感知、预测和规划组件，差异在于它们处理对象感知、意图级预测和任务级规划的能力，这些过去是极具挑战性的。

技术验证

理想验证技术在长尾场景有效性：

• 拆解真实环境数据
• 利用生成模型补充新视角
• 自定义改变天气、时间、车流等条件

实际应用

理想汽车的端到端模型和 VLM 模型实时运行：

• 端到端模型：帧率较高
• VLM 模型：参数量较大，帧数较低

在复杂城市场景中，VLM 在无法决策的情况下发挥作用，向端到端模型传递决策结果和轨迹。

端到端方法

端到端方法成为技术分水岭，标志着真正使用 AI 的开始。

新一代 AI 模型

新一代 AI 模型可担任出题人：

• 筛选出达到专车司机标准用户的数据作为「真题」
• 结合世界模型生成「模拟题」

算力挑战

VLM 等模型部署在车端面临算力挑战：

• 保持参数量最优
• 优化工程以提升决策时延

竞争展望

特斯拉 FSD 即将进入国内，智能驾驶领域进入新竞争阶段：

• 理想汽车目标：端到端 + VLM 自动驾驶量产交付

本篇关于《最晚明年上半年落地L3：理想端到端自动驾驶，性能大幅提升》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！