理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。
据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。

端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。
通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。

VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。

VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。
简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。
本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
-
李想:目前L系列订单持续增长 理想不考虑降价
5月20日消息,今天理想发布财报,截至3月31日的2024年第一季度财报:总营收为256亿元,同比增长36.4%,环比下滑38.6%。官方表示,2024年第一季度,汽车交付总量为80
-
全球唯一!比亚迪插电混动车用上12V磷酸铁锂电池:车电同寿
5月28日消息,作为汽车重要的零部件之一,启动电池的作用不可或缺,在燃油车时代,启动电池普遍使用铅酸蓄电池。这种电池寿命不长,一般使用2-3年就得更换,而且
-
曝蔚来汽车获准在国内建设第三家工厂:总产能将突破100万辆
6月5日消息,据报道,三位知情人士透露,蔚来汽车已获批在中国建设第三家工厂。该工厂的批准产能为60万辆,三家工厂总产能将增至100万辆,几乎与特斯拉上海工厂
-
欧盟宣布拟对中国电动车加征高38.1%的关税!比亚迪吉利上汽在列 宝马公开反对
6月12日消息,欧盟拟从下个月起对自中国进口的电动汽车高加征38.1%的额外关税。欧盟委员会6月12日发布公告称,如无法与中方达成解决方案,加征关税将于7月4
-
全球首座蔚来第四代换电站上线:第一次给了乐道L60
6月13日消息,就在今日,全球首座蔚来第四代换电站正式上线,这座换电站的第一次换电任务给了蔚来子品牌首车乐道L60。不止如此,第四代站支持多品牌、多车型
-
蔚来秦力洪:电动车电池寿命15年 但蔚来车主的电池是永生的
6月14日消息,第十六届中国汽车蓝皮书论坛于6月14日-16日在北京举行,主题为“想象”,蔚来联合创始人、总裁秦力洪出席并演讲。秦力洪表示,根据今