理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。
据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。

端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。
通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。

VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。

VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。
简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。
本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
-
比亚迪反向虚标!实测比亚迪秦L满油满电行驶2547公里
5月29日消息,昨晚比亚迪秦L DM-i正式发布,首搭第五代DM混动技术,号称百公里油耗2.9L,满电满油2100公里。而根据媒体实测,这次比亚迪又反向虚标了,有媒体实测
-
理想汽车法务部:有人捏造理想集中上牌后充当二手车出口
6月4日消息,理想汽车法务部今日发布微博,就近日网传信息进行了辟谣,其表示:近日,有网络用户在社交媒体中上传了理想汽车车辆集中存放于大型停车场的照片,并
-
1000公里续航不再焦虑 蔚来150度电池包上线:日租低100元
5月31日消息,蔚来汽车宣布,自6月1日10:00起,蔚来标准续航及长续航电池包用户可按日灵活升级150kwh超长续航电池包,支持一地取、全国还,先用后付。关于价格,
-
特斯拉强对手!乐道L60银色实车曝光:预售21.99万元起
6月3日消息,据媒体报道,乐道汽车全新纯电中型SUV乐道L60,近在网络上曝光了银色实车图片。此前已发布红色和灰色两种配色,加上此次的银色和之前曝光的白色,
-
李想:第三季度理想推无图NOA、晚明年初推L3级自动驾驶
6月8日消息,理想汽车CEO李想今日出席了2024中国汽车重庆论坛并发表演讲。李想表示,去年9月份理想专门建立了一个自动驾驶研究团队,而在过去半年多的时间
-
“曼城太子”球员福登晒出新座驾:一台比亚迪海豹
6月15日消息,早些时候,素有“曼城太子”之称的球员福登更新了社交媒体,晒出了自己喜提新车的照片,并配文称“我喜欢我的新车!” 但不