理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。
据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。

端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。
通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。

VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。

VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。
简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。
本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
-
3699元!理想商城上架智能儿童安全座椅:车机互联、360° 旋转
5月19日消息,理想商城日前上架一款好孩子智能儿童安全座椅(小童版),适配MEGA/L系列车型,售价3699元。据介绍,使用车机蓝牙连接儿童座椅,可通过车机屏幕控制通
-
百公里亏电油耗2.9升 比亚迪第五代DM混动发布:三个全球之
5月28日消息,在正在进行中的“比亚迪第五代DM技术暨秦L、海豹06上市”发布会上,王传福宣布比亚迪第五代DM混动技术正式发布,首搭于全新的秦L D
-
理想L9出事故司机质疑LCC 官方人员回应:手动接管方向盘致退出
6月5日消息,今日话题#理想L9出事故司机质疑LCC#登上微博热搜。据悉,5月底,一女子驾驶理想L9在杭州机场高速上行驶时出了事故,她表示当时开了LCC,也就是车道
-
累计销量超33万台!比亚迪4月销量公布:同比增长38.2%
6月2日消息,比亚迪今日发布了5月的销量报告。据悉,比亚迪在5月的销量表现亮眼,共售出331,817辆汽车,其中乘用车销量达到330,488辆,同比增长38.2%。2024年1
-
比亚迪:秦L订单很多很多 担心对行业震动太大 决定先不发数据了
6月10日消息,比亚迪秦L、海豹06是近极受关注的两款车,百公里油耗2.9L、满电满油续航2100公里,被称为“工业奇迹”。这两款车于5月28日正式上市
-
蔚来连续6年现身J.D. Power榜单:质量与魅力指数“双冠王”背后发生了什么
6月6日,消费者洞察与市场研究机构领导者J.D. Power发布2024中国新能源汽车新车质量研究,蔚来凭借ES8、ET5/ET5T分别荣获豪华纯电动车市场质量第一和中型