理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。
据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。

端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。
通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。

VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。

VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。
简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。
本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
-
累计销量超33万台!比亚迪4月销量公布:同比增长38.2%
6月2日消息,比亚迪今日发布了5月的销量报告。据悉,比亚迪在5月的销量表现亮眼,共售出331,817辆汽车,其中乘用车销量达到330,488辆,同比增长38.2%。2024年1
-
高续航605km!比亚迪全新车型海豹x信息曝光
6月2日消息,比亚迪海洋网全新车型的续航信息近日曝光。根据工信部发布的《免征车辆购置税的新能源汽车车型目录(第六批)》,这款预计命名为”海豹X"的
-
余承东:超低价格卷不过比亚迪 华为善于在智能化、安全、豪华上卷
6月2日消息,余承东在2024未来汽车先行者大会谈起价格战时表示,“现在智能电动网联汽车中,全世界“Number One(第一)”的卷王应该是比亚迪&r
-
来和仰望比越野!比亚迪高管李云飞回怼余承东:欢迎华为跟我们卷技术
6月6日消息,近日,比亚迪品牌及公关处总经理李云飞在直播中表示,欢迎华为来卷技术。针对余承东“比亚迪卷价格华为卷价值”的言论,李云飞在直播
-
理想今年走量车型:全新L6累计交付超2万台
6月8日消息,据理想汽车官方发布,截止目前,旗下全新中大型无座SUV理想L6已经交付2万台,随着产能爬坡,预计6月产能可超2万台。理想L6定位家庭豪华五座SUV,是理
-
李想:第三季度理想推无图NOA、晚明年初推L3级自动驾驶
6月8日消息,理想汽车CEO李想今日出席了2024中国汽车重庆论坛并发表演讲。李想表示,去年9月份理想专门建立了一个自动驾驶研究团队,而在过去半年多的时间