首页 > 汽车

理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机

2024-07-09 07:30:58
15
来源:

7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。lrMVOGAV创新无限-科技改变未来,开启智能新时代vogav.com

本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机

标签:
声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com。天上从来不会掉馅饼,请大家时刻谨防诈骗
相关文章