理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。
据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。
端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。
通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。
VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。
VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。
简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。
本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
-
100公里只要2.9升油!9.98万的比亚迪秦L让车企老板们睡不着了
不知道大家看没看昨天晚上的比亚迪发布会? 我给大家省流:开超位魔法,总得吟唱一番吧?比亚迪这次可不是掀桌子啊,而是把凳子都给你踹了,就差把人撵出门了。这
-
李斌:蔚来第三品牌不代表廉价车 不会做七八万的车
5月16日消息,蔚来已于昨日晚间正式发布了第二品牌乐道,今日上午,蔚来董事长李斌、蔚来总裁秦力洪,乐道汽车总裁艾铁成接受媒体采访。蔚来总裁秦力洪透露,除
-
共计充电738339度!理想汽车发布端午假期充电报告
6月13日消息,理想汽车发布了端午假期超充站的充电报告,展示了其充电网络的高效服务能力。在为期三天的假期中,理想汽车用户累计行驶了1.5亿公里,其中纯电
-
理想汽车回应车主账号被锁无法用车:程序误伤了车主 已恢复登录
6月12日消息,近期,一位理想MEGA车主在网上发帖称,自己的账号忽然被理想社区管理员锁定,导致手机蓝牙钥匙无法解锁车辆。车主还解释道,他在理想APP没有发布
-
涵盖辅助驾驶、智能泊车等:理想全系车型推送新版本OTA升级
理想汽车L系列和理想MEGA车型的OTA 5.2.1版本已开始推送,预计一周内完成。此次升级涵盖高速智能驾驶、辅助驾驶、智能泊车、人机交互、AI理想同学、绘
-
比亚迪李云飞:中国汽车的全球地位还曾不如中国足球
6月12日消息,比亚迪集团-品牌及公关处总经理李云飞日前发文表示,在昨晚的U19足球比赛中,中国队的青年们战胜了韩国队,祝贺他们。李云飞称,曾几何时,中国汽车