理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。
据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。
端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。
通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。
VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。
VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。
简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。
本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
-
4月中国市场豪华品牌销量前十公布:问界均价39.8万跻身前五
5月27日消息,相较于理想和蔚来,很多人并不认为问界是豪华品牌,但实际上问界的成交均价已经仅次于路虎和奔驰,超过了宝马和奥迪,这样都不算豪华品牌的话,那么
-
比亚迪新车百公里2.9L改写全球汽车油耗史 股价暴涨超8%
5月29日消息,昨晚,比亚迪震撼发布了第五代DM技术。这一技术的发动机热效率高达46.06%,百公里亏电油耗低至2.9升,综合续航能力达到惊人的2100公里。王传福
-
理想纯电SUV车型M8效果图曝光:理想造型总监亲自盖章认证
5月31日消息,近日有博主发布了理想规划中的纯电SUV车型M8的效果图,而这些设计图得到了理想造型总监Ben的认可,其表示“好看”。在效果图中可以
-
数万网友见证!博主直播比亚迪秦L实测续航:3天行驶1977公里
6月2日消息,日前,博主“向北不断电”进行了比亚迪秦L满油满电实测续航直播。实测续航的直播路线为陕西到深圳,全程1800多公里,终经过三天的实测
-
李想:第三季度理想推无图NOA、晚明年初推L3级自动驾驶
6月8日消息,理想汽车CEO李想今日出席了2024中国汽车重庆论坛并发表演讲。李想表示,去年9月份理想专门建立了一个自动驾驶研究团队,而在过去半年多的时间
-
全球销量好的25款车型排名出炉!比亚迪3款上榜 特斯拉Model Y第一
6月14日消息,近日,汽车数据分析机构Jato Dynamics发布报告称,随着比亚迪为首的国产汽车品牌热销,中国品牌汽车去年销量首次超过美国汽车品牌,排名全球第三