理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
7月5日消息,理想在今晚的智能驾驶夏季发布会上宣布,正式启动端到端+VLM的早鸟计划。
据介绍,端到端大的特点就是取掉了NPN,不依赖于先验信息,可以真正实现全国都能开,有导航就能开。

端到端模型则更进一步,通过传感器将数据输入模型,就能直接输出行驶轨迹。
通过车内的端到端和大模型部署,可以让自动驾驶快速处理,延迟更低、上限更高,用户所能感受到整套系统的动作、决策更加拟人。

VLM则是视觉语言模型,整体算法架构是由一个统一的Transformer模型组成,将Prompt(提示词)文本进行Tokenizer(分词器)编码,然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码,通过图文对齐模块进行模态对齐,统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹,并传递给系统1控制车辆。

VLM会时时刻刻思考当前的驾驶环境,给系统1合理的驾驶建议,同时系统1也可以在不同场景下调用不同的Prompt问题,主动向系统2进行求助,帮助系统1解决部分场景。
简单来说,VLM可以让车辆具有思考能力,让自动驾驶的操作更像人类老司机的处理方式。
本文链接:http://www.vogav.com/v3562.html理想正式启动端到端+VLM的早鸟计划:让自动驾驶成为老司机
-
苹果新iPad Pro同源 理想汽车:我们早就用上了双层串联OLED屏幕
5月15日消息,日前苹果发布了新款iPad Pro,其搭载了层串联OLED屏黑科技,然而这项技术并不是苹果首发,今日,理想汽车发布消息称,自己早就搭载了双层串联OLED屏
-
百公里油耗不到一杯奶茶钱 王传福:世界先进的插混技术都在中国
5月29日消息,比亚迪董事长王传福表示,全球插混进入中国时刻。今年4月,中国品牌在全球插混市场占比已达70%。日前,比亚迪发布第五代DM技术,开创油耗“2
-
消息称比亚迪拿下特斯拉储能电池订单:年均价值约35亿元
6月5日消息,特斯拉上海储能工厂有新进展了!据“晚点Auto”报道,比亚迪子公司弗迪电池已在今年3月与特斯拉达成上海储能工厂的供货协议,将于明年
-
2.9L油耗!第五代DM技术加持下比亚迪新车销量喜人:实测让人印象深刻
6月4日消息,近日,比亚迪第五代DM混动技术正式发布,2.9升百公里亏电油耗吸引了太多用户围观。为了测试真实性,有博主全称直播了比亚迪新秦L满油满电续航,跑
-
高续航605km!比亚迪全新车型海豹x信息曝光
6月2日消息,比亚迪海洋网全新车型的续航信息近日曝光。根据工信部发布的《免征车辆购置税的新能源汽车车型目录(第六批)》,这款预计命名为”海豹X"的
-
全球销量好的25款车型排名出炉!比亚迪3款上榜 特斯拉Model Y第一
6月14日消息,近日,汽车数据分析机构Jato Dynamics发布报告称,随着比亚迪为首的国产汽车品牌热销,中国品牌汽车去年销量首次超过美国汽车品牌,排名全球第三