在3月18日的NVIDIA GTC 2025上,理想汽车自动驾驶技术研发负责人贾鹏发表了主题为《VLA:迈向自动驾驶物理智能体的关键一步》的演讲,并发布了理想汽车的下一代自动驾驶架构——MindVLA。
理想汽车董事长兼CEO李想当日在社交平台发文称,“MindVLA是一个视觉-语言-行为大模型,但我们更愿意将其称为“机器人大模型”,它将空间智能、语言智能和行为智能统一在一个模型里,让自动驾驶拥有感知、思考和适应环境的能力,是我们通往L4路上最重要的一步。”他还表示,MindVLA能为自动驾驶赋予类似人类的驾驶能力,就像iPhone 4重新定义了手机,MindVLA也将重新定义自动驾驶。
据介绍,MindVLA不是简单地将端到端模型和VLM模型结合在一起,所有模块都是全新设计。3D空间编码器通过语言模型后,和逻辑推理结合在一起后,给出合理的驾驶决策,并输出一组action token(动作词元),action token指的是对周围环境和自车驾驶行为的编码,并通过diffusion(扩散模型)进一步优化出最佳的驾驶轨迹,整个推理过程都要发生在车端,并且要做到实时运行。
从用户体验方面来看,有MindVLA赋能的汽车不再只是一个简单的驾驶工具,而是一个能与用户沟通、理解用户意图的智能体。能够听得懂、看得见、找得到,是一个真正意义上的司机Agent或者叫“专职司机”。
所谓“听得懂”是用户可以通过语音指令改变车辆的路线和行为,MindVLA能够理解并执行“开太快了”“应该走左边这条路”等这些指令。“看得见”是指MindVLA具备强大的通识能力,不仅能够认识星巴克、肯德基等不同的商店招牌;当用户在陌生地点找不到车辆时,可以拍一张附近环境的照片发送给车辆,拥有MindVLA赋能的车辆能够搜寻照片中的位置,并自动找到用户。“找得到”意味着车辆可以自主地在地库、园区和公共道路上漫游,其中典型应用场景是用户在商场地库,可以跟车辆说:“去找个车位停好”,车辆就会利用强大的空间推理能力自主寻找车位,即便遇到死胡同,车辆也会自如地倒车,重新寻找合适的车位停下,整个过程不依赖地图或导航信息,完全依赖MindVLA的空间理解和逻辑推理能力。
对于人工智能领域而言,汽车作为物理人工智能的最佳载体,未来探索出物理世界和数字世界结合的范式,将有望赋能多个行业协同发展。