2024年12月20日,由科技出行产业智库与创新服务平台亿欧汽车主办的GTM2024第七届科技出行大会暨科技出行产业创新榜发布会在上海漕河泾万丽酒店成功举办。
本次活动主题为“开启AIEV元年”由亿欧汽车倾力打造,意在产业创新的坐标系中,积极推动以AI数字智能为代表的新质生产力与汽⻋工业与出行产业加速融合,促进深度融合人工智能技术的新一代AI出行终端AI EV加速到来。
基于亿欧汽车对智能电动汽车与科技出行产业的长期洞察与研判,此次大会将围绕AI与EV两大产业生态,聚焦具身智能、大模型、端到端自动驾驶、固态电池、车规级芯片、新能源商用车、超级补能、车路云一体化等细分话题,并携手汽车出行产业上下游代表企业、机构、跨界科技公司等共话行业发展图景,见证即将到来的AI应用的群星闪耀时刻。
在本届大会上,星河智联CPO彭璐发表了题为《AI技术助推座舱出行空间的数智化演进》的主题演讲。她认为,随着大模型时代的到来,智能座舱正在经历一场革命性的变革,这场变革不仅推动了智能座舱技术的发展,也为用户的出行体验带来了质的飞跃。
附嘉宾金句海报
以下为亿欧汽车整理的分享实录,供行业人士参考:
尊敬的各位同仁,上午好。我是来自星河智联的彭璐。我今天分享的内容分为三个部分:大模型时代智能座舱的发展趋势、大模型智能座舱领域的探索,以及场景上的一些创新产品。
首先,大模型的发展推动智能座舱迎来一个类似IPHONE时刻。它结合座舱空间,整合了各种模态交互方式,包括语音交互、视觉感知以及触屏操作。这样的智能汽车即将迎来其IPHONE时刻。
智能座舱体验已成为用户购车的一个重要因素。行业调研报告显示,80%的用户,尤其是年轻用户,认为智能化是他们选购汽车的重要因素。67%的用户选择新能源国产车正是因为智能化体验给他们带来了良好的感受,而80%的用户认可AI在产品上的应用成果。
智能座舱体验正从量变走向质变。我们从被动智能过渡到现在的AI大模型时代。车机交互不仅能够听话、听到、看懂、听懂,AI技术还深化了智能座舱的发展。我们正朝着AI语言助力、多模态AI助手和智能体的方向发展,并将进入集中调度的多模态智能体阶段。
接下来,我将分享我们在技术方面的进展。星河智联围绕智能座舱架构,将能力层通过大模型平台融合理解、生成、记忆能力,并与应用场景和技能结合,如导航服务、娱乐服务、车控服务和生态扩展服务。我们在网上构建类人的交互,能够听、看、思、答,并与整个座舱结合,拓展更多场景,打造更智能的第三空间。
基于大模型与座舱的结合,我们打造了能服务于汽车交互的大脑。这个交互大脑能够实现对话的深度理解、统一调度、知识融入和多风格对话生成。今年,我们也把端侧大模型融入座舱系统,在端侧大模型的加持下,我们可以实现自由对话。在离线情况下,也能让对话更快、更实时地响应用户,同时在隐私方面更好地保护用户隐私安全。
云端大模型的融入,还可以通过实时搜索获取更开放的知识和实现更复杂的逻辑推理。在云端大模型和智能交互系统上,我们实现了全场景自由说和复杂理解,提升了多意图理解能力,包括短句多意图和长句多业务的理解,以及上下句的贯穿打传生态服务。用户可以根据自己的意图和方法,在不同的业务上跳转,获得闭环服务。我们还支持技能说法的泛化,通过现有技术实现云泛化,让大模型帮助我们更好地理解更多的语音语意上的泛化技术。
在云端大模型和生态服务结合方面,我们可以实现各种生态服务的闭环,包括出行、导航等服务的打通。围绕娱乐场景,我们可以通过娱乐咨询、跳转到贯穿娱乐服务,如体育赛事直播。在汽车相关控制方面,我们可以提供车辆亮点介绍、功能帮助、维修保养、故障排除的协助,并通过实时搜索帮助用户更快获取实时咨询、热门信息、百科问答。
我们通过端侧大模型实现本地语义增强,提高自然度、响应速度,并在本地处理更多用户数据以及理解用户意图,同时保护用户在驾驶过程中的行为和隐私安全。在多模态融入智能交互方面,我们可以通过识别用户身份、性别、年龄来提供个性化交互,以及融合手势和视线的多模态交互。
在星河智联围绕大模型融入座舱的具体创新场景和应用方面,我们也有一些成果向大家分享。今年7月18日,星河智联对外正式发布了我们的FLOW·源大模型座舱系统。我们对AI的产品理念是现代人生活节奏快,忙碌得像机器,我们希望AI能够反哺人类,关怀人类,共情人类,提高共情效率,让我们的生活多出一个小时。我们围绕这样的产品理念,在座舱人机交互和场景交互使用方面实现了拟人化的场景,全场景自由说,多场景学习进化,多风格对话,以及超拟人的TTS和全场景交互。以前在车里面听音效需要调复杂的均衡器,现在可以用大模型理解能力和生成能力,设置匹配听音乐的音效。我们还推出了移动车载KTV,让每个用户在每个座位上都可以成为麦霸。
在娱乐场景中,我们推出了AI童趣模式功能,让用户与汽车共创绘本故事,让妈妈的声音给孩子讲故事,识别孩子的声音,视觉可以看到孩子的性别年龄,让整个交互过程充满童趣。在出行场景中,我们可以通过一句话找到美食美景,寻找美好生活。用户可以询问上海这两天有什么好玩的、有什么演唱会、有什么活动,我们可以通过大模型关联到相应的服务和购票网站,生成匹配用户行程的方案。路上看到不认识的都可以问,比如前面的车是什么车,旁边的建筑物是什么建筑物,给我们介绍一下。通过对用户行为数据的理解,我们可以预测主动推荐用户上车后的目的地,并找到最快最便捷的到达路线。
聊完了车与娱乐场景、亲子场景和出行场景的结合,我们再聊聊与车本身结合应该产生什么样的更好体验。首先,我们现在车辆的感知能力、交互能力已经很强,车上装了很多雷达、摄像头、传感器,但这些感知到的信息以前用不起来,因为没有一个像人类大脑一样的聪明大脑。有了大模型之后,就像给车一个聪明的大脑,我们可以判断决策,比如在车里面说一句我想安静一会,以往就是关窗户,现在可以知道窗户有没有关,是车外面吵还是车里面音乐声音大,然后给你一个情境的自动交互。
第二点是用车帮助用户获得便捷。我们看到一些用户数据,很多用户面对智能汽车按钮越来越少的情况下,会主动询问这台车自动驾驶要怎么用,ABC怎么打开,座椅哪里调,后视镜怎么关闭和开启。还有新奇功能的介绍,功能操作位置,故障排查和车辆状况查询,我们把用户手册和车企的知识库融入到我们的知识库里面,调度车辆各种服务和控制位置,给用户各种解答,帮助他解决车辆问题,让他不慌不忙驾驶自己的智能汽车。最后结合我们的场景,现在车里面有很多用户官方场景或是自定义场景,以前用这些场景是界面里面设置,对普通用户来说这样的操作有一定的学习成本。而现在我们有了这种语言理解能力,以及我理解之后打通车辆的原子化服务的能力,当用户说心情好的时候你帮我设置一个趣味的模式,这句话它能听懂,是不是有一些轻松的音乐、愉悦的氛围,或是座椅的调节,让用户在车里面最大化地设置他自己想要的场景模式。
刚才聊完了与车的结合,我们再看看职场人士最经常高频的场景,即每天在车上开会接电话。我们可以通过电话语音通话在线会议录制我们的声音,以及本地进行转写生成会议待办,把生成的会议纪要和工作待办不会因为刚才开车或分心遗忘重要的事情。还有我们大模型的生成能力与座舱结合,让座舱成为一个用户可以个性化创作的空间,比如我今天车上开车的时候路上看到风景,在车里面跟朋友一起大笑的画面,和跟孩子创作的绘画都可以变成车辆的壁纸、车辆的声音,甚至车辆里面的视频,让用户在这台车里面可以享受创作的时刻。
最后,我想分享一点我们今年在智能座舱AI能力方面取得的成绩。星河智联的座舱搭载广汽昊泊车型,获得整个国家级A+级认证。这个认证是从四个维度、7项关键能力、23项二级指标对学习能力、理解能力、对话能力、地理信息协同能力、第三方应用调度能力,包括前面有专家讲地对用户的一些历史信息、个性化识别和个人信息调取能力很多项目上都得到了满分。这是我们星河智联在智能座舱AI能力成果的一个来自行业权威机构的认证和肯定。后面星河智联也会围绕智能化向行业里面推出更好的产品和解决方案。