在 NIO IN 2024 蔚来创新科技日上，蔚来发布了基于AI核心底层能力打造的全新「Banyan 3 智能系统」。
其中基于大语言模型「NOMI Agents 多智能体框架」， NOMI再次进化，更加拟人的交互，升级为独当一面的得力助手，有温度的情感伙伴。
蔚来方面表示“加速座舱体验从「单点功能」向「主动智能」进化”。8 月下旬，全新 Banyan 3 智能系统将向用户推送首个版本。
资料显示，NOMI更新了包括停车助手、守卫模式、服务管家等六大新技能。主要得益于NOMI Agents多智能体架构，让NOMI 可以学会使用工具，比如调用搜索、导航和预约服务；根据任务的复杂性和时间跨度，NOMI 能够进行复杂的规划和编排，并建立与任务相关的短时和长时记忆，从而可以演化出更多的创新服务应用，并让服务场景更自然，更主动和具情感化。
可以观察到，各大车企纷纷加速推动AI大模型在智能座舱的应用，除了上述提到的蔚来，还有理想、小鹏、小米、长城、一汽、吉利、广汽、北汽、奇瑞、智己、极越等等；另外，华为的盘古大模型也开始在几家合作伙伴车型上搭载亮相，一批外资品牌车企也在同步推进。
AI智能座舱已经成为各大车企拼杀的另一大主战场。进入2024年，头部车企现均已推出了搭载大模型的车型，在消费市场形成了一波影响力。
大模型具备语义理解、文本生成、逻辑推理和多模态能力，正在重新定义智能座舱的应用创新与用户体验。
另外有相关技术人士指出，大模型具备深度学习能力，替代掉此前人工设计的规则式技术架构，可自动生成推荐，并通过学习用户行为和习惯、自动扩展新功能、常用常新等特性，可以主力车企降低开发成本和迭代成本，提升迭代效率等等。
可以观察到，众多车企主要先从车载语音助手入手，实现大模型在智能座舱中的落地。
综合来看，可以通过深度学习和自然语言处理技术，大型模型能够更好地理解和解析用户的语音指令，让语音交互升级到自然语言交互为主的交互形态；基于大模型更丰富的知识储备和更强大的语义理解能力，语音系统可进化成功能强大的“管家”和“助手”，推荐更符合用户需求和当前场景的信息和服务，并能进一步构建非常个性化、多元化的各类生成式场景，提供千人千面的个性化服务。
另一方面，模型技术的多模态特点可以基于语音+视觉感知等多模态数据，实现交互模态的升级。
例如理想汽车全自研多模态认知大模型 Mind GPT构建了“三助一师”的设计，座舱AI语音助手“理想同学”进化成专业的用车助手、全能的出行助手、聪明的娱乐助手和实时联网的百科老师；并进一步基于语音融合视觉感知实现了多模态交互，创新的将手势、语音融合交互，使用手势交互隔空操控后排屏幕，手势指代进行车控指令执行，显著提升交互效率。
另外，基于多模态的大模型技术，还能将舱内外各种不同类型的传感器数据融合处理分析，更具细化的了解舱内人员的状态和需求，来提供专业的服务。
小鹏汽车推出的“全域大语言模型”，将AI大语言模型的推理能力深度融合用车全场景，通过联动车内感知系统和车外环境，为用户提供一个可以主动感知并推理需求的贴心车载助理AI小P。
不过目前大模型上车依旧存在难题，例如对算力的高需求、数据传输难点、用户数据获取和数据安全等等。目前的座舱SOC只能支撑一些小模型的运算，尤其是上述提到的大模型海量的数据训练需要大算力自研，对车企来说是依旧是不小的成本压力。
除了车企自研大模型，部分车企选择与具备大模型的供应商合作。如华为、百度、阿里、商汤、科大讯飞、云知声、思必驰等大模型公司和语音大模型供应商也在加速进入赛道。
而在AI智能座舱多模态、沉浸式交互生态模式的发展下，更多的细分赛道也将迎来机会。
比如人脸识别、面部识别等技术，现阶段的人脸识别主要可实现验证驾驶者身份和驾驶者监测、行为分析等。而基于3DToF技术的三维视觉感知、IR 红外传感器技术等的还可实现更精准的识别如手势识别等。例如理想L9采用了3DToF 摄像头+IR 红外传感器用来支持车内的手势控制等功能。长城Coffee OS 3系统最新升级的微动手势交互主要基于IR红外传感器的空间感知微动手势交互技术 Coffee Air Touch。
在AI智能座舱时代，为了进一步打造多维度沉浸式的用户体验，除了如AR-HUD在前挡风玻璃投影显示应用之外，更多的显示应用场景开始被关注。例如除了前挡风玻璃，车内的各类平面都可变为显示屏并实现交互。
甚至还可以基于全息空中显示技术使图像呈现在空气中实现无介质的3D影像效果，让座舱助手形象化为AI虚拟人，甚至可进一步基于传感器可捕捉手的位置以及手势，形成一系列触控反馈，达到全息娱乐座舱的效果。
例如早在2021年吉利汽车就在上海车展成展示过AID-全息空中智能显示系统的智能座舱效果；红旗此前推出的旗境概念舱，由国内供应商像航科技和红旗合作的项目，基于无介质全息技术，浮空投影出红旗的语音机器人。例如吉利科技集团旗下的棱镜全息科技有限公司推出了AID无介质全息空中显示系列产品及HUD系列产品；另外还有消息显示，华为计划明年推出空中成像应用产品。
未来人机交互入口的除了座舱中的显示屏，还会移到车窗玻璃、三维环境和虚拟空间中，呈现多样化和个性化的智能座舱交互场景。
以上都预示着，智能座舱正在进入一个全新的竞争阶段。
