把 Agent 塞进舱驾融合平台：座舱端侧大模型全链路设计

• 1. 背景与目标
  • 1.1 背景
  • 1.2 目标
  • 1.3 非功能约束（硬指标）
• 2. 算力与资源预算
  • 2.1 平台画像（高通 8397/8797）
  • 2.2 平台选型：高通 8397/8797（主选）vs NVIDIA Orin（对照）
  • 2.3 部署形态：舱驾一体融合（主推）或 AI Box（备选）
  • 2.4 资源预算分配（按部署形态区分）
    • 形态 A：舱驾一体融合（64GB 共享，主推）
    • 形态 B：AI Box 独立形态（32GB 专属，备选）
• 3. 总体架构
  • 3.1 架构分层
  • 3.2 现代座舱 Agent 八大能力（NVIDIA 的定义）
  • 3.3 核心数据流（一次完整交互）
• 4. 模型选型与专有化策略
  • 4.1 2026 开源模型对比（区分端侧候选与云端对照）
  • 4.2 专有模型路线（车载必须专有化）
  • 4.3 模型规模选择矩阵
  • 4.4 视觉感知：模型与专有数据集策略
• 5. 推理引擎
  • 5.1 引擎选型
  • 5.2 推理优化措施
• 6. Agent 运行时
  • 6.1 编排框架（三级分级：规则 / 轻量模型 / 7B）
  • 6.2 语义理解 → 车控执行的完整链路（安全闭环）
  • 6.3 上下文管理
  • 6.4 流式输出与打断
• 7. 工具与技能系统
  • 7.1 工具分类与注册表
  • 7.2 车控工具抽象
  • 7.3 技能扩展机制
• 8. 云服务网关
  • 8.1 职责边界
  • 8.2 混合编排（按 NVIDIA 三要素）
  • 8.3 网关实现
• 9. 记忆系统
  • 9.1 记忆分层
  • 9.2 向量库选型
  • 9.3 主动服务触发
• 10. 交互与安全
  • 10.1 语音链路
    • 链路分层与延迟预算
    • 关键设计点
    • 架构路线：级联为主，端到端可选
  • 10.2 多模态（双轨架构：确定性检测器 + 按需 VLM）
  • 10.3 安全机制
• 11. 性能指标与验证
  • 11.1 端到端指标
  • 11.2 验证路径
• 12. 风险与落地节奏
  • 12.1 风险清单
  • 12.2 落地节奏（P0~P3 只是阶段代号）
  • 12.3 还没定的事
• 参考来源

平台基线：高通骁龙 8397/8797（Hexagon NPU 320 TOPS 稠密，舱驾融合 64GB 共享）｜网络策略：本地优先，信息类任务经云服务网关｜文中数据出处见文末参考来源 本文首发地址 ：https://h89.cn/archives/690.html

1. 背景与目标

1.1 背景

智能座舱交互正从"规则指令式"（意图分类 → 触发动作）转向 agentic、多模态的推理与规划系统。端侧大模型上车这事，数据已经很硬：

• 2026 年 2 月车载 AI 大模型安装量同比 +135.1%，渗透率同比 +173.6%，30+ 大模型上车
• ABI Research：agentic AI 车辆从 2025 年约 500 万辆增长到 2035 年 7000 万辆
• 头部车厂（理想、蔚来、吉利、小米）都已构建服务于汽车的专用模型，而不是直接拿通用大模型来用

但"上大模型"和"上得好"是两回事。真上车之后，预算怎么算、模型怎么选，每一层都有坑。这篇把一套完整方案的账摊开算。

1.2 目标

在 8397/8797 级座舱算力上，实现全链路本地化 Agent：

1. 本地承载 7B~13B 级 LLM 推理（多轮对话、工具调用、任务规划）
2. 融合多模态（语音、舱内/车外摄像头、车辆遥测）
3. 与云端 agent 协同完成信息类任务，断网自动降级为纯本地
4. 满足车规级延迟、内存、安全、隐私约束

1.3 非功能约束（硬指标）

2. 算力与资源预算

2.1 平台画像（高通 8397/8797）

与智驾芯片 8797 同一颗物理 Die（锁核区分 SKU，行业口径）：8397 锁掉部分 ADAS 核专注座舱，8797 开放全核支持舱驾融合（座舱 + L2+/L3 ADAS）。本文主推融合形态，对应 8797 全核配置。

2.2 平台选型：高通 8397/8797（主选）vs NVIDIA Orin（对照）

结论：本文选 8397/8797 为主选平台——座舱原生旗舰（8295 升级线）、与智驾芯片同 Die 天然支撑舱驾融合、端侧大模型量产节奏更快（神行者 8 中国首批、滴水 AIOS 2.1 全局适配、30B MoE 官宣）。Orin 的优势在大规模量产历史与 CUDA 工具链成熟度，作为对照保留。端侧 LLM 实际体验还取决于内存带宽、工具链成熟度与量化支持，得实测了才算数（P0 阶段双向基准）。下文按 8397/8797 展开；真换了 NVIDIA 平台，动的是推理引擎层，Agent 架构不用重来。

2.3 部署形态：舱驾一体融合（主推）或 AI Box（备选）

形态决策：EE 架构向中央计算收敛，本文主推 舱驾一体融合。NVIDIA 官方给出三种 EE 架构（AI Box 独立 ECU / Thor 多域融合 / + MediaTek Dimensity AX 中央计算），高通线对应 8797 全核融合（与 8397 同 Die）；本方案落在 8797 / Thor 类融合平台，理由如下：

• 单芯片承载座舱 Agent + 智驾 + 安卓娱乐，少一块 ECU、少布线散热，硬件成本与 EE 架构更简
• 芯片内共享内存通信，摄像头/音频无需跨以太网编码转发，时延更低
• 算力与模型上限更高（8797 开放全核；Thor 支撑 13B+，小米 YU7 700 TOPS 等已量产），Agent 能力增长空间大
• 行业趋势：EE 架构向中央计算收敛，舱驾融合是主流方向

决策矩阵（融合 vs AI Box）：

适用边界：融合方案要求 64GB 共享内存起步，须依赖 Hypervisor 的 QNX/Linux VM 隔离（高通 Gunyah / NVIDIA DriveOS 7）保证智驾与座舱 Agent 的 FFI（freedom from interference），且涉及 EE 架构变更、认证周期长。若短期内不打算动 EE 架构（存量平台、快速量产、AI 独立升级节奏），AI Box（独立 ECU，32GB 专属）仍是稳妥备选。

2.4 资源预算分配（按部署形态区分）

先说结论：本方案主推舱驾一体融合，64GB 共享内存起步（同芯片跑大模型 + 安卓娱乐 + 智驾）；32GB 专属内存仅适用于 AI Box 独立形态，作为不动 EE 架构的备选。

形态 A：舱驾一体融合（64GB 共享，主推）

形态 B：AI Box 独立形态（32GB 专属，备选）

融合形态合计约 51~60.5GB，64GB 是融合下限，须与 IVI/智驾域协商静态内存分区，并在量产前用内存基准验证；若选 Thor 128GB 配置则余量充足。32GB 下强行融合不可接受（模型 OOM、App 被杀、首 token 延迟劣化），故融合形态不做 32GB 方案。

3. 总体架构

3.1 架构分层

分层说明：交互层（语音 ASR/TTS · 屏幕/仪表/HUD · 舱内摄像头 · 按键）→ Agent 运行时（意图路由 → 规划 → 工具调用 → 执行 → 反思的 ReAct 循环，会话状态/策略引擎/流式输出与打断）→ 推理引擎（QNN + AI Hub 边缘/云侧）→ 能力层（车控/导航/媒体/记忆 RAG/云服务网关）→ 安全层（行车锁 · 敏感操作二次确认 · 出车数据白名单 · 护栏）。

3.2 现代座舱 Agent 八大能力（NVIDIA 的定义）

3.3 核心数据流（一次完整交互）

4. 模型选型与专有化策略

4.1 2026 开源模型对比（区分端侧候选与云端对照）

表 A：端侧候选基座（可量化上车，7~14B 档）

老一代蒸馏/小模型（DeepSeek-R1 蒸馏 7B/14B、GLM-4-9B、Llama-3.3-8B）还能跑，但能力已被 2026 新代际（Gemma 4 / Qwen 3.5~3.6 / Phi-4）甩开，直接出局。

表 B：云端对照模型（数据中心级，无法车机端运行，仅作云端信息任务/能力对标）

端侧可行性判断标准：量化后权重 + KV Cache 必须落在 Agent 域内存预算内（<15GB）。GLM-5.2、Nemotron 3、DeepSeek-V4-Flash、Kimi K3（2.8T）均超 100GB，不可上车。

选型结论：端侧候选锁定 Gemma 4 12B / Qwen 3.5 9B / Phi-4 14B 三基座，统一实测后决策（按 <500ms 首响应、>30 tok/s、工具调用准确率三指标排序）；Qwen 3.6-27B 因量化后超内存预算，留作云端信息任务与 Thor 旗舰平台对照；DeepSeek-V4-Flash 作为云端信息任务模型的强候选（MIT 开源、成本低、Agent 强）。Qwen2.5、DeepSeek-R1 蒸馏那批已经过时，别再当基线了。

4.2 专有模型路线（车载必须专有化）

直接拿通用模型糊不上座舱体验，理想 Mind GPT、蔚来 NOMI GPT、吉利 EVA、小米 MiMo 都是先例。专有化路径：

微调数据来源（三类）：

工具链：通用开源微调栈（LLaMA-Factory / axolotl / Unsloth），训练与推理框架解耦，不绑定厂商生态；量化走 QNN 转换工具链（AI Engine Direct 校准）或 llama.cpp 通用量化。

4.3 模型规模选择矩阵

4.4 视觉感知：模型与专有数据集策略

结论：检测类任务（车外人/物提醒、车内滞留提醒）必须车型/场景专有数据集，但模型不需要"大模型"，用轻量专用检测器就够了；VLM 只负责语义理解。

要点：

• 检测器输出结构化为事件（谁/在哪/持续多久）注入 Agent 上下文，供 LLM 组织话术。LLM 不做原始视觉判断
• 安全关键功能（滞留告警）禁止直接依赖 VLM 概率输出；检测器连续 N 帧确定触发 + VLM 确认，超时后告警
• 数据闭环：误报/漏报样本 OTA 回流，增量训练检测器

5. 推理引擎

5.1 引擎选型

5.2 推理优化措施

• 量化：INT8（首选，实测精度损失通常 <1%）/ AWQ 低比特（内存吃紧时）；走 QNN 量化转换工具链（AI Engine Direct 校准）；整体指标口径：精度损失 ≤5%，按工具调用成功率、车控意图准确率、拒答率分别评测
• KV Cache 管理：PagedAttention 式分配、会话级复用（同驾驶时段热启动）
• Prefill/Decode 分离：批量 prefill + 流式 decode，保证首 token 低延迟
• 并发控制：单用户低并发场景（1-2 路），预留 50% GPU 余量给 VLM/ASR 突发
• 模型加载：常驻内存（Agent 常开），支持模型热切换（OTA 升级不重启系统）

6. Agent 运行时

6.1 编排框架（三级分级：规则 / 轻量模型 / 7B）

采用通用开源 agent 编排框架（首选 LangGraph；备选 AutoGen / 自研轻量编排，按座舱资源约束选型，需支持流式输出、工具调用、断点恢复且运行时开销 <200MB），实现三级分级推理架构：

• 降级链：L0 → L1 → L2 逐级升级，7B 只处理 L1 覆盖不了的场景，多数模糊表达被 L1 吃掉（省算力省电）
• L1 的边界：单轮、上下文无关的语义落位可以胜任；一旦依赖会话历史、车辆状态推理、记忆（如"和上次一样"、"宝宝睡着了"叠加场景判断）或需规划多工具，L1 置信度低 → 升级 L2
• ReAct 循环：Thought → Action → Observation 迭代，最大 5 轮工具调用，超时/超轮强制收敛（仅 L2）
• 策略引擎：工具级权限（读/写）、超时、频控、驾驶状态锁：三级都过，安全一致

6.2 语义理解 → 车控执行的完整链路（安全闭环）

核心原则：LLM 只输出"意图"，不直接执行任何车控动作；执行权在策略引擎与车控服务。 语义理解按复杂度分级：单轮模糊表达由 L1（1B 级轻量模型）承担；需推理/规划/记忆/多轮的场景由专有微调 7B LLM 承担（车载 SFT 后，通用模型在车控场景不可用：工具调用格式不稳定、车控术语理解差、存在幻觉调车风险）。

7B LLM 的完整价值清单：

ROI 说明：三级分级后，单轮模糊表达由 L1（1B，~1GB 内存）吃掉，7B 只处理真正需要推理/规划/记忆/多轮的场景（占交互量的比例暂按 20~40% 假设，需用真实交互日志校准）。这条分界线，就是"智能座舱 Agent"和"传统语音助手（精确指令匹配）"的区别。砍掉 7B 只剩传统方案+单轮模糊，撑不起多轮、规划、主动服务；反过来让 7B 干 L0/L1 的活，也是浪费。每级只干自己不可替代的活。

契约示例（LLM 输出 → 策略引擎输入）：

{
  "tool": "climate.set",
  "params": {"target_temp": 24, "zone": "driver", "unit": "celsius"},
  "confidence": 0.92,
  "confirmation_required": false
}

策略引擎校验点（每一条都可能导致拒绝/降级）：

为什么语义理解必须专有模型（L1 与 L2 均需领域适配）：

1. L1（1B 级）：意图分类+槽位提取需车载语料微调（车控术语、表达习惯），通用开源模型车控域准确率不足；但无需 7B 级，限定域单轮任务 1B 足够
2. L2（7B）：Function Calling 输出格式须与工具注册表 schema 严格对齐（通用模型格式漂移率高）
3. L2：多意图拆解与歧义消解（"凉快一点"依赖车辆上下文）需要领域化训练
4. L2：安全边界（哪些操作需确认、哪些场景拒绝）通过微调 + 提示词双层固化，Guardrail 兜底

6.3 上下文管理

6.4 流式输出与打断

• 流式 TTS（边生成边播放），首音频 <500ms
• 语音打断（barge-in）：麦克风 VAD 检测到新指令 → 停止生成 → 重置上下文指针
• 生成中工具执行结果以"语音+屏幕卡片"双通道呈现

7. 工具与技能系统

7.1 工具分类与注册表

7.2 车控工具抽象

• 统一 Vehicle Control Service 接口（gRPC/共享内存），屏蔽 CAN/以太网差异
• 状态只读工具：立即响应；状态写工具：须过策略引擎（行车锁 + 二次确认 + 权限）
• 危险操作（解锁、天窗、运动模式）强制语音复述确认

导航/音乐不是另一套逻辑，只是另一个执行服务。 语音控导航、切歌和调空调走同一条管线：三级路由 → 意图 JSON → 策略引擎 → 工具调度器 → 对应服务。区别在两处：执行服务不同（导航走导航 SDK、媒体走播放服务，只有车控走 Vehicle Control Service）；策略分级不同——行车锁主要约束车控写操作，"导航到 X"是行车刚需不锁，付费内容才需要二次确认。策略引擎是统一闸门，规则按工具类型差异化，频控、ACL、护栏对所有域一视同仁。

7.3 技能扩展机制

• 技能 = 工具组合 + 触发模板 + 提示词片段（如"回家模式"= 导航+空调+音乐）
• 新技能通过 OTA 下发 manifest 注册，无需升级模型

8. 云服务网关

8.1 职责边界

• 原则：LLM 推理默认本地；仅"信息获取"类任务按白名单出车
• 出车数据最小化：只发送查询词与必要上下文（位置 token 化、去标识化），车况/隐私数据不出车

8.2 混合编排（按 NVIDIA 三要素）

8.3 网关实现

• 车云通道：5G 模块 + 主机厂云端（私有协议/HTTP），鉴权 + 端到端加密
• 超时阈值：2s 内未返回即切换降级路径
• 可用性：网关故障不影响本地全部能力

9. 记忆系统

9.1 记忆分层

9.2 向量库选型

• Embedding 模型：本地 1B 级（或量化小模型），文档切块 + 去重 + 过期策略
• 隐私生命周期：记忆默认存本地；用户可一键清除；迁移（换车/换账号）走加密导出，云端仅存画像摘要（可选）

9.3 主动服务触发

• 事件触发：工作日早晨通勤时间 → 预热导航、播报天气路况
• 遗忘检测：VLM 周期性检查舱内是否有宠物/儿童遗留（停车断电场景）
• 电量/保养临界 → 主动建议充电站/预约维保

10. 交互与安全

10.1 语音链路

先说结论："录制 wav → 一次性识别为文字"是非流式方案，只适合调试/离线兜底；量产语音交互必须流式管线（边说边识别、边生成边播放），否则首反馈延迟撑不住。

链路分层与延迟预算

关键设计点

架构路线：级联为主，端到端可选

• ASR 模型：本地常驻（<1GB，INT8），支持中英混说；车型专属微调数据 = 车噪环境 + 口音 + 车载术语（数据闭环模式见视觉感知章节）
• 全链路断网可用：本地 ASR → 本地 LLM → 本地 TTS

10.2 多模态（双轨架构：确定性检测器 + 按需 VLM）

关键原则：检测类任务（车外人/物靠近、车内儿童/宠物滞留）用轻量专用检测器（YOLO11/12 级，毫秒级、低功耗、确定性强），不用大模型；VLM 仅用于语义理解与确认。

• 两级确认：滞留告警 = 检测器连续 N 帧检出（确定触发）→ VLM 语义确认（降低误报）→ 声光告警 + App 通知；VLM 确认超时或不可用（断电、模型未加载）时不阻塞告警，直接按检测器结果触发
• 专有数据集是必需品：车内布局各车型差异大，通用数据集迁移效果差，必须车型专属数据（同视觉感知章节的数据策略）
• 摄像头数据仅在本地推理，不上云

10.3 安全机制

11. 性能指标与验证

11.1 端到端指标

11.2 验证路径

1. 实验室：引擎基准 + 模拟器（SIL）
2. 台架：真实 SoC + 传感器接入（HIL）
3. 实车：长测（驾驶场景、断网隧道、噪音环境）

12. 风险与落地节奏

12.1 风险清单

12.2 落地节奏（P0~P3 只是阶段代号）

12.3 还没定的事

1. 微调基座最终锁定：取决于第一阶段实测（Gemma4-12B vs Qwen3.5-9B vs Phi-4-14B；Qwen3.6-27B 仅云端/旗舰对照）
2. 融合平台落地细节：8797 全核（高通线）还是 Thor（NVIDIA 线），取决于主机厂既有智驾方案与 EE 架构节奏；AI Box 仅作"不动 EE 架构"的过渡选项
3. QNN 端侧 LLM 实际体验（内存带宽/工具链/量化支持）：中科创达 30B MoE 已官宣，但公开基准有限，P0 实测后定
4. 语音链路自研 vs 采购（Cerence/科大讯飞等）：影响 ASR/TTS 模块边界

参考来源

• 高通骁龙座舱至尊版（Cockpit Elite / Ride Elite 官方页）：https://www.qualcomm.com/automotive/products/elite
• 中科创达 RazorDCX Sylvania 规格（320 TOPS 稠密 / 272GB/s，CES 2026）：https://www.thundersoft.com/thundersoft-new-gen-ai-domain-control-released-at-ces-2026/
• 中科创达滴水 AIOS 2.1 适配 8397/8797 + 30B MoE 端侧推理（2026-05 投资者关系）：https://www.9fzt.com/detail/sz_300496_9_f7738f8b4b59d3a27eec931c5b9a26d0.html
• 神行者 8 搭载骁龙 8397（IT之家）：https://m.ithome.com/html/934657.htm
• NVIDIA 端侧 Agent 指标口径（<500ms 首 token、>30 tok/s，行业通行定义）：https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
• NVIDIA TensorRT Edge-LLM（JetPack 7.1，备选引擎）：https://developer.nvidia.com/blog/accelerating-llm-and-vlm-inference-for-automotive-and-robotics-with-nvidia-tensorrt-edge-llm/
• NVIDIA DRIVE Orin 官方规格（对照平台）：https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/
• ABI Research agentic AI 车辆预测（2025→2035）：https://developer.nvidia.com/blog/how-to-build-in-vehicle-ai-agents-with-nvidia-from-cloud-to-car/
• 车载 AI 大模型安装量/渗透率（2026.2 知乎行业月报）：https://zhuanlan.zhihu.com/p/2035663796484712331
• 吉利 200 TOPS AI Box 跑 7B（媒体报道）：https://finance.sina.com.cn/（2026-04-26，原文复核时抓取失败，以官方/实测为准）
• 小米 YU7 Thor 700 TOPS：https://www.xiaomiev.com/pilot