标签 ONNX 下的文章

车载语音指令识别:SNPE 转换与真机部署实测记录

本文记录了车载语音指令识别模型从ONNX到SNPE DLC再到INT8量化的完整真机部署实测过程,详细梳理了脚本变量覆盖、库路径缺失、校准数据预处理不一致等六大踩坑问题,并在骁龙8 Elite(SM8750)手机上完成CPU与GPU推理验证。结果显示FP32 CPU输出与x86一致,INT8模型压缩3.65倍,但DSP因SDK与芯片驱动不兼容失败,最终以GPU作为兜底方案。适合关注端侧AI部署、模型量化及高通SNPE工具链的开发者参考。

- 阅读全文 -

车载语音指令识别:从 44% 到 96% 的调优之路

本文完整记录了基于 PyTorch、MLflow、ONNX 与 SNPE 构建车载语音指令识别管线的端到端实践,使用 Speech Commands v2 数据集训练 35 类分类模型,并部署至车机芯片。文章重点分享了从 44% 到 96% 的调优过程与踩坑经验,涵盖模型训练、实验追踪、格式转换及推理优化等关键环节,为车载座舱语音交互场景提供了一套可复用的工程落地方案。

- 阅读全文 -

零基础上手:高通 SNPE 模型转换实战(从 ONNX 到 DLC)

本文详细记录了高通SNPE(骁龙神经处理引擎)模型转换的完整实战过程,手把手教你将PyTorch导出的ONNX模型转换为骁龙平台专用的DLC格式。内容涵盖SNPE/QAIRT SDK下载与环境配置、核心工具使用、DLC格式结构解析、CPU/GPU/DSP/HTP四类后端选择,并通过x86 CPU推理验证了转换后模型与ONNX Runtime结果完全一致。同时总结了Python版本不兼容、onnx版本限制、系统库依赖缺失、Padding无符号整数溢出等典型踩坑案例及解决方案,适合正在做高通平台端侧AI部署的开发者参考。

- 阅读全文 -

小白用 TensorRT 给模型加速:ONNX 转 Engine 踩坑实录

本文面向AI实操新手,详细记录将ONNX模型编译为TensorRT Engine的完整踩坑过程。内容涵盖TensorRT 11.x API重大变更、FP16/INT8精度转换新流程、Windows环境安装注意事项、三层架构核心概念,以及FP32与FP16精度模式对比。文章通过菜谱与名厨的生动比喻,解释算子融合、精度校准、自动调优等加速原理,并附ONNX转Engine的具体代码步骤,帮助读者绕过常见报错,在GPU上实现模型高效推理加速。适合初学者快速上手TensorRT。

- 阅读全文 -

用 MNN 在 CPU 上跑 AI 推理:阿里端侧推理框架上手记

本文记录了阿里开源端侧推理框架MNN在纯CPU环境下的完整上手过程:从源码编译环境搭建、将PyTorch模型经ONNX转换为MNN格式,到使用Python Module API编写推理代码。实测MNIST模型推理延迟仅0.033毫秒,准确率99%无损,并对比了与ONNX Runtime的定位差异,总结了算子融合、内存预分配等性能优化手段及踩坑经验,为端侧AI部署提供实用参考。

- 阅读全文 -

MLflow 实验追踪:从入门到上手

本文深入介绍了MLflow实验追踪工具在PyTorch模型训练中的实际应用,从安装配置到核心概念(实验、运行、模型注册表、Tracking Server)逐一解析。通过MNIST分类任务演示了如何记录超参数、指标与模型制品,对比多组实验并注册最佳模型到Model Registry。文章还分享了使用MLflow 3.14版本的踩坑经验,包括Python文件命名、pt2格式兼容性、局域网访问限制等问题,帮助读者快速上手实验管理,提升调参效率与团队协作能力。

- 阅读全文 -

把 PyTorch 模型变成 ONNX:导出、验证和可视化一次学会

本文详细讲解如何将PyTorch训练好的CNN模型导出为ONNX通用格式,涵盖torch.onnx.export核心用法、dynamic_axes动态轴设置、onnx.checker模型校验,以及使用ONNX Runtime验证推理结果与PyTorch一致。同时介绍用netron可视化模型结构,解析算子、数据形状与参数含义,并分享importlib加载模块、model.eval()、onnxscript安装等实操踩坑经验。适合希望掌握跨框架模型部署与格式转换的深度学习开发者。

- 阅读全文 -

零基础用 PyTorch 识别手写数字:MNIST 实战入门

本文面向零基础初学者,手把手讲解用 PyTorch 实现 MNIST 手写数字识别的完整流程:从搭建 Python 虚拟环境、安装深度学习框架,到理解数据集、卷积神经网络、损失函数与优化器等核心概念,并逐行解读训练代码。通过 5 轮训练即可获得准确率超过 95% 的模型,同时分享灰度图通道数、数据加载、进度条等常见踩坑经验,帮助读者快速跑通第一个深度学习实战项目。

- 阅读全文 -