用 MNN 在 CPU 上跑 AI 推理:阿里端侧推理框架上手记
为什么要关注 MNN?
从零搭建 MNN 环境
模型转换:从 PyTorch 到 .mnn
用 Python 写推理代码
实测延迟:0.033ms 一次推理
MNN 在 AI 部署管线里的位置
和 ONNX Runtime 的简单对比
踩坑记录
总结
系列文章
这是 AI 实操第 4 天。第 2 天导出了 ONNX,今天用阿里开源的 MNN 在纯 CPU 上跑端侧推理,并验证转换后精度不掉。
本文首发地址 https://h89.cn/archives/670.html
项目地址 https://gitee.com/chenjim/cockpit-ai-from-zero
为什么要关注 MNN?
训练好一个 PyTorch 模型,只是万里长征走了一半。真正头疼的是怎么把它塞进手机 App、IoT 设备或者边缘盒子。这些设备没有 GPU,没有 CU