https://my-blog-p39q.vercel.app/tags/llm/ Recent content in LLM on huluhuluu Hugo -- gohugo.io zh Thu, 26 Feb 2026 23:00:00 +0800 https://my-blog-p39q.vercel.app/p/mnn-tutorial/ Thu, 26 Feb 2026 23:00:00 +0800 https://my-blog-p39q.vercel.app/p/mnn-tutorial/ <h1 id="mnn端侧部署教程">MNN端侧部署教程 </h1><p>本教程介绍 <a class="link" href="https://github.com/alibaba/MNN" target="_blank" rel="noopener" >MNN</a> 端侧推理部署的完整流程，从环境配置到核心概念讲解，再到 LLM 部署实践。</p> <h2 id="教程概览">教程概览 </h2><table> <thead> <tr> <th>阶段</th> <th>内容</th> <th>文章数</th> </tr> </thead> <tbody> <tr> <td>环境配置</td> <td>远程调试、交叉编译</td> <td>2 篇</td> </tr> <tr> <td>核心概念</td> <td>Backend、工厂模式、核心类</td> <td>3 篇</td> </tr> <tr> <td>MNN-LLM</td> <td>配置、加载、推理</td> <td>3 篇</td> </tr> </tbody> </table> <hr> <h2 id="1-环境配置">1. 环境配置 </h2><p>搭建端侧开发调试环境的完整指南。</p> <table> <thead> <tr> <th>文章</th> <th>说明</th> <th>状态</th> </tr> </thead> <tbody> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/remote-adb/" >远程ADB环境配置</a></td> <td>通过端口转发链路，让内网服务器直连本地手机</td> <td>✅ 完成</td> </tr> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/cross-compiler/" >交叉编译环境配置</a></td> <td>Android NDK 配置、Clangd 配置、远程调试</td> <td>✅ 完成</td> </tr> </tbody> </table> <hr> <h2 id="2-核心概念">2. 核心概念 </h2><p>深入理解 MNN 框架的设计理念与核心组件。</p> <table> <thead> <tr> <th>文章</th> <th>说明</th> <th>状态</th> </tr> </thead> <tbody> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/introduce-backend/" >Backend 介绍</a></td> <td>CPU/OpenCL/Vulkan 等后端的作用和选择</td> <td>✅ 完成</td> </tr> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/introduce-factory/" >工厂模式介绍</a></td> <td>MNN 中工厂模式的设计与应用</td> <td>📝 TODO</td> </tr> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/introduce-core-class/" >核心类介绍</a></td> <td>VARP、Expr、Op 等关键类的设计</td> <td>🚧 WIP</td> </tr> </tbody> </table> <hr> <h2 id="3-mnn-llm">3. MNN-LLM </h2><p>端侧大语言模型部署实践。</p> <table> <thead> <tr> <th>文章</th> <th>说明</th> <th>状态</th> </tr> </thead> <tbody> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/llm-config/" >LLM 配置</a></td> <td>模型配置、量化配置</td> <td>📝 TODO</td> </tr> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/llm-load/" >LLM 加载流程</a></td> <td>模型文件到推理就绪的完整过程</td> <td>📝 TODO</td> </tr> <tr> <td><a class="link" href="https://my-blog-p39q.vercel.app/p/llm-infer/" >LLM 推理流程</a></td> <td>Token 处理、KV Cache 管理</td> <td>📝 TODO</td> </tr> </tbody> </table> <hr> <h2 id="相关链接">相关链接 </h2><ul> <li><strong>MNN 官方仓库</strong>：<a class="link" href="https://github.com/alibaba/MNN" target="_blank" rel="noopener" >alibaba/MNN</a></li> <li><strong>MNN 文档</strong>：<a class="link" href="https://mnn-docs.readthedocs.io/" target="_blank" rel="noopener" >mnn-docs</a></li> <li><strong>问题反馈</strong>：<a class="link" href="https://github.com/huluhuluu/MNN-TUTORIAL/issues" target="_blank" rel="noopener" >GitHub Issues</a></li> </ul>