运行 DeepSeek-R1-Distill-Llama-8B 模型需遵循以下步骤：
- 安装 WasmEdge：执行安装脚本
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash配置基础环境。 - 下载模型文件：获取量化后的 GGUF 格式模型（约 5.73GB），命令为
curl -LO https://huggingface.co/second-state/DeepSeek-R1-Distill-Llama-8B-GGUF/resolve/main/DeepSeek-R1-Distill-Llama-8B-Q5_K_M.gguf。 - 获取 API 服务器：下载预编译的 Wasm 应用
llama-api-server.wasm，确保跨平台兼容性。 - 启动服务：结合模型文件运行服务器，指定模板（–prompt-template llama-3-chat）和上下文大小（–ctx-size 8096）。
- 交互测试：通过浏览器访问 localhost:8080 或发送 curl 请求验证功能，例如提问「法国的首都是哪里？」。
此流程充分利用 Wasm 的轻量级特性，避免复杂依赖项，适合资源受限的设备。
本答案来源于文章《LlamaEdge：本地运行和微调LLM的最快捷方式》
未经允许不得转载：AI生产力工具 » 如何在本地设备上运行DeepSeek-R1蒸馏模型？
简体中文 
English 
日本語 
Deutsch 
Português do Brasil