Overseas access: www.kdjingpai.com
Bookmark Us
Current Position:fig. beginning " AI Answers

如何在本地设备上运行DeepSeek-R1蒸馏模型?

2025-09-10 1.7 K

运行 DeepSeek-R1-Distill-Llama-8B 模型需遵循以下步骤:

  1. 安装 WasmEdge:执行安装脚本 curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash 配置基础环境。
  2. Download model files:获取量化后的 GGUF 格式模型(约 5.73GB),命令为 curl -LO https://huggingface.co/second-state/DeepSeek-R1-Distill-Llama-8B-GGUF/resolve/main/DeepSeek-R1-Distill-Llama-8B-Q5_K_M.ggufThe
  3. 获取 API 服务器:下载预编译的 Wasm 应用 llama-api-server.wasm,确保跨平台兼容性。
  4. Starting services:结合模型文件运行服务器,指定模板(–prompt-template llama-3-chat)和上下文大小(–ctx-size 8096)。
  5. interaction test:通过浏览器访问 localhost:8080 或发送 curl 请求验证功能,例如提问「法国的首都是哪里?」。

此流程充分利用 Wasm 的轻量级特性,避免复杂依赖项,适合资源受限的设备。

Recommended

Can't find AI tools? Try here!

Just type in the keyword Accessibility Bing SearchYou can quickly find all the AI tools on this site.

Top

en_USEnglish