Acesso no exterior: www.kdjingpai.com
Ctrl + D Marcar este site como favorito
Posição atual:fig. início " Respostas da IA

如何在本地设备上运行DeepSeek-R1蒸馏模型?

2025-09-10 1.7 K

运行 DeepSeek-R1-Distill-Llama-8B 模型需遵循以下步骤:

  1. 安装 WasmEdge:执行安装脚本 curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash 配置基础环境。
  2. Baixar arquivos de modelo:获取量化后的 GGUF 格式模型(约 5.73GB),命令为 curl -LO https://huggingface.co/second-state/DeepSeek-R1-Distill-Llama-8B-GGUF/resolve/main/DeepSeek-R1-Distill-Llama-8B-Q5_K_M.gguf.
  3. 获取 API 服务器:下载预编译的 Wasm 应用 llama-api-server.wasm,确保跨平台兼容性。
  4. Início dos serviços:结合模型文件运行服务器,指定模板(–prompt-template llama-3-chat)和上下文大小(–ctx-size 8096)。
  5. 交互测试:通过浏览器访问 localhost:8080 或发送 curl 请求验证功能,例如提问「法国的首都是哪里?」。

此流程充分利用 Wasm 的轻量级特性,避免复杂依赖项,适合资源受限的设备。

Recomendado

Não consegue encontrar ferramentas de IA? Tente aqui!

Basta digitar a palavra-chave Acessibilidade Bing SearchA seção Ferramentas de IA deste site é uma maneira rápida e fácil de encontrar todas as ferramentas de IA deste site.

voltar ao topo

pt_BRPortuguês do Brasil