海外からのアクセス:www.kdjingpai.com
Ctrl + D このサイトをブックマークする
現在の場所図頭 " AIアンサー

如何在本地设备上运行DeepSeek-R1蒸馏模型?

2025-09-10 1.7 K

运行 DeepSeek-R1-Distill-Llama-8B 模型需遵循以下步骤:

  1. 安装 WasmEdge:执行安装脚本 curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash 配置基础环境。
  2. モデルファイルのダウンロード:获取量化后的 GGUF 格式模型(约 5.73GB),命令为 curl -LO https://huggingface.co/second-state/DeepSeek-R1-Distill-Llama-8B-GGUF/resolve/main/DeepSeek-R1-Distill-Llama-8B-Q5_K_M.gguf.
  3. 获取 API 服务器:下载预编译的 Wasm 应用 llama-api-server.wasm,确保跨平台兼容性。
  4. サービス開始:结合模型文件运行服务器,指定模板(–prompt-template llama-3-chat)和上下文大小(–ctx-size 8096)。
  5. 相互作用試験:通过浏览器访问 localhost:8080 或发送 curl 请求验证功能,例如提问「法国的首都是哪里?」。

此流程充分利用 Wasm 的轻量级特性,避免复杂依赖项,适合资源受限的设备。

おすすめ

AIツールが見つからない?こちらをお試しください!

キーワードを入力する アクセシビリティこのサイトのAIツールセクションは、このサイトにあるすべてのAIツールを素早く簡単に見つける方法です。

トップに戻る

ja日本語