如何安装和配置 DeepCoder-14B-Preview 的运行环境？

DeepCoder-14B-Preview 安装指南

要使用 DeepCoder-14B-Preview，需要按照以下步骤配置环境：

硬件要求

• 推荐使用 NVIDIA H100 或至少 24GB 显存的显卡
• 也可以使用 CPU 运行，但速度会慢很多

软件环境准备

1. 创建 Python 3.10 环境：conda create -n deepcoder python=3.10 -y
2. 激活环境：conda activate deepcoder
3. 安装依赖库：pip install transformers torch huggingface_hub vllm

模型下载

1. 访问 Hugging Face 官方页面：https://huggingface.co/agentica-org/DeepCoder-14B-Preview
2. 在”Files and versions”中找到模型文件
3. 使用命令下载：huggingface-cli download agentica-org/DeepCoder-14B-Preview --local-dir ./DeepCoder-14B

模型加载

使用以下 Python 代码加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "./DeepCoder-14B"
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_path)

本答案来源于文章《DeepCoder-14B-Preview：擅长代码生成的的开源模型》