安装和部署Hunyuan-A13B需要以下步骤和系统配置:
系统要求:
- Python 3.10或更高版本
- 推荐使用NVIDIA A100等高性能GPU(16GB以上显存)
- 支持PyTorch 2.5.1和Hugging Face Transformers库的环境
安装步骤:
- 克隆GitHub仓库:
git clone https://github.com/Tencent-Hunyuan/Hunyuan-A13B.git
cd Hunyuan-A13B - 安装依赖库:
pip install torch==2.5.1 transformers
pip install -r requirements.txt - 下载模型权重(可选不同版本):
huggingface-cli download tencent/Hunyuan-A13B-Instruct
- 设置环境变量:
export MODEL_PATH="tencent/Hunyuan-A13B-Instruct"
- 使用示例代码加载模型并运行推理
本答案来源于文章《Hunyuan-A13B:高效开源大语言模型,支持超长上下文和智能推理》