如何正确安装和部署Tifa-Deepsex-14b-CoT模型？

2025-09-10

3.5 K

安装部署Tifa-Deepsex-14b-CoT需要分步骤完成：

1.モデルのダウンロード

访问Hugging Face平台(https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT)，根据硬件配置选择适配的量化版本(Q4_K_M.gguf等)。安卓用户可下载官方Demo APK。

Python 3.8以上の環境
安装核心依赖库:
pip install transformers huggingface-hub
如需GGUF格式需编译llama.cpp:
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make

Transformers加载方式:
from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "ValueFX9507/Tifa-Deepsex-14b-CoT" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name)
GGUF格式运行:
./main -m 模型文件.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "提示词"