安装部署Tifa-Deepsex-14b-CoT需要分步骤完成:
1. downloads de modelos
访问Hugging Face平台(https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT),根据硬件配置选择适配的量化版本(Q4_K_M.gguf等)。安卓用户可下载官方Demo APK。
2. preparação ambiental
- Python 3.8+环境
- 安装核心依赖库:
pip install transformers huggingface-hub
- 如需GGUF格式需编译llama.cpp:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
3) Carregamento do modelo
- Transformers加载方式:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "ValueFX9507/Tifa-Deepsex-14b-CoT"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name) - GGUF格式运行:
./main -m 模型文件.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "提示词"
Essa resposta foi extraída do artigoTifa-Deepsex-14b-CoT: um modelo grande especializado em interpretação de papéis e geração de ficção ultralongaO