O processo completo de implementação do modelo 7B consiste em três etapas principais:
- Configuração do ambientePara obter informações sobre o ambiente Python 3.8+, são necessárias as bibliotecas PyTorch e transformers (
pip install torch transformers), é recomendável usar GPUs que suportem precisão FP16, como a NVIDIA A100/A800, garantindo pelo menos 15 GB de memória de vídeo - Aquisição de modelos::
- Clonagem de repositórios do GitHub:
git clone https://github.com/ECNU-ICALK/EduChat.git - Faça o download do arquivo de modelo do Hugging Face:
huggingface-cli download ecnu-icalk/educhat-sft-002-7b
- Clonagem de repositórios do GitHub:
- Carregamento do modeloInicialize o sistema de diálogo usando o seguinte código Python:
from transformers import LlamaForCausalLM, LlamaTokenizer
tokenizer = LlamaTokenizer.from_pretrained('ecnu-icalk/educhat-sft-002-7b')
model = LlamaForCausalLM.from_pretrained('ecnu-icalk/educhat-sft-002-7b', torch_dtype=torch.float16).half().cuda()
Após a implantação, você pode alternar entre diferentes modos de diálogo modificando a opção de tema (Psicologia/Sócrates/Geral) em system_prompt. Observe que você precisa ajustar o tamanho do lote de acordo com a condição de memória para evitar o estouro de memória.
Essa resposta foi extraída do artigoEduChat: um modelo de diálogo educacional de código abertoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como implantar localmente o modelo de parâmetros 7B do EduChat?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch