A implantação do modelo Bonsai é dividida em duas fases: preparação do ambiente e invocação do tempo de execução:
construção de ambientes
- Validação do ambiente Python 3.8+: execução no terminal
python --version - Instale as dependências principais:
pip install transformers torch datasets - Recomendação de aceleração de GPU: via
torch.cuda.is_available()Detecção de suporte a CUDA
chamada de modelo
Operação em três etapas por meio da biblioteca Huggingface Transformers:
- Carregando componentes::
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("deepgrove/Bonsai")
model = AutoModelForCausalLM.from_pretrained("deepgrove/Bonsai") - Geração de texto: Configurações
max_lengthresponder cantandotemperatureSaída de controle paramétrico - Decodificação de resultadosUso de
tokenizer.decode()Converter tensor em texto legível
Observação: A primeira execução baixará automaticamente cerca de 600 MB de arquivos de modelo do Huggingface, portanto, é recomendável manter sua conexão com a Internet aberta.
Essa resposta foi extraída do artigoBonsai: um modelo de linguagem ponderada de três valores adequado para operação em dispositivos de bordaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como posso implantar um modelo do Bonsai em execução em meus próprios dispositivos?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch