Etapas de geração de texto
O dots.llm1 é bom para gerar textos coerentes para tarefas como a continuação de artigos:
- Preparar texto de entrada (por exemplo, documentação técnica ou descrição de problemas)
- Usando código Python ou serviços do Docker
- A configuração do parâmetro max_new_tokens controla o tamanho da saída
- Verificar a coerência e a precisão do resultado
Implementação de tarefas de diálogo
Com a engenharia de prontidão adequada, o modelo permite a funcionalidade de diálogo de alta qualidade:
- Código de amostra:
messages = [{'role': 'user', 'content': 'Explaining the core MoE architectural do MoE.'}]
input_tensor = tokeniser.apply_chat_template(messages, add_generation_prompt=True, return_tensors='pt')
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=200)
result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True) - O parâmetro de temperatura pode ser ajustado para controlar a criatividade da resposta.
- Para diálogos em chinês, recomenda-se um modelo de prompt específico
Técnicas avançadas
É possível lidar com cenários complexos de diálogos de várias rodadas aproveitando seu contexto extralongo de 32k. Para diálogos de domínio profissional, recomenda-se fornecer primeiro o conhecimento relevante como um precursor contextual.
Essa resposta foi extraída do artigodots.llm1: o primeiro modelo de idioma grande do MoE com código aberto da Little Red BookO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como usar o dots.llm1 para tarefas de geração de texto e diálogo?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch