O Unsloth foi otimizado especificamente para o processamento de textos longos em modelos de linguagem grandes, oferecendo suporte líder do setor para janelas de contexto muito longas. Os avanços tecnológicos específicos incluem: 89 mil janelas de contexto ultralongas para o modelo Llama 3.3(70B) e impressionantes 342 mil janelas de contexto para o modelo Llama 3.1(8B).
Esse recurso revolucionário se baseia no algoritmo inovador de gerenciamento de memória do Unsloth e na otimização do mecanismo de atenção. Ele evita o problema do crescimento da memória em nível quadrado causado pelo aumento do comprimento do contexto no modelo tradicional do Transformer e atinge a complexidade linear do processamento de textos longos por meio de técnicas eficientes de computação esparsa e reutilização de memória.
Em cenários do mundo real, esse recurso torna o Unsloth ideal para tarefas que exigem grandes quantidades de informações contextuais, como análise de documentos jurídicos, resumos longos de documentos técnicos e retenção contínua de diálogos. Você pode ativar o processamento de textos longos simplesmente especificando o parâmetro context_window ao carregar o modelo.
Essa resposta foi extraída do artigoUnsloth: uma ferramenta de código aberto para ajuste fino e treinamento eficientes de modelos de linguagem grandesO
