O Unsloth não se concentra apenas na otimização de modelos de texto, mas também oferece suporte total a modelos de linguagem visual multimodal. Esses modelos visuais compatíveis incluem as principais arquiteturas multimodais atuais, como Llama 3.2 Vision (11B), Qwen 2.5 VL (7B) e Pixtral (12B).
Em termos de suporte a modelos multimodais, o valor exclusivo do Unsloth está na extensão da mesma técnica de otimização de treinamento para o pipeline de processamento de entradas visuais. Ela permite a otimização conjunta da extração de recursos de imagem e da compreensão de texto, evitando a perda de eficiência associada à separação do processamento de imagem e texto nas abordagens tradicionais.
Esse recurso permite que os desenvolvedores ajustem com eficiência modelos especializados para tarefas multimodais, como geração de descrição de imagens, questionamento visual e recuperação de gráficos. Especialmente em aplicativos verticais que exigem compreensão visual personalizada, o processo de treinamento otimizado fornecido pelo Unsloth pode encurtar significativamente o ciclo de desenvolvimento e reduzir os custos de implantação.
O suporte multimodal do Unsloth dá continuidade aos seus pontos fortes na modelagem de texto simples, oferecendo também velocidades de treinamento rápidas, baixo consumo de memória e opções de exportação flexíveis, fornecendo uma solução completa para aplicações básicas de modelos de linguagem visual.
Essa resposta foi extraída do artigoUnsloth: uma ferramenta de código aberto para ajuste fino e treinamento eficientes de modelos de linguagem grandesO
