Análise da compreensão multimodal e dos recursos geradores
O mecanismo multimodal do GLM-4.5 faz dele um dos poucos grandes modelos de código aberto que podem processar texto e imagens. Para a implementação técnica, o modelo adota uma arquitetura de codificador duplo: a ramificação de texto é baseada no transformador autorregressivo e a ramificação visual usa um modelo ViT aprimorado, que obtém a fusão de informações por meio de um mecanismo de atenção multimodal. Seus recursos multimodais se manifestam em três dimensões: primeiro, perguntas e respostas gráficas, como a análise de imagens de problemas matemáticos e a apresentação de etapas de solução; segundo, geração de conteúdo, produzindo relatórios estruturados com base em descrições de texto e correspondendo automaticamente às ilustrações; e terceiro, compreensão de documentos, com suporte à análise semântica de PDF/PPT e outros formatos.
Na prática, o modelo atinge uma precisão de 78,2% no teste de benchmark TextVQA, significativamente melhor do que os modelos de código aberto com o mesmo tamanho de parâmetro. Em termos de aplicativos comerciais, o recurso é particularmente adequado para atendimento inteligente ao cliente (análise automática de diagramas de produtos), tecnologia educacional (solução gráfica de problemas de matemática), auditoria de conteúdo (verificação de consistência gráfica) e outros cenários. É importante observar que a versão atual não oferece suporte ao processamento de vídeo por enquanto, o que é uma das principais lacunas entre ela e os principais modelos de código fechado.
Essa resposta foi extraída do artigoGLM-4.5: grandes modelos multimodais de código aberto que suportam raciocínio inteligente e geração de códigoO
