Implementação técnica e valor de contextos ultralongos
A janela de contexto de 128K suportada nativamente pelo GLM-4.5 é seu principal avanço tecnológico. Esse recurso é implementado com base em técnicas de interpolação posicional e otimização de atenção, permitindo que o modelo processe totalmente documentos técnicos de mais de 300 páginas ou obras literárias de mais de 100.000 palavras. Em comparação com a limitação de 32K dos modelos convencionais, sua precisão de compreensão de textos longos foi aprimorada em 37%.
Em cenários de aplicação específicos, esse recurso traz duas grandes vantagens: primeiro, a compreensão semântica em nível de documento, como a manutenção da consistência entre cláusulas ao analisar contratos legais; e, segundo, a decomposição de tarefas complexas, como a manutenção da coerência lógica ao converter um manual técnico de 100 páginas em um procedimento operacional. Os dados de teste mostram que, na avaliação Needle-in-a-Haystack, a precisão da extração de informações do GLM-4.5 no final de um texto de 128K chega a 89%, superando em muito a de produtos semelhantes, como o Llama 3. Combinado com seu recurso de saída estruturada, isso o torna a opção ideal para cenários de processamento de textos longos, como finanças e direito.
Essa resposta foi extraída do artigoGLM-4.5: grandes modelos multimodais de código aberto que suportam raciocínio inteligente e geração de códigoO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch