Solução de otimização de processamento de texto longo de 96K
As medidas a seguir são necessárias para garantir a qualidade do processamento de documentos longos:
- Estratégias de pré-processamento:
1. fragmentação de documentos (não mais do que 32 mil tokens por bloco)
2. adicione marcadores de capítulo (por exemplo, [CHAPTER 1])
3. gere um prompt de resumo: "Com base nas três partes a seguir..." - Configuração do modelo:
1. certifique-se de que a versão do modelo que suporta 96K esteja carregada (internlm-xcomposer2d5-7b-long)
2) Ajuste o parâmetro attention_window em seu valor máximo.
3) Habilitar a opção memory_compression=True - Métodos de pós-integração:
1. combinação de resultados segmentados usando o algoritmo Map-Reduce
2. mapeamento do conhecimento para a vinculação de informações
3. adoção de técnicas de RAG para complementar o conhecimento prévio
As experiências mostraram que a combinação de chunking com memory_compression resulta em uma taxa de retenção de 92% de informações importantes para 96 mil documentos.
Essa resposta foi extraída do artigoInternLM-XComposer: um macromodelo multimodal para a produção de textos muito longos e compreensão de imagens e vídeosO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como superar o problema da perda de informações ao processar documentos longos com o InternLM-XComposer?
