Uma solução completa para o processamento de documentos longos
Isso precisa ser alcançado por meio da configuração do hardware e do ajuste de parâmetros:
- Mudar para a versão de 128kJan-nano-128k: Jan-nano-128k suporta nativamente janelas de contexto de 128k tokens, com argumentos-chave adicionados na inicialização:
--rope-scaling '{"rope_type":"yarn","factor":3.2,"original_max_position_embeddings":40960}' --max-model-len 131072 - Formatos de entrada aprimoradosUse a segmentação de marcação XML/JSON (por exemplo
<section>...</section>) para ajudar o modelo a reconhecer a estrutura do documento - Dicas de otimização de memóriaEncerramento de processos estranhos e reserva de espaço de troca de pelo menos 1,5 vezes o tamanho do modelo
Para documentos muito longos (por exemplo, livros), é recomendável que: primeiro você passe oLlamaIndexe outras ferramentas para criar índices vetoriais e, em seguida, processá-los nos capítulos
Essa resposta foi extraída do artigoJan-nano: um modelo leve e eficiente para geração de textoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como resolver o problema de perda de contexto quando a Jan-nano processa documentos longos?
