O zChunk oferece um sistema de ajuste de hiperparâmetro de duas camadas:
parâmetro básico
- tamanho do bloco
- Típico: 256-2048 caracteres
- Recomendação de otimização: o texto de ficção poderia usar partes maiores do que a documentação técnica - overlap_ratio
- Típico: 10%-30%
- Dicas de otimização: textos jurídicos sugerem maior sobreposição (251 TP3T+), comunicados à imprensa podem ser reduzidos para 151 TP3T
Parâmetros avançados
- temperatura
Controle a aleatoriedade das decisões de fragmentação do LLM, que podem ser aumentadas adequadamente ao processar textos criativos - top_k (número de marcadores candidatos)
Influência na precisão da detecção do limite do bloco, valor recomendado para documentos complexos 50-100 - repetition_penalty
Evitar o excesso de parágrafos, o que é especialmente importante para documentos com parágrafos longos
Métodos de otimização:
1. use scripts de ajuste:python hyperparameter_tuning.py
2. indicadores de monitoramento e avaliação versus parâmetros
3. uso da busca em grade para encontrar soluções ótimas de Pareto
Observação: o ajuste completo de um documento de 450 mil caracteres leva aproximadamente 30 minutos (NVIDIA V100) e é recomendável que o ajuste completo seja realizado em documentos críticos.
Essa resposta foi extraída do artigozChunk: uma estratégia genérica de fragmentação semântica baseada no Llama-70BO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Quais são os principais parâmetros especificamente incluídos no ajuste de hiperparâmetros do zChunk? Como fazer a otimização?
