risco de sobreajuste
Ao fazer o ajuste fino em conjuntos de dados pequenos, o modelo tende a se lembrar das amostras de treinamento em vez de aprender padrões genéricos.
medida de proteção
- Usando as técnicas de regularização incorporadas do UnslothConfigure weight_decay=0,01 em TrainingArguments
- Configuração adequada da parada antecipadaMonitorar a perda do conjunto de validação para interromper o treinamento automaticamente
- Aprimoramento de dadosReorganização de parágrafos usando processamento de texto longo com suporte do Unsloth
Recomendações de ajuste
- Comece tentando com 3 a 5 épocas e aumente gradualmente o número de
- Média de várias sessões de treinamento usando diferentes sementes aleatórias
- Avaliação final completa por meio do Hugging Face Evaluate
Essa resposta foi extraída do artigoUnsloth: uma ferramenta de código aberto para ajuste fino e treinamento eficientes de modelos de linguagem grandesO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como evitar problemas de superajuste durante o ajuste fino de grandes modelos de linguagem?
