Soluções de modelagem de dados de pequeno porte
Quando os dados de treinamento são inferiores a 2.000, os métodos a seguir podem ser usados para aprimorar o efeito:
- Aprimoramento de dadosUse o GPT-4 para gerar diálogos estendidos semanticamente semelhantes, tomando cuidado para manter o estilo do idioma original. Formato de prompt recomendado: "Por favor, reescreva o seguinte diálogo no estilo de [nome de usuário]: ..."
- aprendizagem por transferênciaCarregar dados de diálogos públicos, como Zhihu e Weibo, para pré-treinamento antes de fazer o ajuste fino dos dados pessoais. Modifique o settings.json no diretório
pretrained_pathparâmetros - técnica de regularização: defina dropout_rate=0,3 e ative a parada antecipada (valor de paciência definido como 5 épocas)
Sugestões adicionais: 1) Use a validação cruzada K-fold 2) Limite a classificação LoRA ≤ 16 3) Adicione suavização de rótulo (suavização=0,1). Após o treinamento, certifique-se de usarweb_demo.py --test_mode=trueRealizar a detecção de sobreajuste
Essa resposta foi extraída do artigoWeClone: treinamento de doppelgangers digitais com registros de bate-papo e vozes do WeChatO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como superar o problema de sobreajuste do modelo causado por pequenos registros de bate-papo?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch