Programa de implementação de migração entre idiomas
Para conseguir a extensão dos recursos multilíngues do modelo, ele pode ser avançado em três estágios:
- Preparação de dados::
- Construção de corpora paralelos (recomenda-se combinações de chinês/inglês/chinês/japonês etc.)
- existir
data/Catálogo Novomultilingual.jsonO campo contémlanguage_tag
- treinamento combinado::
- Mantenha a lista de palavras modelo original e adicione-a com os scripts SFT
--lang_loss_weight 0.3parâmetros - Amostras multilíngues mistas recomendadas dentro do lote (com suporte do carregador de dados do projeto)
- Mantenha a lista de palavras modelo original e adicione-a com os scripts SFT
- teste de capacidade::
- Especificar durante o teste de interação
--language enParâmetros como a troca de idioma - Avaliação quantitativa usando indicadores como BLEU
- Especificar durante o teste de interação
Observação: Recomenda-se que os modelos de tamanho menor (1,7B) se concentrem em pares de idiomas únicos, enquanto os modelos acima de 4B podem tentar o treinamento conjunto em vários idiomas.
Essa resposta foi extraída do artigoQwen3-FineTuning-Playground: uma base de código pronta para uso para o ajuste fino dos grandes modelos do Qwen3.O
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como obter a migração de recursos para modelos ajustados do Qwen3 em cenários entre idiomas?
