O recurso de treinamento específico de camada do AI Toolkit permite que os usuários direcionem e otimizem partes da estrutura do modelo, como segue:
- Editar arquivo de configuração: em
networkParcialmente adicionadoonly_if_containsparâmetros, por exemplo:network: type: "lora" linear: 128 linear_alpha: 128 network_kwargs: only_if_contains: - "transformer.single_transformer_blocks.7.proj_out" - "transformer.single_transformer_blocks.20.proj_out" - Seleção da camada de destinoNomes de camadas: os nomes das camadas precisam ser conhecidos com precisão, geralmente a partir da documentação da arquitetura do modelo; no exemplo, foram escolhidas a 7ª e a 20ª camadas de projeção do módulo transformador
- treinamento de preparaçãoExecutar com o arquivo de configuração modificado
python run.py config/my_config.ymlA ferramenta atualizará apenas os pesos das camadas especificadas.
Essa função é particularmente adequada para os seguintes cenários:
- Corrigir o baixo desempenho de determinadas camadas do modelo
- Realizar experimentos comparativos para analisar o efeito de diferentes camadas no resultado
- Priorizar a otimização dos principais componentes com recursos limitados
Observação: O treinamento excessivo específico da camada pode levar a uma diminuição da coordenação geral do modelo, e é recomendável monitorar o efeito em conjunto com um conjunto de validação.
Essa resposta foi extraída do artigoKit de ferramentas de IA da Ostris: Difusão estável com o kit de ferramentas de treinamento de modelos FLUX.1O
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como posso usar o AI Toolkit para treinar camadas específicas da rede neural?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch