Soluções de ajuste de efeitos baseadas em cenários
As seguintes estratégias de otimização podem ser adotadas para diferentes cenários de aplicação:
- Um único diagrama que descreve a cena::
- Aumentar a proporção de amostras descritas pela imagem em sft_vlm_data.jsonl
- Ajuste do parâmetro de temperatura para controlar a diversidade de geração
- Inclua "Please describe this image in detail" (Descreva essa imagem em detalhes) no prompt.
- Cenário de perguntas e respostas::
- Coletar dados de controle de qualidade específicos do domínio para adicionar ao conjunto de microajuste
- Modifique o parâmetro max_seq_len no LMConfig.py para estender o contexto
- Exemplo de uso de estímulo de disparo recente
- Cenários de raciocínio multigráfico::
- Aumentar o volume de dados sft_vlm_data_multi.jsonl
- Ajuste da incorporação de posição para tokens visuais
- Adicionar uma indicação clara da ordem das imagens na entrada
Sugestões genéricas de otimização: 1) Aumente a época de treinamento nos mesmos dados. 2) Tente uma configuração de tamanho médio com dim=768. 3) Use a pesquisa de feixe para melhorar a qualidade da geração. O projeto web_demo_vlm.py tem uma ferramenta de avaliação de efeitos integrada para testar o efeito da otimização em tempo real.
Essa resposta foi extraída do artigoMiniMind-V: treinamento de 1 hora de um modelo de linguagem visual com 26 milhões de parâmetrosO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como otimizar o modelo MiniMind-V para cenários de aplicação específicos?
