A personalização do domínio requer a conclusão dos quatro estágios de operação a seguir:
- Fase de preparação de dados::
- Coletar dados profissionais e agrupá-los em
lora_medical.jsonlformatação - Recomenda-se manter um comprimento de 512 tokens para se adequar à arquitetura do modelo
- Coletar dados profissionais e agrupá-los em
- Fase de configuração dos parâmetros::
- modificações
./model/LMConfig.pyacertou em cheion_layerse outros parâmetros - adaptar
batch_sizeEvite o estouro da memória de vídeo (recomenda-se 3090 ≤ 8)
- modificações
- Fase de treinamento do modelo::
- realizar
python train_lora.pyIniciar a habilitação de campo - aumentar
--use_wandbCurva de perda de monitoramento de parâmetros
- realizar
- Fase do aplicativo de implantação::
- fazer uso de
serve_openai_api.pyInício dos serviços - aprovar (um projeto de lei ou inspeção etc.)
curlInterface médica de perguntas e respostas do teste de comando
- fazer uso de
Observação: O pré-treinamento básico (2 a 3 rodadas) antes do ajuste fino do LoRA é recomendado para o treinamento de campo profissional.
Essa resposta foi extraída do artigoMiniMind: 2 horas de treinamento do zero com a ferramenta de código aberto GPT de parâmetros 26MO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Qual é o processo exato de uso do MiniMind para treinamento personalizado de domínio (por exemplo, questionários médicos)?
