Guia de implementação para ambientes com poucos recursos
Para ambientes somente de GPU ou CPU com menos de 8 GB, está disponível uma estratégia de otimização em três níveis:
- Seleção de modelos::OpenMed-NER-*TinyMed*Series (parâmetro 65M) foi projetada para poucos recursos, com um espaço de memória de apenas 15% do modelo padrão.
- Aceleração quantitativaAdicionar ao carregar o modelotorch_dtype=torch.float16O parâmetro habilita a meia-precisão para reduzir o uso da memória de vídeo do 50%, código de amostra:
model = AutoModel.from_pretrained(model_name, torch_dtype=torch.float16)
- controle de lotes: Configuraçõestamanho_do_lote=2~4e habilite o streaming CUDA:
ner_pipeline(texts, batch_size=4, device=0, torch_stream=True)
- Programa somente para CPUInstalar a biblioteca do acelerador onnxruntime para executar até 3 vezes mais rápido após a conversão do modelo para o formato ONNX:
pip install optimum[onnxruntime]
Testes práticos mostram que, ao executar um modelo de 434M em uma placa de vídeo NVIDIA T4 (16 GB), a taxa de transferência pode ser aumentada de 12 para 58 entradas/segundo com uma combinação de quantificação + lote 8. Os avisos de falta de memória podem ser definidos com a configuraçãomax_memoryResolução de cache hierárquica de atribuição de parâmetros.
Essa resposta foi extraída do artigoOpenMed: uma plataforma de código aberto para modelos de IA gratuitos na área da saúdeO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como otimizar a eficiência operacional dos modelos OpenMed com recursos limitados de GPU?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch