Soluções de integração de automação
Abordagem recomendada para integrar o vllm-cli aos processos de implementação automatizados:
- Invocação do modo de linha de comando:Use o vllm-cli serve diretamente no script para iniciar o serviço e avalie o resultado pelo código de saída
- <strong]Verificação de status:Execute periodicamente o vllm-cli status para monitorar o status de integridade do serviço
- Processamento de registros:Redirecionar a saída de registro para um arquivo para análise (padrão armazenado em ~/.config/vllm-cli/)
- Gerenciamento de configuração:Salve previamente os parâmetros otimizados como um perfil personalizado, invocado via -profile
- Tratamento de exceções:Implementação de um mecanismo de reinicialização de serviço em conjunto com o comando stop
Exemplo de uma integração típica de CI/CD:
1. após a conclusão da fase de treinamento, chame vllm-cli models para atualizar a lista de modelos
2) As configurações predefinidas de produção são carregadas durante a fase de implementação usando o parâmetro -profile
3. fase de verificação que testa os pontos de extremidade da API via curl
4) A fase de monitoramento analisa a saída JSON do status do vllm-cli para acionar um alerta.
Observe que ambientes diferentes precisam ajustar as variáveis de ambiente, como CUDA_VISIBLE_DEVICES.
Essa resposta foi extraída do artigovLLM CLI: ferramenta de linha de comando para implantação de modelos de idiomas grandes com o vLLMO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch