Implementação de programas de tecnologia em nível de produção
As duas opções a seguir são recomendadas para implementações altamente disponíveis:
- Servidor vLLM::
- Instale a versão dedicada (
uv pip install --pre vllm==0.10.1+gptoss) - Inicie o serviço de API (
vllm serve openai/gpt-oss-120b --tensor-parallel-size 4) - Configurar o proxy reverso do Nginx e
pm2monitoramento de processos
- Instale a versão dedicada (
- Programa Kubernetes::
- Criação de uma imagem do Docker (consulte o repositório)
Dockerfile.gpu) - configurar
resources.limits.nvidia.com/gpu: 2Declarar os requisitos da GPU - aprovar (um projeto de lei ou inspeção etc.)
HorizontalPodAutoscalerExpansão e contração automática da capacidade
- Criação de uma imagem do Docker (consulte o repositório)
Os principais pontos de otimização incluem:
1. ativação--quantization=mxfp4Redução do espaço de memória da GPU 50%
2. configurações--max-num-seqs=128Aprimorar os recursos de processamento simultâneo
3. uso recomendado para monitoramentovLLM PrometheusExporterColeta de métricas de QPS e latência
Essa resposta foi extraída do artigoColeção de scripts e tutoriais para ajuste fino dos modelos OpenAI GPT OSSO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como implementar rapidamente o modelo gpt-oss-120b no ambiente de produção?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch