As principais etapas para implantar o serviço de API da Step3 por meio do vLLM são as seguintes:
- Inicie o servidor de API: execute o comando
python -m vllm.entrypoints.api_server --model stepfun-ai/step3 --port 8000O serviço será executado na porta local 8000. - Enviar solicitação de API: enviar uma solicitação de API via HTTP POST para o
http://localhost:8000/v1/completionsEnvia uma solicitação no formato JSON com parâmetros como model, prompt e max_tokens. - Processamento de resposta: a API retorna o resultado gerado no formato JSON, que pode ser analisado e usado diretamente.
As solicitações de exemplo podem conter conteúdo multimodal, como o envio de um URL de imagem e um prompt de texto ao mesmo tempo. Os recursos eficientes de raciocínio do vLLM são particularmente adequados para cenários de aplicativos em tempo real em ambientes de produção, onde solicitações altamente simultâneas podem ser tratadas com eficiência.
Essa resposta foi extraída do artigoEtapa 3: geração eficiente de macromodelos de código aberto para conteúdo multimodalO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como faço para implantar os serviços de API da Step3 usando o mecanismo vLLM?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch