As etapas a seguir são necessárias para instalar e implementar a Step3:
- Clonagem de repositórios do GitHub:
git clone https://github.com/stepfun-ai/Step3.git - Configure um ambiente Python (recomenda-se o Python 3.10+), instale o PyTorch (≥2.1.0) e a biblioteca Transformers (4.54.0)
- Faça o download dos pesos dos modelos do Hugging Face:
git clone https://huggingface.co/stepfun-ai/step3 - modelo de implantação, é recomendável usar o mecanismo de inferência vLLM ou SGLang. Por exemplo, use o vLLM para iniciar o serviço:
python -m vllm.entrypoints.api_server --model stepfun-ai/step3 --port 8000
A implementação em um ambiente com várias GPUs (por exemplo, 4 GPUs A800/H800 com 80 GB de memória de vídeo cada) é recomendada para um desempenho ideal.
Essa resposta foi extraída do artigoEtapa 3: geração eficiente de macromodelos de código aberto para conteúdo multimodalO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como faço para instalar e implantar um modelo Step3?
