Step3 通过以下方式实现无缝对接:
- 原生支持 OpenAI/Anthropic 兼容的 REST API 接口协议,请求格式完全一致
- 提供标准化的
/v1/completions
端点,支持 JSON 格式的文本/图像混合输入
实施步骤:
- 通过
git clone https://github.com/stepfun-ai/Step3.git
获取代码 - 使用
python -m vllm.entrypoints.api_server
启动服务(默认端口8000) - 参照示例代码修改原OpenAI客户端中的
base_url
为本地地址
测试表明,迁移现有应用的平均改造时间可控制在2小时以内。
本答案来源于文章《Step3:高效生成多模态内容的开源大模型》