Step3支持文本、图像和语音的多模态内容生成。开发者可以通过API或Transformers库使用这些功能:
- Geração de texto:通过API发送文本提示,模型会生成相关文本输出
- processamento de imagens:可以上传图片并附带文本提示,模型能生成图片描述或回答相关问题
- processamento de fala:支持语音输入和生成
使用示例:通过Transformers库加载模型后,可以传入包含图像URL和文本提示的消息数组,模型会处理这些多模态输入并生成相应输出。API调用方式与OpenAI/Anthropic的接口兼容,便于集成到现有系统中。
Essa resposta foi extraída do artigoEtapa 3: geração eficiente de macromodelos de código aberto para conteúdo multimodalO