O Coze Studio usa uma arquitetura de integração de modelo aberto e, atualmente, oferece suporte oficial aos dois tipos de serviços de modelo a seguir:
- Modelos de API na nuvemModelos comerciais, incluindo a série Ark de mecanismos de vulcão (por exemplo, doubao-seed-1.6), a série OpenAI GPT, etc.
- modelo de localizaçãoSuporte ao acesso a serviços de modelos grandes implantados de forma privada por meio de configuração personalizada
Configure um processo específico para o modelo do Volcano Engine:
- Crie um aplicativo no console do Volcano Engine, obtenha a chave da API e o ID do endpoint (é necessária a autenticação do nome real da conta)
- Copie o arquivo
model_template_ark_doubao-seed-1.6.yamlArquivos de modelo - Modificar campos-chave:
idDefinido como um identificador numérico globalmente exclusivo (não modificável após a implantação)meta.conn_config.api_keyPreencha a chave da API do Volcanometa.conn_config.modelPreencha o ID do ponto de extremidade
- Coloque o arquivo de configuração no diretório
backend/conf/model/Catálogo em vigor
Advertências:
- Modelos diferentes são cobrados de forma diferente, o Volcano Engine é cobrado por chamada
- Recomenda-se que os ambientes de produção configurem os mecanismos de limitação e fusão de fluxo do QPS
- A latência de resposta do modelo pode ser determinada fazendo login no
latencyMonitoramento de campo
Essa resposta foi extraída do artigoCoze Studio (Coze Open Source Edition): uma plataforma de código baixo de código aberto para criar rapidamente inteligências de IAO
