Bifrost: um gateway de alto desempenho para conectar vários modelos de idiomas grandes

O Bifrost é um gateway de Modelo de Linguagem Grande (LLM) de alto desempenho criado usando a linguagem Go. Sua função principal é fornecer aos desenvolvedores uma interface unificada para conectar e gerenciar vários fornecedores de modelos grandes diferentes, como OpenAI, Anthropic, Amazon Bedrock etc. O Bifrost foi projetado para simplificar o processo de desenvolvimento, eliminando a necessidade de código de integração separado para cada modelo. Por meio desse gateway, os aplicativos simplificam o processo de desenvolvimento, eliminando a necessidade de escrever um código de integração separado para cada modelo. Projetado com foco no desempenho e na confiabilidade, o Bifrost adiciona apenas microssegundos de latência ao processar um grande número de solicitações. Ele possui failover e balanceamento de carga automáticos integrados, de modo que, quando um modelo ou fornecedor fica inativo, o sistema pode encaminhar automaticamente as solicitações para opções alternativas, garantindo a continuidade e a estabilidade do serviço. Além disso, o Bifrost oferece uma interface visual da Web que permite aos usuários monitorar solicitações, gerenciar configurações de modelos e visualizar análises em tempo real, simplificando muito as operações e a manutenção.

Lista de funções

• Interface API unificadaConecta-se a mais de 10 grandes fornecedores de Big Model, incluindo OpenAI, Anthropic, Amazon Bedrock, Mistral, Ollama e outros, por meio de um único ponto de extremidade de API.
• processamento de alto desempenhoCriado usando a linguagem Go, ele adiciona apenas cerca de 11 microssegundos de sobrecarga de latência, em média, sob uma carga de 5.000 solicitações processadas por segundo.
• Interface de usuário da Web integradaInterface de configuração visual e painéis de monitoramento em tempo real que permitem aos usuários gerenciar fornecedores, monitorar logs e analisar métricas diretamente no navegador, eliminando a necessidade de editar manualmente os arquivos de configuração.
• Failover automáticoQuando uma solicitação de um modelo ou fornecedor falha, ele pode tentar novamente ou mudar automaticamente para um modelo alternativo predefinido, garantindo a estabilidade do serviço.
• Balanceamento de carga e gerenciamento de chavesSuporte ao gerenciamento dinâmico e ponderado de chaves de API, distribuindo com eficiência as solicitações entre várias chaves ou provedores.
• Observabilidade imediataSuporte nativo para indicadores Prometheus: o suporte nativo para indicadores Prometheus permite a fácil integração com os sistemas de monitoramento existentes, sem necessidade de configuração adicional.
• Vários métodos de integraçãoHá suporte para três modelos de uso: execução como um serviço HTTP autônomo, como um pacote de linguagem Go integrado diretamente em um aplicativo ou como um substituto direto do OpenAI/Anthropic SDK existente (basta alterar o URL de base da API).
• Arquitetura de plug-inDesign arquitetônico que prioriza o plug-in e suporte ao protocolo de contexto de modelo (MCP) para facilitar a extensão e a integração de ferramentas externas.

Usando a Ajuda

O Bifrost oferece uma variedade de maneiras flexíveis de usá-lo, sendo a mais rápida por meio do npx para iniciar um serviço HTTP local, uma maneira de ter um gateway de IA totalmente funcional em menos de 30 segundos sem instalar nenhuma dependência.

1. início rápido (serviço HTTP)

Essa é a maneira mais fácil e rápida para todos os desenvolvedores. Ele inicia um servidor local e uma interface de administração da Web complementar.

Requisitos ambientais:

• O Node.js (versão 18+) está instalado.
• Ter uma chave de API de pelo menos um grande fornecedor de modelos (por exemplo, OpenAI).

Procedimento operacional:

Etapa 1: Iniciar o serviço Bifrost
Execute o seguinte comando em seu terminal (ferramenta de linha de comando):

npx @maximhq/bifrost

Quando executado, esse comando faz o download e executa automaticamente o Bifrost. O serviço escuta, por padrão, o endereço local 8080 Portos.

Etapa 2: Configurar o fornecedor
Depois que o serviço for iniciado, abra o seguinte endereço no navegador para acessar a interface de administração da Web do Bifrost:
http://localhost:8080
Nessa interface, você pode adicionar e gerenciar visualmente diferentes fornecedores de modelos grandes. Por exemplo, para adicionar a OpenAI, tudo o que você precisa fazer é clicar no botão "Add Vendor" (Adicionar fornecedor) e preencher sua chave de API da OpenAI. Você também pode definir opções avançadas, como pesos e prioridades do modelo para balanceamento de carga e failover.

Etapa 3: Teste as chamadas de API
Quando a configuração estiver concluída, seu aplicativo poderá acessar o 8080 O Bifrost encaminha sua solicitação para o provedor de destino. Você pode usar a porta do Bifrost para chamar o modelo grande agora. Você pode usar a porta curl para testar se o serviço está funcionando corretamente:

curl -X POST http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-4o-mini",
"messages": [
{"role": "user", "content": "你好，Bifrost！🌈"}
]
}'

Se você receber uma resposta do modelo, o gateway está sendo executado com êxito.

2. como uma substituição direta do código existente

Se você tiver um SDK para OpenAI ou Anthropic integrado ao seu código, poderá usar o Bifrost com alterações mínimas no código.

Procedimento operacional:

1. Siga o método Quick Start acima para executar o serviço Bifrost e concluir a configuração do fornecedor.
2. No código do aplicativo, localize o base_url talvez baseURL Parâmetros.
3. Altere esse URL do endereço da interface oficial para o endereço do serviço Bifrost.

Exemplo de código:
Suponha que seu código original do OpenAI Python tenha a seguinte aparência:

from openai import OpenAI
client = OpenAI(
api_key="YOUR_OPENAI_API_KEY",
# base_url="https://api.openai.com/v1"  # 这是原来的地址
)

Você só precisa alterá-lo para:

from openai import OpenAI
client = OpenAI(
api_key="YOUR_OPENAI_API_KEY", # 这里的 key 依然需要，但 Bifrost 会使用自己管理的 key
base_url="http://localhost:8080/v1" # 指向 Bifrost 网关
)

Quando as modificações forem concluídas, as solicitações do seu aplicativo serão encaminhadas pelo Bifrost e você obterá automaticamente todas as funcionalidades do gateway, como failover, balanceamento de carga etc., sem precisar alterar nenhum outro código de lógica comercial.

3. integração como um pacote Go

Para os desenvolvedores da linguagem Go, a funcionalidade principal do Bifrost pode ser integrada diretamente em seus aplicativos como uma biblioteca para obter o máximo de desempenho e controle.

Procedimento operacional:

1. Em seu projeto Go, use o seguinte comando para obter o pacote principal do Bifrost:

   go get github.com/maximhq/bifrost/core
   

2. Importe e use o Bifrost em seu código. Você pode configurar fornecedores, regras de roteamento e plug-ins por meio do código. Essa abordagem evita a sobrecarga adicional de comunicação HTTP e oferece o melhor desempenho. Você pode consultar a documentação oficial do projeto para obter detalhes sobre a API e o uso.

cenário do aplicativo

1. Melhorar a estabilidade dos aplicativos de IA
   Para aplicativos em ambientes de produção que exigem serviço contínuo, a estabilidade do modelo é fundamental. Com o recurso de failover automático do Bifrost, quando o modelo primário (por exemplo, GPT-4) fica inacessível por qualquer motivo, o sistema muda automaticamente para um modelo de espera (por exemplo, Claude 3 ou outro modelo) para garantir que as solicitações dos usuários sejam sempre atendidas, evitando assim interrupções no serviço.
2. Reduzir e gerenciar o custo do uso de vários modelos
   Modelos diferentes têm estratégias de preços diferentes. Os desenvolvedores podem configurar vários modelos no Bifrost e definir regras de roteamento, por exemplo, atribuindo tarefas computacionalmente intensas e complexas a modelos potentes, mas caros, enquanto atribuem tarefas simples e rotineiras a modelos de custo mais baixo. Dessa forma, os custos operacionais podem ser significativamente otimizados com resultados garantidos.
3. Simplifique as implementações de várias nuvens ou de nuvem híbrida
   As organizações podem estar usando modelos de diferentes provedores de nuvem (por exemplo, AWS Bedrock, Azure OpenAI) ao mesmo tempo. O Bifrost oferece um ponto de entrada de API unificado que protege contra as diferenças subjacentes dos fornecedores. Isso facilita a implementação e a migração de aplicativos e evita a dependência de plataformas.
4. Experimentação rápida e mudança para novos modelos
   Os modelos no espaço de IA são atualizados e iterados em um ritmo rápido. À medida que surgem modelos novos e melhores, os desenvolvedores podem adicionar rapidamente novos modelos e testá-los por meio da interface da Web do Bifrost, permitindo até mesmo testes A/B com base na proporção de tráfego. Todo o processo elimina a necessidade de modificar e reimplantar o código do aplicativo, acelerando drasticamente o ritmo da inovação e da iteração.

QA

1. Quais são as vantagens do Bifrost em relação a outras ferramentas semelhantes, como o LiteLLM?
   O principal ponto forte do Bifrost é o desempenho. Ele foi desenvolvido desde o início usando a linguagem Go e foi projetado para ambientes de produção com alta simultaneidade e baixa latência. De acordo com os testes oficiais de desempenho, a sobrecarga de latência do Bifrost é muito menor do que a das ferramentas baseadas em Python, como o LiteLLM, no mesmo hardware, o que permite lidar com uma maior simultaneidade de solicitações. Além disso, ele vem com uma interface visual da Web que torna a configuração e o monitoramento fáceis e intuitivos.
2. O uso do Bifrost afeta a privacidade dos dados?
   O Bifrost é um gateway totalmente de código aberto e autoimplantável. Isso significa que você pode implantá-lo em seus próprios servidores ou em um ambiente de nuvem privada. Todas as solicitações e dados fluem somente dentro da infraestrutura que você controla antes de serem enviados diretamente para o provedor final do big model, e o Bifrost não armazena nem envia seus dados para servidores de terceiros, garantindo a privacidade e a segurança dos dados.
3. O Bifrost oferece suporte a respostas de streaming?
   Sim, o Bifrost é totalmente compatível com respostas de streaming para modelos grandes. Quando você faz uma solicitação a um modelo compatível com a saída de streaming (como o modelo de bate-papo da OpenAI), o Bifrost envia pedaços de dados gerados pelo modelo de volta ao cliente em tempo real, o que é fundamental para a criação de aplicativos como chatbots em tempo real ou geração de código.
4. Qual é o processo exato para configurar o failover?
   Na interface de administração da Web do Bifrost, você pode configurar uma lista de modelos de fallback para um ou mais modelos primários. Por exemplo, você pode definir o modelo openai/gpt-4o-mini definido como o modelo primário e, em seguida, defina o anthropic/claude-3-haiku responder cantando google/gemini-1.5-flash adicionado à sua lista de espera. Quando um par de gpt-4o-mini Se a solicitação falhar, o Bifrost tentará automaticamente modelos alternativos na ordem da lista até que a solicitação seja bem-sucedida.