One Balance: uma ferramenta de balanceamento de carga para gerenciar de forma inteligente as chaves de API de IA por meio do Gateway de IA da Cloudflare

O One Balance é uma ferramenta de código aberto, desenvolvida no Cloudflare AI Gateway, focada em ajudar os desenvolvedores a gerenciar com eficiência várias chaves de API de IA. Ele aloca solicitações de API por meio de sondagem inteligente e verificações de integridade, otimiza o uso da cota e reduz o risco de bloqueio de chaves. Os usuários podem implementar rapidamente o Cloudflare Worker e oferecer suporte ao Google AI Studio, OpenAI e outros provedores de IA. O projeto é de código aberto no GitHub, com configuração simples, adequado para desenvolvedores individuais ou equipes.

Lista de funções

• Encaminhe as solicitações de API por meio do Cloudflare AI Gateway para proteger as chaves.
• Sondagem inteligente de várias chaves de API e distribuição automática de solicitações para maximizar a cota.
• Oferece suporte à limitação de corrente em nível de modelo, identificando com precisão e bloqueando temporariamente modelos com excesso de limitação.
• Cria e gerencia automaticamente bancos de dados D1 para armazenar o status das chaves.
• Fornecer um portal de solicitação de API unificado, compatível com uma variedade de provedores de IA.
• Implante no Cloudflare Worker com um clique, gerando um URL dedicado do Worker.
• Tratamento inteligente de erros, distinção entre cotas de minutos e diárias, resfriamento automático.

Usando a Ajuda

Processo de instalação

O One Balance depende da implantação do Cloudflare Worker, que é um processo simples, mas requer conhecimento técnico básico. Veja abaixo as etapas detalhadas:

1. Clonagem do depósito do projeto
   Abra um terminal e execute o seguinte comando para clonar o repositório do One Balance:

   git clone https://github.com/glidea/one-balance.git
   cd one-balance
   

2. Instalação de dependências
   Use o pnpm para instalar as dependências necessárias para seu projeto:

   pnpm install
   

3. Configuração da chave de autorização
   Definição de variáveis de ambiente AUTH_KEYque é usado para validar a solicitação de API.
   • Mac/Linux Execute o seguinte comando:

   AUTH_KEY=your-super-secret-auth-key pnpm run deploycf
   

   • Windows (PowerShell) Execute o seguinte comando:

   $env:AUTH_KEY = "your-super-secret-auth-key"; pnpm run deploycf
   

4. Implantação no Cloudflare Worker
   Depois de executar o comando de implantação, você precisa fazer login no site da Cloudflare wrangler (precisa ser instalada com antecedência). Se você não estiver conectado, siga as instruções para concluir o login. A implementação cria automaticamente o banco de dados D1 e gera o URL do Worker, por exemplo:

   https://one-balance-backend.<your-subdomain>.workers.dev
   

5. Validação da implantação
   Após a implantação bem-sucedida, acesse o URL de trabalho gerado (por exemplo https://one-balance-backend.workers.dev). Uma VPN pode ser necessária na China continental. curl para testar se a API está respondendo corretamente.

Uso

O One Balance faz proxy das solicitações de API por meio do Gateway de IA da Cloudflare para se conectar ao Estúdio de IA do Google ou serviços como o OpenAI. Veja como isso funciona:

1. Enviar solicitação de API
   Envie uma solicitação usando o URL de trabalho gerado. Por exemplo, chamar o Google Gêmeos 2.5 O formato de solicitação para o modelo Pro é:

   https://one-balance-backend.workers.dev/api/google-ai-studio/v1beta/models/gemini-2.5-pro:generateContent
   

   A solicitação precisa incluir no cabeçalho AUTH_KEY, por exemplo:

   curl -H "Authorization: Bearer your-super-secret-auth-key" \
   https://one-balance-backend.workers.dev/api/google-ai-studio/v1beta/models/gemini-2.5-pro:generateContent
   

2. Gerenciar o status da chave
   O One Balance usa o banco de dados D1 para armazenar status importantes, incluindo:
   • Ativo A chave está disponível.
   • Resfriamento O modelo aciona um limite de corrente e é temporariamente resfriado.
   • Bloqueado A chave está bloqueada e parada.
     O sistema é baseado em cotas de minuto a minuto ou de dia a dia (por exemplo, Google Estúdio de IA (a cota) ajusta automaticamente o tempo de resfriamento, por exemplo, 24 horas depois que a cota de nível do céu é acionada.
3. Exibição do registro de solicitações
   Visualize os logs de solicitação do AI Gateway no console da Cloudflare, incluindo taxas de sucesso, tipos de erro e assim por diante. O One Balance lida automaticamente com erros 429 (limite de taxa) alternando para uma chave disponível.

Operação da função em destaque

• Encaminhamento de gateway de IA da Cloudflare Solicitações são feitas por meio do proxy do Gateway, ocultando a chave original e reduzindo o risco de bloqueio.
• Polling inteligente Seleção automática das teclas disponíveis para enviar solicitações, eliminando a necessidade de gerenciamento manual.
• Limitação de corrente no nível do modelo Quando um modelo aciona um limite de fluxo, o sistema suspende a solicitação do modelo e alterna para outros modelos ou chaves disponíveis.
• Implementação rápida Implante no Cloudflare Worker com um único clique, gere o URL do Worker e você estará pronto para começar.
• Tratamento de erros Identificar erros de cota, resfriar e trocar automaticamente as chaves para garantir a continuidade do serviço.

advertência

• Garanta o acesso à rede para o serviço da Cloudflare; os usuários na China continental podem precisar de uma VPN.
• Não compartilhe AUTH_KEYpara que um erro de rastreamento de solicitação não cause um limite de fluxo.
• Faça login no console da Cloudflare periodicamente para atualizar as chaves ou otimizar as políticas de cota.

cenário do aplicativo

1. Os desenvolvedores de IA gerenciam as chaves com eficiência
   Os desenvolvedores possuem várias chaves de API de IA e precisam maximizar o uso da cota. O One Balance simplifica o gerenciamento distribuindo de forma inteligente as solicitações por meio do Gateway de IA da Cloudflare.
2. Alta disponibilidade para aplicativos de IA corporativos
   As empresas que desenvolvem chatbots ou ferramentas de geração de conteúdo precisam estabilizar as chamadas de API. O One Balance garante a sondagem de chaves e o tratamento de erros para evitar interrupções no serviço.
3. Colaboração com a comunidade de código aberto
   As equipes de projetos de código aberto podem compartilhar pools importantes com o One Balance para reduzir o risco de bloqueio e aumentar a eficiência do desenvolvimento.

QA

1. Quais provedores de IA são compatíveis com o One Balance?
   Suporte para o Google AI Studio, OpenAI, etc., conforme descrito na documentação do Gateway de IA da Cloudflare (https://developers.cloudflare.com/ai-gateway/providers).
2. Como reduzir o risco de bloqueio de chaves?
   Use solicitações de proxy do Gateway de IA da Cloudflare para ocultar informações importantes. Evite compartilhar AUTH_KEYA cota é verificada regularmente.
3. Como são tratadas as falhas de implementação?
   reconhecer wrangler Conectado, verificando AUTH_KEY Configurações. Verifique os registros do terminal ou os problemas do GitHub para obter ajuda.
4. Como você oferece suporte a outros provedores de IA?
   Modifique a lógica de encaminhamento de solicitações para fazer referência à documentação do Gateway de IA da Cloudflare para adicionar o formato de API do novo provedor.