Multiplique os créditos gratuitos da API da Gemini com balanceamento de carga
O Google oferece aos desenvolvedores uma generosa Gemini
Créditos de uso gratuito da API por meio de Google AI Studio
É fácil obter uma chave de API. Os pacotes gratuitos geralmente incluem um limite de tarifa por minuto e um total diário de Token Volume de chamadas. Embora a quantidade de uma única chave seja limitada, ao registrar contas diferentes para solicitar várias chaves e com a ajuda de ferramentas de balanceamento de carga, é possível superar essa limitação e multiplicar a quantidade.
Neste artigo, apresentaremos gemini-balance
Um programa projetado para fornecer Google Gemini
A API fornece funcionalidade de proxy e balanceamento de carga para o aplicativo. Esse projeto foi desenvolvido pelo desenvolvedor snailyp
Criado, com base em Python FastAPI
compilações que permitem aos usuários gerenciar vários Gemini
Chaves de API para sondagem, autenticação, filtragem de modelos e monitoramento de estado.
Faremos isso com um ClawCloud
Serviços de contêineres a serem implantados gemini-balance
Isso permite a criação de uma solução estável e livre de proxy que integra várias soluções de segurança. Gemini
Uma interface pessoal proprietária para chaves de API.
- Endereço do projeto. https://github.com/snailyp/gemini-balance
- Documentação de implantação. https://gb-docs.snaily.top/guide/setup-clawcloud-sqlite.html
I. Preparar várias chaves de API Gemini
ganho Gemini
As chaves de API são um pré-requisito para a implantação de serviços.
- entrevistas
Google AI Studio
Página de inscrição: https://aistudio.google.com/ - Faça login com sua conta do Google e crie uma chave de API.
- Se necessário, é possível registrar e fazer login em várias contas diferentes do Google e repetir esse processo para obter várias chaves de API separadas.
Registre uma conta no ClawCloud
ClawCloud
é uma plataforma de computação em nuvem fundada em 2024 e com sede em Cingapura, especializada em serviços de infraestrutura em nuvem de alto desempenho para desenvolvedores. Sua ClawCloud Run
é uma oferta de plataforma como serviço (PaaS) que simplifica muito o processo de implantação de aplicativos. Para usuários registrados no Github há mais de 180 dias, oClawCloud
Oferecer uma doação mensal de US$ 5 é suficiente para apoiar o gemini-balance
Operação contínua do projeto.
- entrevistas
ClawCloud
site oficial e use seuGitHub
Login da conta. - Depois de fazer login, na central do usuário do
Account Center
Você pode visualizar o valor mensal doado, bem como o uso atual.
Implementação do gemini-balance no ClawCloud
Em seguida, usaremos o ClawCloud Run
para implantação em contêineres gemini-balance
.
- Selecionar a região do servidor
existirClawCloud
interface principal, clique no canto superior esquerdo da telaRegion
Opções recomendadasSingapore
. Depois que a página for atualizada, verifique se a área é precedida por uma marca de seleção. - Criação de aplicativos
strike (no teclado)App Launchpad
e, em seguida, clique no canto superior direito da páginaCreate App
Vá para a página Application Configuration (Configuração do aplicativo). - Configurar os parâmetros do aplicativo
Na página de configuração, preencha os parâmetros conforme descrito abaixo:- Nome da imagem:
ghcr.io/snailyp/gemini-balance:latest
- Nome do aplicativo:
geminibalance
(ou o nome que você preferir) - Imagem:
Public
- Uso:
Fixed
- Réplicas:
1
- CPU:
1
- Memória:
512
Observação: essa configuração se aplica à cota gratuita, que fornece 10 G de tráfego gratuito por mês. - Rede
- Porto de contêineres:
8000
- Habilitar a Internet: Toque como
Access
estado das coisas
- Porto de contêineres:
- Nome da imagem:
- Configuração de variáveis de ambiente
existirAdvanced Configura
->Environment Variables
clique na seçãoAdd
adicione as seguintes variáveis. ondeAPI_KEYS
responder cantandoALLOWED_TOKENS
Ele precisa ser substituído por sua própria chave e token de acesso.DATABASE_TYPE=sqlite SQLITE_DATABASE=default_db API_KEYS=["YOUR_GEMINI_API_KEY_1","YOUR_GEMINI_API_KEY_2"] ALLOWED_TOKENS=["YOUR_ACCESS_TOKEN_1"] AUTH_TOKEN= TZ=Asia/Shanghai
Descrição da variável.
nome da variável | instruções | Formato e exemplos |
---|---|---|
API_KEYS |
API Gemini Lista de chaves para balanceamento de carga | ["key-1","key-2"] |
ALLOWED_TOKENS |
Lista de tokens de autorização permitidos para acessar esse serviço | ["token-1","token-2"] |
AUTH_TOKEN |
(Opcional) Token de superadministrador com todos os privilégios. Se não for preenchido, o padrão é usar o ALLOWED_TOKENS O primeiro valor do |
sk-123456 |
- Armazenamento de configuração
strike (no teclado)Add Storage
Se o contêiner de/app/db
é montado para armazenar os dados de forma persistente. - Implementação de aplicativos
Volte para a parte superior da página e clique emDeploy Application
. Na janela pop-up de confirmação, selecioneYes
. - Verificar o status da implantação
Após aguardar alguns segundos, a página saltará para a tela de status do aplicativo. Certifique-se de que o canto superior esquerdo mostrerunning
. Sob oNetwork
o endereço público (Public address
) O estado inicial pode serpending
Aguarde de 2 a 5 minutos até que ele se transforme em uma nova cor. Aguarde de 2 a 5 minutos até que ele se torneAvailable
. Nesse momento, seu serviço pode ser acessado nesse endereço. - (Opcional) Definição de um nome de domínio personalizado
Se desejar acessá-lo usando seu próprio nome de domínio, você pode fazê-lo noCloudflare
e outros provedores de DNS para adicionar umCNAME
Registros, apontando paraClawCloud
endereço público fornecido. Em seguida, adicione um novo endereço à seçãoClawCloud
Adicione seu nome de domínio personalizado nas configurações de domínio do
IV. gerenciamento e monitoramento do gemini-balance
gemini-balance
Fornece um backend de administração conveniente para configurar e monitorar chaves de API.
- Abra o endereço público implantado em um navegador e vá para a tela de login. Digite o valor que você especificou na variável de ambiente
ALLOWED_TOKENS
O token de acesso definido noyour-access-token-1
) para fazer login. - Uma vez conectado, você pode adicionar ou remover dinamicamente
Gemini
chave de API sem reiniciar o serviço. - O plano de fundo de gerenciamento também fornece o monitoramento do status de chamada de cada tecla, o que é conveniente para você acompanhar o status de uso.
V. Uso de serviços de proxy em clientes de IA
Quando a implantação estiver concluída, você poderá usá-la em qualquer OpenAI
API para usar esse serviço de proxy no cliente. Pegue Cherry Studio
Por exemplo, é um suporte multiplataforma AI
cliente de desktop que pode se integrar e alternar facilmente entre diferentes AI
Modelos.
- Adicionar provedor
existirCherry Studio
Nele, vá para Model Provider Settings (Configurações do provedor de modelo) e adicione um novo provedor com um nome personalizável. - Configuração das informações da interface
- Chave da APIPreencha os detalhes das informações que você inseriu na seção
gemini-balance
variável de ambienteALLOWED_TOKENS
O token de acesso definido no - Endereço da API: Preencher
ClawCloud
Forneça o endereço de acesso público, tomando cuidado para não terminar com o/
.
- Chave da APIPreencha os detalhes das informações que você inseriu na seção
- Gerenciamento e uso de modelos
Depois de salvar, clique em "Manage" (Gerenciar) e o cliente recuperará automaticamente as informações de seugemini-balance
O serviço extrai e exibe uma lista de modelos disponíveis. Agora você está pronto para selecionar e usar oGemini
todas as solicitações serão distribuídas por meio do serviço de balanceamento de carga que você criou.