O sistema de balanceamento de carga adota um algoritmo de distribuição de peso dinâmico, que monitora a latência de resposta, a taxa de erro e a margem de cota de cada nó modelo em tempo real. A implementação técnica consiste em três módulos principais: um distribuidor de tráfego que ajusta automaticamente a taxa de distribuição de solicitações com base nos indicadores de desempenho do modelo; um verificador de integridade que examina o status do nó a cada 5 segundos; e um mecanismo de failover que ativa imediatamente um canal de backup no caso de um tempo limite ou erro de API.
Os dados de testes reais mostram que o mecanismo pode reduzir o tempo de interrupção do serviço para 500 milissegundos e aumentar a taxa de transferência do sistema em três vezes sob as mesmas condições de hardware. O caso de um cliente de comércio eletrônico mostra que, durante a promoção Double 11 do ano passado, seu sistema inteligente de atendimento ao cliente transportou um volume de consulta de pico de 1.200 vezes por segundo por meio da Portkey, sem nenhum tempo de inatividade durante todo o tempo. Essa estabilidade se deve principalmente ao recurso de agendamento inteligente da plataforma para recursos de modelo de várias nuvens, que é uma vantagem técnica difícil de ser obtida com sistemas criados pelo próprio cliente.
Essa resposta foi extraída do artigoPortkey: uma ferramenta de desenvolvimento para conectar vários modelos de IA e gerenciar aplicativosO
