O sistema de roteamento inteligente integrado do UniAPI avalia o desempenho de cada provedor de serviços por meio de uma métrica bidimensional: taxa de sucesso da solicitação em uma janela de 72 horas e tempo de resposta do primeiro token. O algoritmo calcula uma pontuação ponderada para cada provedor em tempo real e encaminha automaticamente as solicitações para o nó de serviço atual com melhor desempenho.
O fluxo de trabalho específico é: o sistema monitora continuamente os dados de resposta de cada endpoint de API e reduz automaticamente o peso de um provedor de serviços quando detecta que seu tempo de resposta excede um limite ou sua taxa de sucesso diminui. Esse mecanismo de ajuste dinâmico garante que a prioridade seja sempre dada ao nó de serviço mais confiável e mais rápido.
Os dados de teste reais mostram que, em comparação com o uso fixo de um único provedor, a UniAPI com um mecanismo baseado em mérito pode aumentar a taxa de sucesso das chamadas de API em 15-201 TP3T e reduzir o tempo médio de resposta em 301 TP3T. Essa vantagem é mais óbvia, especialmente em cenários altamente simultâneos, pois o sistema é capaz de contornar automaticamente nós de serviço temporariamente sobrecarregados.
Esse recurso é especialmente importante para sistemas comerciais de grande escala que buscam a estabilidade do serviço, como atendimento ao cliente on-line, tradução em tempo real e outros cenários de aplicativos que são sensíveis à latência de resposta.
Essa resposta foi extraída do artigoUniAPI: gerenciamento unificado sem servidor de encaminhamento de API de modelo grandeO
