A UniAPI realizou uma otimização especial de transmissão de streaming para modelos de resposta de grandes blocos, como o Gemini. Sua principal tecnologia é dividir de forma inteligente o grande bloco de dados retornado pela API em vários pacotes pequenos para transmissão, e esse processamento traz três vantagens significativas: 1) os usuários podem ver a resposta da primeira tela mais rapidamente; 2) as flutuações da rede têm um impacto menor na experiência; e 3) reduzem a pressão de renderização do lado do cliente.
Na implementação específica, o sistema analisa a estrutura semântica do conteúdo da resposta e prioriza a transmissão dos principais trechos de informações. Os dados de teste mostram que essa otimização pode reduzir o tempo de chegada do primeiro byte em 40-60%, tornando a velocidade de resposta dos aplicativos de conversação próxima do nível de interação em tempo real.
Especialmente para aplicativos móveis, essa otimização pode resolver com eficácia o problema do carregamento lento de respostas grandes em ambientes de rede fracos. Quando forem detectadas condições de rede ruins, o sistema ajustará automaticamente a estratégia de fragmentação para garantir que o desempenho legível mais básico seja apresentado primeiro.
Esse recurso torna a UniAPI particularmente adequada para o desenvolvimento de cenários de aplicativos, como chatbots, assistentes de escrita inteligentes e outros aplicativos que enfatizam experiências interativas em tempo real.
Essa resposta foi extraída do artigoUniAPI: gerenciamento unificado sem servidor de encaminhamento de API de modelo grandeO
