A Portkey é uma ferramenta de nível de plataforma projetada para desenvolvedores de IA que resolve a complexidade do gerenciamento de vários modelos criando um gateway de IA unificado. Seu principal valor está na integração de recursos de modelos de IA originalmente dispersos em serviços padronizados, para que os desenvolvedores não precisem acoplar interfaces de API e documentos técnicos de diferentes fornecedores, um a um. Atualmente, a plataforma é compatível com a conexão de mais de 250 modelos de big language, incluindo os principais fornecedores, como OpenAI e Anthropic, além de vários tipos de modelos de código aberto.
A plataforma adota um projeto de arquitetura em camadas: a camada de infraestrutura é responsável pela conversão de protocolos e pelo roteamento de tráfego; a camada de serviço fornece tecnologias essenciais, como balanceamento de carga e cache inteligente; e a camada de aplicativo abre interfaces API completas e interfaces de gerenciamento. Essa arquitetura faz com que o monitoramento do desempenho, a comutação de falhas e outras operações e trabalhos de manutenção de aplicativos de IA sejam visualizados, e a eficiência de P&D pode ser aumentada em mais de 60% em comparação com o modo de desenvolvimento tradicional. Os clientes típicos incluem empresas de pequeno e médio porte que precisam iterar rapidamente as funções de IA, bem como instituições financeiras que exigem garantias rigorosas de SLA.
Essa resposta foi extraída do artigoPortkey: uma ferramenta de desenvolvimento para conectar vários modelos de IA e gerenciar aplicativosO
