Future AGI: Plataforma de observabilidade e avaliação para aplicativos de IA

A Future AGI é uma plataforma abrangente de gerenciamento do ciclo de vida da IA projetada para ajudar desenvolvedores e empresas a criar, avaliar, monitorar e otimizar seus aplicativos de IA, especialmente aqueles que usam modelos de linguagem grande (LLMs). A plataforma oferece um conjunto completo de ferramentas, desde a geração de dados e a experimentação de modelos até o monitoramento em tempo real de ambientes de produção, com o objetivo principal de enfrentar os desafios de precisão, confiabilidade e segurança dos aplicativos de IA, especialmente as inteligências. Com ferramentas de avaliação automatizadas, rastreamento comportamental detalhado (observabilidade) e proteções de segurança, o Future AGI trabalha para reduzir o tempo de iteração do desenvolvimento de aplicativos de IA de dias para minutos, ajudando as equipes a levar recursos confiáveis de IA ao mercado mais rapidamente.

Lista de funções

• Gerenciamento de conjuntos de dados. Suporta o upload de dados existentes (formato CSV/JSON) ou a geração de dados sintéticos de alta qualidade para treinamento e teste abrangentes de modelos de IA, cobrindo efetivamente uma ampla gama de casos extremos.
• Experimento. Fornece uma interface visual sem codificação para testar, comparar e analisar várias configurações de fluxo de trabalho de IA e identificar a melhor solução com base em métricas de avaliação incorporadas ou personalizadas.
• Avaliar. Ela é capaz de avaliar e medir automaticamente o desempenho das inteligências de IA, identificar a causa raiz dos problemas e melhorar continuamente por meio de feedback acionável. A plataforma tem um modelo de avaliação desenvolvido por ela mesma que supera os modelos convencionais do setor em uma variedade de cenários.
• Otimizar e melhorar. Com base nos resultados da avaliação ou no feedback do usuário, o sistema pode otimizar e refinar automaticamente as palavras do prompt (Prompt) para melhorar o desempenho geral do aplicativo de IA.
• Monitorar e proteger. As métricas de desempenho dos aplicativos são rastreadas em tempo real nos ambientes de produção, fornecendo insights para diagnosticar possíveis problemas. Ao mesmo tempo, a plataforma fornece métricas de segurança que podem interromper a geração de conteúdo inseguro com latência muito baixa, protegendo sistemas e usuários.
• Suporte personalizado e multimodal. Os recursos de avaliação abrangem uma ampla variedade de tipos de dados, incluindo texto, imagem, áudio e vídeo, permitindo a identificação precisa e o feedback de erros em aplicativos multimodais.
• Integração perfeita. Centrado no desenvolvedor e facilmente integrado aos fluxos de trabalho existentes com suporte para OpenAI, o AntrópicaLangChain, Vertex AI e outras ferramentas e estruturas padrão do setor.

Usando a Ajuda

A plataforma Future AGI foi projetada com foco principal na simplificação do processo de desenvolvimento e manutenção de aplicativos de IA. Os usuários podem fazer isso por meio do SDK (Software Development Kit) fornecido ou diretamente na interface de visualização. A seguir, apresentamos o processo básico para acessar os recursos de observabilidade do Future AGI com base no Python SDK, que é o ponto de partida recomendado para começar a usar a plataforma.

Etapa 1: Preparação e instalação do ambiente

Primeiro, você precisa instalar a biblioteca Python fornecida pela Future AGI. Essa biblioteca é usada para rastrear e registrar todas as operações relacionadas ao Large Language Model (LLM) em seu aplicativo de IA. Abra seu terminal ou ferramenta de linha de comando e execute o seguinte comando pip:

# 假设库名为 traceai-openai，具体请参照官方文档
pip install traceAI-openai

Etapa 2: Obter e configurar a chave da API

Para que seu aplicativo se comunique com a plataforma Future AGI, você precisa de três credenciais principais:OPENAI_API_KEY(se você estiver usando modelos OpenAI),FI_API_KEYresponder cantandoFI_SECRET_KEYAs duas últimas chaves precisam ser obtidas após o login na plataforma do Future AGI. As duas últimas chaves precisam ser obtidas nas configurações do projeto após o login na plataforma do Future AGI.

Depois de obter as chaves, a prática recomendada é defini-las como variáveis de ambiente para evitar a codificação de informações confidenciais em seu código.

export OPENAI_API_KEY="your-openai-api-key"
export FI_API_KEY="your-futureagi-api-key"
export FI_SECRET_KEY="your-futureagi-secret-key"

Etapa 3: Integre o rastreamento em seu código

Depois de configurar a chave, você precisa inicializar o serviço de rastreamento do Future AGI em seu código Python. Isso geralmente requer apenas algumas linhas de código.

1. Importação dos módulos necessários:
   Você precisa começar comfi_instrumentationImportação de bibliotecasregisterresponder cantandoProjectTypee importarospara ler variáveis de ambiente.

   import os
   from fi_instrumentation import register, ProjectType
   from traceai_openai import OpenAIInstrumentor
   from openai import OpenAI
   

2. Registre e inicialize o serviço de rastreamento:
   No início da execução de seu código, chameregisterFunção. É necessário especificar um nome de projeto para o projeto em que está trabalhando e definir o tipo de projeto comoOBSERVE(Observação). Isso retornará umtrace_providerObjeto.

   # 确保环境变量已设置
   # os.environ["OPENAI_API_KEY"] = "your-openai-api-key"
   # os.environ["FI_API_KEY"] = "your-futureagi-api-key"
   # os.environ["FI_SECRET_KEY"] = "your-futureagi-secret-key"
   trace_provider = register(
   project_type=ProjectType.OBSERVE,
   project_name="my-first-openai-project", # 给你的项目起个名字
   )
   

3. rastreador de injeção:
   Em seguida, pegue otrace_providerinjetado no cliente LLM que você está usando. O AGI do futuro ofereceInstrumentor.

   OpenAIInstrumentor().instrument(tracer_provider=trace_provider)
   

   Após a execução dessa linha de código, todas as solicitações feitas e as respostas recebidas por meio do cliente OpenAI são automaticamente rastreadas e os dados relevantes (por exemplo, latência, consumo de token, entradas e saídas etc.) são enviados para o painel do Future AGI.

Etapa 4: Execute o código do aplicativo de IA

Agora você pode usar o cliente OpenAI como de costume. Todas as chamadas de API são registradas automaticamente.

Por exemplo, um exemplo de chamada do modelo GPT-4o para reconhecimento de imagem:

# 创建OpenAI客户端实例
client = OpenAI()
# 调用API
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "这张图片里有什么?"},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
},
],
},
],
)
# 打印结果
print(response.choices[0].message.content)

Etapa 5: Visualizar e analisar na plataforma Future AGI

Quando o código estiver em execução, faça login no site do Future AGI e acesse o projeto que você criou. Você verá um painel visual com as informações completas de rastreamento de link para a chamada de API que acabou de fazer.

• Painel de controle de rastreamento. Você pode ver informações detalhadas sobre cada interação com o LLM, incluindo prompts de entrada, saídas do modelo, funções chamadas, tempo gasto e custo.
• Detecção de falhas e anomalias. A plataforma sinaliza automaticamente chamadas com falha ou comportamento anômalo, e você pode configurar alertas para notificá-lo quando a latência for muito alta, os custos forem excedidos ou as métricas de avaliação não forem atendidas.
• Avaliação personalizada. Você pode configurar regras de avaliação automática na plataforma. Por exemplo, você pode criar um item de avaliação para verificar se a resposta de um modelo é educada ou se contém informações prejudiciais. Os resultados dessas avaliações são exibidos juntamente com os dados de rastreamento, fornecendo mais informações sobre o desempenho do modelo.

Com essas etapas, você pode começar a monitorar e melhorar sistematicamente seus aplicativos de IA usando os poderosos recursos de observabilidade do Future AGI.

cenário do aplicativo

1. Desenvolvimento e depuração de aplicativos de IA
   Durante a fase de desenvolvimento, os desenvolvedores precisam testar e iterar constantemente suas inteligências de IA. O future AGI oferece um ambiente integrado para prototipagem rápida e comparação sistemática das vantagens e desvantagens de diferentes dicas ou configurações de modelos para encontrar a melhor solução por meio de seus poderosos recursos de avaliação, reduzindo consideravelmente o tempo de depuração e otimização.
2. Monitoramento do desempenho do ambiente de produção
   Quando os aplicativos de IA são implantados em ambientes de produção, seu desempenho pode ser prejudicado pelo desvio de dados ou pela variedade de entradas do usuário. O recurso Observe & Protect do future AGI permite o monitoramento em tempo real 24 horas por dia, 7 dias por semana, rastreando as principais métricas de negócios e indicadores de qualidade do modelo e alertando as equipes de O&M assim que uma queda no desempenho ou um risco de segurança é detectado. Assim que uma queda no desempenho, um aumento nas ilusões ou um risco de segurança é detectado, um alerta é enviado, ajudando as equipes de operações a intervir antes que o impacto seja sentido.
3. Conformidade e segurança para IA empresarial
   Para setores de alta conformidade, como o financeiro e o de saúde, é fundamental garantir que os resultados da IA sejam seguros, imparciais e não comprometam a privacidade. O módulo Protect do Future AGI atua como uma barreira de segurança, filtrando resultados prejudiciais ou fora de conformidade em tempo real e registrando todas as interações para fins de auditoria, ajudando as organizações a criar sistemas de IA confiáveis.
4. Geração e avaliação automatizadas de conteúdo
   Para as equipes que usam IA para a criação de conteúdo (por exemplo, resumos de artigos, textos de marketing, geração de códigos), a avaliação da qualidade do conteúdo gerado é um ponto problemático central, e o Future AGI oferece suporte a métricas de avaliação personalizadas para definir "bons critérios" em linguagem natural (por exemplo, se o resumo captura a ideia central), permitindo assim a avaliação automatizada e em escala da qualidade do conteúdo gerado. Isso permite a avaliação automatizada e em grande escala da qualidade do conteúdo gerado, eliminando a ineficiência da amostragem manual.

QA

1. A que tipo de usuário se destina a Future AGI Platform?
   A plataforma é destinada a desenvolvedores de IA, cientistas de dados e equipes de tecnologia corporativa responsáveis pela implantação e manutenção de aplicativos de IA. Não importa se você é um desenvolvedor individual que está criando um protótipo rápido ou uma grande equipe empresarial que precisa de ferramentas sistemáticas para garantir a confiabilidade dos aplicativos de IA em ambientes de produção, você pode se beneficiar dela.
2. Como o recurso de avaliação do AGI Futuro difere de outras ferramentas?
   Um dos principais pontos fortes do Future AGI é sua tecnologia de avaliação proprietária. Além de oferecer uma série de modelos de avaliação pré-criados para detectar alucinações, toxicidade, fidelidade etc., também permite que os usuários criem métricas de avaliação personalizadas em linguagem natural simples. Além disso, seus modelos de avaliação são otimizados para serem mais baratos e mais rápidos, com precisão que supera os macromodelos de uso geral, como o OpenAI e o Gemini, em vários benchmarks.
3. O acesso ao Future AGI terá um grande impacto no desempenho do meu aplicativo?
   Não. O SDK e os métodos de integração do Future AGI são otimizados para desempenho. Por exemplo, a latência de processamento do recurso de cerca de segurança "Protect" é inferior a 50 milissegundos, com impacto mínimo na experiência do usuário. O rastreamento e a telemetria de dados geralmente são assíncronos e não bloqueiam a lógica do aplicativo principal.
4. Preciso de um grande "conjunto de dados de ouro" ou de rotulagem manual para usar a função de avaliação?
   Não. Um recurso importante do Future AGI é seu recurso de avaliação "não supervisionada", que identifica erros na saída sem referência a uma resposta ou a um "conjunto de dados de ouro". A plataforma também suporta o uso da geração de dados sintéticos para criar diversos conjuntos de testes, reduzindo a dependência de dados rotulados manualmente.