Future AGI: Plataforma de observabilidade e avaliação para aplicativos de IA

Future AGI 是一个全面的AI生命周期管理平台，旨在帮助开发者和企业构建、评估、监控和优化他们的AI应用，特别是那些使用大语言模型（LLM）的应用。该平台提供从数据生成、模型实验到生产环境实时监控的全套工具，核心目标是解决AI应用（尤其是智能体）在准确性、可靠性和安全性方面的挑战。通过自动化的评估工具、详细的行为追踪（可观测性）和安全护栏，Future AGI致力于将AI应用的开发迭代时间从数天缩短至几分钟，帮助团队更快地将可靠的AI功能推向市场。

Lista de funções

• 数据集管理 (Dataset): 支持上传现有数据（CSV/JSON格式），或生成高质量的合成数据，用于全面训练和测试AI模型，有效覆盖各种边缘案例。
• 模型实验 (Experiment): 提供一个无需编码的可视化界面，用于测试、比较和分析多种AI工作流（Agentic Workflow）配置，并根据内置或自定义的评估指标找出最佳方案。
• 性能评估 (Evaluate): 能够自动评估和衡量AI智能体的性能，精准定位问题根源，并通过可操作的反馈来持续改进。平台拥有自研的评估模型，在多种场景下表现优于行业主流模型。
• 优化与改进 (Improve): 根据评估结果或用户反馈，系统可以自动优化和完善提示词（Prompt），从而提升AI应用的整体表现。
• 监控与保护 (Monitor & Protect): 在生产环境中实时追踪应用的性能指标，提供深入洞察，诊断潜在问题。同时，平台提供安全指标，能够以极低的延迟阻止不安全内容的生成，保护系统和用户。
• 多模态支持 (Custom and Multimodal): 评估能力覆盖文本、图像、音频和视频等多种数据类型，能够精准识别并反馈多模态应用中的错误。
• 无缝集成 (Integrate): 以开发者为中心，可以轻松集成到现有的工作流程中，支持OpenAI, Anthropic, LangChain, Vertex AI等行业标准工具和框架。

Usando a Ajuda

Future AGI平台设计的核心是简化AI应用的开发和维护流程。用户可以通过其提供的SDK（软件开发工具包）或直接在可视化界面上进行操作。以下是基于Python SDK接入Future AGI可观测性（Observability）功能的基本流程，这也是上手使用该平台的推荐起点。

第一步：环境准备与安装

首先，你需要安装Future AGI提供的Python库。这个库用于追踪和记录你的AI应用中与大语言模型（LLM）相关的所有操作。打开你的终端或命令行工具，执行以下pip命令：

# 假设库名为 traceai-openai，具体请参照官方文档
pip install traceAI-openai

第二步：获取并配置API密钥

为了让你的应用程序能和Future AGI平台通信，你需要三个关键的凭证：OPENAI_API_KEY（如果你正在使用OpenAI模型）、FI_API_KEYresponder cantandoFI_SECRET_KEY。后两个密钥需要登录Future AGI平台后在项目设置中获取。

获取密钥后，最佳实践是将它们设置为环境变量，以避免在代码中硬编码敏感信息。

export OPENAI_API_KEY="your-openai-api-key"
export FI_API_KEY="your-futureagi-api-key"
export FI_SECRET_KEY="your-futureagi-secret-key"

第三步：在代码中集成追踪功能

配置好密钥后，你需要在你的Python代码中初始化Future AGI的追踪服务。这通常只需要几行代码。

1. 导入必要的模块:
   Você precisa começar comfi_instrumentation库中导入registerresponder cantandoProjectType，并导入os库来读取环境变量。

   import os
   from fi_instrumentation import register, ProjectType
   from traceai_openai import OpenAIInstrumentor
   from openai import OpenAI
   

2. 注册并初始化追踪服务:
   在你的代码执行早期，调用register函数。你需要为你正在进行的项目指定一个项目名称，并设定项目类型为OBSERVE（观测）。这将返回一个trace_providerObjeto.

   # 确保环境变量已设置
   # os.environ["OPENAI_API_KEY"] = "your-openai-api-key"
   # os.environ["FI_API_KEY"] = "your-futureagi-api-key"
   # os.environ["FI_SECRET_KEY"] = "your-futureagi-secret-key"
   trace_provider = register(
   project_type=ProjectType.OBSERVE,
   project_name="my-first-openai-project", # 给你的项目起个名字
   )
   

3. 注入追踪器:
   接下来，将上一步创建的trace_provider注入到你使用的LLM客户端中。Future AGI为常用库（如OpenAI）提供了专门的Instrumentor.

   OpenAIInstrumentor().instrument(tracer_provider=trace_provider)
   

   执行这行代码后，所有通过OpenAI客户端发出的请求和接收到的响应都会被自动追踪，并将相关数据（如延迟、Token消耗、输入输出等）发送到你的Future AGI仪表盘上。

第四步：执行你的AI应用代码

现在，你可以像平常一样使用OpenAI客户端。所有API调用都会被自动记录。

例如，一个调用GPT-4o模型进行图片识别的例子：

# 创建OpenAI客户端实例
client = OpenAI()
# 调用API
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "这张图片里有什么?"},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
},
],
},
],
)
# 打印结果
print(response.choices[0].message.content)

第五步：在Future AGI平台查看和分析

代码运行后，登录Future AGI的网站，进入你创建的项目。你将看到一个可视化的仪表盘，其中包含了刚才那次API调用的完整链路追踪信息。

• 实时追踪仪表盘 (Tracing Dashboard): 你可以看到每次LLM交互的详细信息，包括输入的提示、模型的输出、调用的函数、花费的时间和成本。
• 失败与异常检测 (Failure and Anomaly Detection): 平台会自动标记出失败的调用或异常行为，并可以设置警报，当延迟过高、成本超支或评估指标不达标时通知你。
• 自定义评估 (Custom Evaluation): 你可以在平台上设置自动评估规则。例如，你可以创建一个评估项来检查模型的回答是否礼貌，或者是否包含了有害信息。这些评估结果会与追踪数据一起显示，让你对模型的表现有更深入的了解。

通过以上步骤，你就可以利用Future AGI强大的可观测性功能，开始系统地监控和改进你的AI应用了。

cenário do aplicativo

1. AI应用开发与调试
   在开发阶段，开发者需要不断测试和迭代他们的AI智能体。Future AGI提供了一个集成的环境，可以快速原型设计，并通过其强大的评估功能，系统地比较不同提示词或模型配置的优劣，从而找到最佳方案，大大缩短了调试和优化的时间。
2. 生产环境性能监控
   当AI应用部署到生产环境后，其表现可能会因为数据漂移或用户输入的多样性而下降。Future AGI的“Observe & Protect”功能可以实现7×24小时的实时监控，追踪关键业务指标和模型质量指标，一旦发现性能下降、幻觉增多或安全风险，会立即发出警报，帮助运维团队在影响扩大前介入处理。
3. 企业级AI的合规与安全
   对于金融、医疗等高合规性行业，确保AI的输出内容安全、无偏见且不泄露隐私至关重要。Future AGI的保护模块（Protect）可以作为一道安全护栏，实时过滤有害或不合规的输出，同时记录所有交互以备审计，帮助企业建立值得信赖的AI系统。
4. 自动化内容生成与评估
   对于使用AI进行内容创作（如文章摘要、营销文案、代码生成）的团队，评估生成内容的质量是一个核心痛点。Future AGI支持自定义评估指标，可以用自然语言定义“好的标准”（例如，摘要是否抓住了核心观点），从而实现对生成内容质量的自动化、规模化评估，摆脱了人工抽检的低效率。

QA

1. Future AGI平台适合什么类型的用户？
   该平台主要面向AI开发者、数据科学家以及负责部署和维护AI应用的企业技术团队。无论你是个人开发者快速构建原型，还是大型企业团队需要系统化的工具来保证生产环境中AI应用的可靠性，都可以从中受益。
2. Future AGI的评估功能与其他工具有何不同？
   Future AGI的核心优势之一是其专有的评估技术。它不仅提供了一系列预置的评估模型来检测幻觉、毒性、忠实度等，还允许用户用简单的自然语言创建自定义评估指标。此外，它的评估模型经过优化，成本更低，速度更快，准确性在多个基准上优于OpenAI和Gemini等通用大模型。
3. 接入Future AGI是否会对我的应用性能产生很大影响？
   不会。Future AGI的SDK和集成方式都经过了性能优化。例如，其“Protect”安全护栏功能的处理延迟低于50毫秒，对用户体验的影响微乎其微。数据追踪和遥测通常是异步进行的，不会阻塞核心的应用逻辑。
4. 我是否需要庞大的“黄金数据集”或人工标注才能使用评估功能？
   不需要。Future AGI的一个关键特性是其“无监督”评估能力，它可以在没有参考答案或“黄金数据集”的情况下， pinpoint（精准定位）输出中的错误。同时，平台也支持使用合成数据生成功能来创建多样化的测试集，从而减少对人工标注数据的依赖。