未来のAGI：AIアプリケーションのための観測可能性と評価プラットフォーム

Future AGIは、開発者や企業がAIアプリケーション、特に大規模言語モデル（LLM）を使用したAIアプリケーションを構築、評価、監視、最適化できるように設計された包括的なAIライフサイクル管理プラットフォームです。このプラットフォームは、AIアプリケーション、特にインテリジェンスの精度、信頼性、セキュリティの課題に対処することを中核目標として、データ生成、モデル実験から本番環境でのリアルタイム監視に至るまで、ツール一式を提供します。自動化された評価ツール、詳細な挙動追跡（観測可能性）、セキュリティ・ガードレールにより、Future AGIはAIアプリケーションの開発反復時間を数日から数分に短縮し、チームが信頼性の高いAI機能をより早く市場に投入できるよう支援します。

機能一覧

• データセットの管理。 既存のデータ（CSV/JSON形式）のアップロードや、AIモデルの包括的なトレーニングとテストのための高品質な合成データの生成をサポートし、幅広いエッジケースを効果的にカバーします。
• 実験だ。 複数のAIワークフロー構成をテスト、比較、分析し、組み込みまたはカスタムの評価メトリクスに基づいて最適なソリューションを特定するための、コーディング不要のビジュアル・インターフェースを提供します。
• 評価する。 AIインテリジェンスのパフォーマンスを自動的に評価・測定し、問題の根本原因を突き止め、実用的なフィードバックを通じて継続的に改善することができる。このプラットフォームは、様々なシナリオにおいて業界の主流モデルを凌駕する自社開発の評価モデルを備えている。
• 最適化と改善。 評価結果やユーザーからのフィードバックに基づいて、AIアプリケーションの全体的なパフォーマンスを向上させるために、システムは自動的にプロンプトを最適化することができます。
• 監視と保護。 アプリケーションのパフォーマンス・メトリクスは本番環境でリアルタイムに追跡され、潜在的な問題を診断するための洞察を提供します。同時に、このプラットフォームは、非常に低いレイテンシーで安全でないコンテンツの生成を停止できるセキュリティ・メトリクスを提供し、システムとユーザーを保護します。
• カスタムおよびマルチモーダル対応。 評価機能は、テキスト、画像、音声、ビデオなど幅広いデータタイプをカバーし、マルチモーダル・アプリケーションにおけるエラーの正確な特定とフィードバックを可能にする。
• シームレスな統合。 開発者中心で、OpenAIのサポートにより既存のワークフローに簡単に統合できます。 アンソロピックLangChain、Vertex AI、その他業界標準のツールやフレームワーク。

ヘルプの使用

Future AGIプラットフォームは、AIアプリケーションの開発と保守のプロセスを簡素化することに重点を置いて設計されています。ユーザーは、SDK（ソフトウェア開発キット）を通じて、または直接、可視化インターフェース上でこれを行うことができます。以下は、Python SDKに基づいてFuture AGIのObservability機能にアクセスするための基本的なプロセスです。

ステップ1：環境の準備とインストール

まず、Future AGIが提供するPythonライブラリをインストールする必要があります。このライブラリは、AIアプリケーションのLarge Language Model (LLM)に関連するすべての操作を追跡・記録するために使用されます。ターミナルまたはコマンドラインツールを開き、以下のpipコマンドを実行します：

# 假设库名为 traceai-openai，具体请参照官方文档
pip install traceAI-openai

ステップ2：APIキーの取得と設定

アプリケーションがFuture AGIプラットフォームと通信するためには、3つの重要な認証情報が必要です：OPENAI_API_KEY(OpenAIのモデルを使用している場合）、FI_API_KEY歌で応えるFI_SECRET_KEY最後の2つのキーは、Future AGIプラットフォームにログインした後に取得する必要があります。後の2つのキーは、Future AGIプラットフォームにログインした後、プロジェクト設定で取得する必要があります。

キーを取得したら、それを環境変数として設定し、コードに機密情報をハードコーディングしないようにするのがベスト・プラクティスである。

export OPENAI_API_KEY="your-openai-api-key"
export FI_API_KEY="your-futureagi-api-key"
export FI_SECRET_KEY="your-futureagi-secret-key"

ステップ3：トラッキングをコードに組み込む

キーを設定した後、PythonコードでFuture AGIのトラッキングサービスを初期化する必要があります。これは通常数行のコードで済みます。

1. 必要なモジュールのインポート:
   で始める必要がある。fi_instrumentationライブラリからのインポートregister歌で応えるProjectTypeと輸入osライブラリを使用して環境変数を読み込む。

   import os
   from fi_instrumentation import register, ProjectType
   from traceai_openai import OpenAIInstrumentor
   from openai import OpenAI
   

2. トラッキングサービスの登録と初期化:
   コード実行の初期段階でregister機能作業中のプロジェクトのプロジェクト名を指定し、プロジェクトのタイプをOBSERVE(観測）。これはtrace_providerオブジェクト。

   # 确保环境变量已设置
   # os.environ["OPENAI_API_KEY"] = "your-openai-api-key"
   # os.environ["FI_API_KEY"] = "your-futureagi-api-key"
   # os.environ["FI_SECRET_KEY"] = "your-futureagi-secret-key"
   trace_provider = register(
   project_type=ProjectType.OBSERVE,
   project_name="my-first-openai-project", # 给你的项目起个名字
   )
   

3. インジェクション・トラッカー:
   次にtrace_provider使用するLLMクライアントに注入される。Instrumentor.

   OpenAIInstrumentor().instrument(tracer_provider=trace_provider)
   

   このコードを実行すると、OpenAIクライアントを介して行われたすべてのリクエストと受信したレスポンスが自動的に追跡され、関連するデータ（待ち時間、トークンの消費量、入力と出力など）がFuture AGIのダッシュボードに送信されます。

ステップ4：AIアプリケーションコードを実行する

これで、OpenAIクライアントをいつも通り使うことができます。すべてのAPIコールは自動的にログに記録されます。

例えば、画像認識のためにGPT-4oモデルを呼び出す例：

# 创建OpenAI客户端实例
client = OpenAI()
# 调用API
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "这张图片里有什么?"},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
},
],
},
],
)
# 打印结果
print(response.choices[0].message.content)

ステップ5：Future AGIプラットフォームでの表示と分析

コードを実行したら、Future AGIのウェブサイトにログインし、作成したプロジェクトに移動する。ビジュアルダッシュボードが表示され、今行ったAPIコールのリンクトレース情報が表示されます。

• トレース・ダッシュボード 入力プロンプト、モデル出力、呼び出された関数、費やされた時間、コストなど、各LLMインタラクションに関する詳細情報を見ることができます。
• 故障と異常の検出。 このプラットフォームは、失敗したコールや異常な動作に自動的にフラグを立て、レイテンシーが高すぎたり、コストが超過したり、評価指標が満たされていない場合にアラートを設定して通知することができます。
• カスタム評価。 プラットフォーム上で自動評価ルールを設定することができます。例えば、モデルの回答が丁寧かどうか、有害な情報が含まれていないかどうかをチェックする評価項目を作成することができます。これらの評価結果はトラッキングデータと一緒に表示され、モデルのパフォーマンスをより深く知ることができます。

これらの手順により、Future AGIの強力な観測可能機能を使用して、AIアプリケーションの体系的な監視と改善を開始できます。

アプリケーションシナリオ

1. AIアプリケーションの開発とデバッグ
   開発段階では、開発者は常にAIインテリジェンスをテストし、反復する必要があります。future AGIは、迅速なプロトタイピングのための統合環境を提供し、強力な評価機能によって、異なるキューやモデル構成の長所と短所を体系的に比較し、最適なソリューションを見つけ、デバッグと最適化の時間を大幅に短縮します。
2. 本番環境のパフォーマンス監視
   フューチャーAGIのObserve & Protect機能は、24時間365日のリアルタイム監視を可能にし、主要なビジネス指標とモデル品質指標を追跡し、パフォーマンスの低下やセキュリティリスクが検出されるとすぐにO&Mチームに警告を発します。パフォーマンスの低下、イリュージョンの増加、セキュリティリスクが検出されるとすぐにアラートが送信され、影響が出る前に運用チームが介入できるようにします。
3. エンタープライズAIのコンプライアンスとセキュリティ
   金融やヘルスケアなどのコンプライアンスが厳しい業界では、AIの出力が安全で、偏りがなく、プライバシーを損なわないことを保証することが重要です。Future AGIのProtectモジュールは、セキュリティフェンスとして機能し、有害な出力やコンプライアンスに反する出力をリアルタイムでフィルタリングするとともに、監査目的ですべてのインタラクションを記録し、組織が信頼できるAIシステムを構築するのに役立ちます。
4. コンテンツの自動生成と評価
   コンテンツ作成（記事の要約、マーケティングコピー、コード生成など）にAIを使用するチームにとって、生成されたコンテンツの品質を評価することは中核的なペインポイントであり、Future AGIは、自然言語で「良い基準」を定義するカスタマイズされた評価指標（要約が核となるアイデアを捉えているかなど）をサポートし、生成されたコンテンツの品質の自動化されたスケーラブルな評価を可能にする。これにより、生成されたコンテンツの品質の自動化された大規模な評価が可能になり、手作業によるサンプリングの非効率性が解消される。

品質保証

1. Future AGI Platformはどのようなユーザー向けですか？
   このプラットフォームは、AI開発者、データサイエンティスト、AIアプリケーションのデプロイと保守を担当する企業技術チームを対象としています。迅速なプロトタイプを構築する個人開発者であれ、本番環境におけるAIアプリケーションの信頼性を確保するための体系的なツールを必要とする大規模な企業チームであれ、その恩恵を受けることができる。
2. Future AGIの評価機能は他のツールとどう違うのか？
   Future AGIの強みの一つは、独自の評価技術である。幻覚、毒性、忠実度などを検出するためのさまざまな評価モデルをあらかじめ提供しているだけでなく、ユーザーが簡単な自然言語でカスタム評価指標を作成することもできる。さらに、その評価モデルは、OpenAIやGeminiのような汎用のマクロモデルを複数のベンチマークで凌駕する精度で、より安価に、より高速になるように最適化されている。
3. Future AGIへのアクセスは、アプリケーションのパフォーマンスに大きな影響を与えますか？
   フューチャーAGIのSDKと統合方法は、パフォーマンスのために最適化されています。例えば、安全フェンス機能「Protect」の処理待ち時間は50ミリ秒未満で、ユーザーエクスペリエンスへの影響は最小限です。データの追跡と遠隔測定は、多くの場合非同期で行われ、コア・アプリケーション・ロジックをブロックすることはありません。
4. 評価機能を使うには、大規模な「ゴールデンデータセット」や手作業によるラベリングが必要ですか？
   Future AGIの主な特長は、「教師なし」評価機能であり、回答や「ゴールデンデータセット」を参照することなく、出力のエラーを特定する。また、このプラットフォームは、多様なテスト・セットを作成するための合成データ生成をサポートし、手作業でラベル付けされたデータへの依存を低減します。