海外からのアクセス:www.kdjingpai.com
Ctrl + D このサイトをブックマークする
現在の場所図頭 " AIアンサー

OpenBenchを拡張して新しいベンチマークをサポートするには?

2025-08-19 246

inspect-aiフレームワークの拡張性に基づき、新しいベンチマークテストを追加する手順は以下の通りである:

  • のプロジェクト・ディレクトリにある。benchmarks/を継承する新しいPythonモジュールを作成する。BaseBenchmark類似
  • 履行load_dataset()歌で応えるevaluate()方法論、評価ロジックの定義
  • デコレーターによる@register_benchmarkテストの登録、メタデータの設定(カテゴリー、難易度など)
  • 新築conftest.pyデータセットダウンロードロジックの追加(HuggingFaceパーミッションの処理が必要)
  • 利用するuv run pytest benchmarks/新测试名検証の実施
  • とおすbench list新しいテストが利用可能なリストに表示されたことを確認する。

コードのスタイルを統一するために、MMLU のような既存のテストの実装を参照することが推奨される。

おすすめ

AIツールが見つからない?こちらをお試しください!

キーワードを入力する アクセシビリティこのサイトのAIツールセクションは、このサイトにあるすべてのAIツールを素早く簡単に見つける方法です。

トップに戻る

ja日本語