自動化されたモデル評価ワークフローは、次のようにして作成できる:
- テスト問題を含むデータセットのインポート
- 同じプロンプト構造を使用して、テストするモデルごとに個別の回答欄を作成する。
- 応答1: {{model1}}, 応答2: {{model2}} の{{prompt}}を評価する'というプロンプトテンプレートを持つ判定カラムを追加する。
- より大きなパラメトリックモデル(例えば70Bレベル)を判定基準として使用することができる。
- このシステムは、品質スコアを含む比較結果を自動的に生成します。
- ハブへのエクスポート」機能により、試験構成と結果を完全に保存できます。
このソリューションは、新しいリリースモデルを定期的に評価する必要がある研究開発チームに特に適しており、手作業による評価時間を80%以上節約できる。
この答えは記事から得たものである。AIシート:コードなしでテーブルのAIモデルを使用してデータセットを構築し、処理する。について