MagicArenaはマルチレベルの評価システムを採用しています。ベースレベルではマスユーザーからの2択投票を集め、エキスパートレベルでは200人以上のCGアーティストを招き、プロフェッショナルな評価を与え、システムレベルではCLIPやその他の評価モデルによって自動的に採点します。この3重のデータが重み付けされ、計算され、日次／週次／月次リストの3つの次元でリアルタイムに更新される。
ランキングアルゴリズムには次のような特徴がある：1）「初心者保護期間」が設定され、新しく発売されたモデルの最初の48時間のデータが別に計算される、2）Elo競技採点システムが使用され、勝利したモデルが獲得したポイントは対戦相手のランクと正の相関関係がある、3）「テーマ別ランキング」がある。分野ごとのモデルの性能差を追跡するための「テーマ別ランキング」がある。現在のランキングデータでは、現実的なタスクでは商用モデルが優位を保ち、抽象的な創造カテゴリではオープンソースコミュニティモデルが23%を抜いている。
このランキングは業界の重要な風見鶏となっており、あるクラウドサービス・プロバイダーの最新モデル調達計画では、意思決定の根拠としてプラットフォームの6ヶ月間のトレンドデータが直接参照されている。最近追加された「エンタープライズAPIアクセス」機能により、組織は標準化された評価レポートに直接アクセスできる。
この答えは記事から得たものである。MagicArena：ビジュアルモデルのマッチメイキング・ランキング・プラットフォームをヘッドラインが開始について
