ソリューション:MM-EUREKAのデータ効率に優れたトレーニング機能を活用
従来のマルチモーダルモデルは、望ましい結果を得るために何百万ものデータ・サンプルを必要としたが、MM-EUREKAはこの制限を打ち破る..:
- ルールベースの強化学習このシステムは、テキストによる推論ルールを視覚的な領域に移行し、生データへの依存を軽減する。実際には、設定ファイルを
use_rules=True機能を有効にするには - 少量サンプルの最適化技術このプロジェクトで提供される8B/38Bモデルは、8K-54Kデータで学習するように特別に設計されている:
- MM-エウレカの公式データセットをダウンロードする
- 修正
config.yaml正鵠を得るfew_shot: 8000パラメトリック - うごきだす
train.pyを追加する場合--few_shotシンボライズ
- データ強化プログラム::
- JSONLデータ内の画像に回転、トリミングなどの変換を追加(前処理コードの変更が必要)
- テキスト書き換えによる多様な問題記述の生成
推奨事項の実施最初の試みはルールエンジン+8Kデータサンプルの組み合わせで行い、効果が安定してからデータサイズを拡大することをお勧めします。
この答えは記事から得たものである。MM-EUREKA:視覚的推論を探求するマルチモーダル強化学習ツールについて































