AIラベル精度向上ソリューション
ハイブリッド・モデリング戦略
ある.envマルチモデルコラボレーションを設定する:FFUN_TAGGING_STRATEGY=hybrid
FFUN_OPENAI_MODEL=gpt-4-1106-preview
FFUN_GEMINI_MODEL=gemini-pro
システムはそうする:
- ジェミニを優先した一次分類(低コスト)
- GPT-4による信頼度のレビュー <80%
- 最終結果はPostgreSQLの
tags_metadataメートル
フィードバック・トレーニングの仕組み
- ユーザーは誤ったラベルを右クリックし、"Report Error "を選択する。
- システム記録
tag_errors.csv - 微調整データセットを毎週自動生成
ローカルモデルの選択肢
プライバシーの要求が高いユーザーは、次のことができる:
- Llama2のようなローカルLLMの展開
- 修正
ffun/librarian/taggers/local_llm.py - セットアップ
FFUN_LOCAL_LLM_ENDPOINT=http://localhost:5000
このソリューションは、タグの精度を72%から89%に改善するためにテストされた。
この答えは記事から得たものである。Feeds.Fun:自動的にタグ付けとフィルタリングを行うRSSフィードについて































