3値重み付けモデルの出力精度を高めるための実践的アプローチ
Bonsaiはパラメトリック圧縮技術を使用しているが、以下の方法で生成は大幅に改善できる:
- パラメーター・チューニングの組み合わせ::
- 温度係数(0.3~0.7の範囲で実際のQ&Aに適している)
- トップ-pサンプリング(多様性と精度のバランスをとるために0.9~0.95を推奨)
- リピートペナルティ(設定)
repetition_penalty=1.2(周期的な出力を避ける)
- 入力の前処理::
- 次のようなタスク接頭辞を追加する。
[问答]そして[摘要]意図の明確化 - 専門的な分野の質問については、プロンプトに3~5個のキーワードコンテクストを記入してください。
- 次のようなタスク接頭辞を追加する。
- 再処理技術::
- 支出
skip_special_tokens=True制御文字のフィルタリング - ルールエンジンと連動した事実関係のチェック(日付、地名など
- 支出
実証実験によると、最適化されたBonsaiは、一般的な知識に関するクイズ課題において、18-23%の精度を向上させることができる。
この答えは記事から得たものである。Bonsai: エッジデバイスでの操作に適した3値重み付き言語モデルについて































