3段階の最適化プログラム
4～8GBのRAMを搭載した平均的なPCの場合、パフォーマンスは..：
- モデルの選択例えば、論文で推奨されているgemma-3-1b-itは、オリジナルのFP16モデルに比べて75%の容量削減が可能ですが、90%以上の効果を保持しています。
- システム最適化::
- 他のメモリを大量に消費するプログラム（ブラウザなど）を終了し、少なくとも2GBの空きメモリがあることを確認する。
- プログラム実行中にEXEファイルを右クリック → プロパティ → 「管理者として実行」にチェックを入れる（必須ではありませんが、リソースの優先度を上げることができます）。
- ヒントとコツ::
- モデルを初めてロードした後、頻繁に切り替えることを避け、モデルをメモリに保持する。
- モデルファイルをUSB3.0の高速USBスティックに入れることで、10%のロード時間を短縮
- 複雑な課題を複数の短い対話文に分割（1つの設問は200語以内）
最適化された生成速度は、i5-8250U/8GBのエントリーノートPCで、8トークン/秒から18-22トークン/秒まで使えることがテストされている。それでも需要を満たせない場合は、より極端なQ2_K量子化モデル（精度は落ちるが、サイズは再び半分になる）を試してみてください。
この答えは記事から得たものである。ローカルLLMメモ帳：ローカル大規模言語モデルをオフラインで実行するポータブルツールについて
無断転載を禁じます：AI生産性ツール " 低構成のコンピュータで、ローカルの大きな言語モデルの速度を向上させるには？
