ビデオメモリ不足の解決策
一般的なコンピュータのビデオメモリ不足の問題は、次の3つの技術的解決策で解決できる：
- QLoRA定量化プログラム7Bモデルの必要メモリを6GBに減らすために、4ビット精度でトレーニングする。ロードイン_4ビットパラメータはTrue
- 分散型トレーニング・プログラムDeepSpeedのZeRO-2オプティマイザで、複数のコンシューマ向けグラフィックスカードを連携して使用し、ビデオメモリを共有します。インストールコマンド
uv pip install deepspeed - クラウドサービス代替案T4（16GB）以上のグラフィックカードを搭載したインスタンスを選択するように注意してください。
ビデオメモリが8GBのコンピュータの場合、1) batch_sizeを2に下げる、2) gradient_checkpointingを有効にする、3) CPUオフロード技術を使用する、という追加ステップを取ることができます。具体的には、train_sft.pyに以下を追加する必要があります。--gradient_checkpointing --offload_param=cpuパラメトリック
この答えは記事から得たものである。WeClone：WeChatのチャットログと音声を使ったデジタル・ドッペルゲンガーの育成について
日本語 
简体中文 
English 
Deutsch 
Português do Brasil