データベースの構造
| モデル/カタログ | 説明と内容 |
|---|---|
| アホロートル | 言語モデルを微調整するフレームワーク |
| ジェマ | グーグルのビッグ言語モデルの最新実装 |
– finetune-gemma.ipynb – gemma-sft.py – Gemma_finetuning_notebook.ipynb |
ノートブックとスクリプトの微調整 |
| ラマ2 | メタのオープンソース大規模言語モデル |
– generate_response_stream.py – Llama2_finetuning_notebook.ipynb – Llama_2_Fine_Tuning_using_QLora.ipynb |
実施と微調整のガイドライン |
| ラマ3 | メタ大規模言語モデリングの今後の実験 |
– Llama3_finetuning_notebook.ipynb |
初期微調整実験 |
| ラマファクトリー | 大規模言語モデルの学習と展開のためのフレームワーク |
| LLMArchitecture/ParameterCount | モデル・アーキテクチャの技術的詳細 |
| ミストラル-7b | ミストラルAI 70億パラメータモデル |
– LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb – Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb – notebooks_chatml_inference.ipynb – notebooks_DPO_fine_tuning.ipynb – notebooks_SFTTrainer TRL.ipynb – SFT.py |
評価、微調整、推論のための統合ノートブック |
| ミクストラル | ミックストラルのエキスパート・ミキシング・モデル |
– Mixtral_fine_tuning.ipynb |
微調整の実現 |
| ブイエルエム | 視覚言語モデル |
– Florence2_finetuning_notebook.ipynb – PaliGemma_finetuning_notebook.ipynb |
視覚言語モデルの実装 |
モジュールの概要
1.LLMアーキテクチャ
- 以下のモデルの実装を調べる：
- ラマ2（メタのオープンソースモデル）
- Mistral-7b（効率的な70億パラメータモデル）
- ミクストラル（エキスパート混合アーキテクチャ）
- ジェマ（グーグルの最新寄稿文）
- ラマ3（今後の実験）
2. 🛠️ 微調整技術
- 実施戦略
- LoRA（低ランク適応）の方法論
- 高度な最適化手法
3. 🏗️ モデルのアーキテクチャ分析
- モデルの構造に関する徹底的な研究
- パラメータ算出方法
- スケーラビリティに関する考察
4. 🔧 職業上の充実感
- プログラミング・タスクのためのコードラマ
- 視覚言語モデリング：
- フローレンス2
- パリジェンマ
5.💻実践的アプリケーション
- 統合されたジュピター・ノートブック
- レスポンス・ジェネレーション・パイプライン
- 推論実施ガイド
6. 🚀 高度なテーマ
- DPO（ダイレクト・プリファレンス・オプティマイゼーション）
- SFT（スーパーバイズド・ファイン・チューニング）
- 評価方法
無断転載を禁じます：チーフAIシェアリングサークル " AI工学研究所：3ファインチューニング（大規模言語モデルの微調整）
日本語 
简体中文 
English 
Deutsch 
Português do Brasil