SFT-LoRA微調整完了プロセス
- モデルダウンロードモデルスコープでベースモデルを取得
modelscope download --model Qwen/Qwen3-1.7B --local_dir ./Qwen3/Qwen3-1.7B
- データ準備トレーニングデータをプロジェクトが要求するJSONフォーマットに照合します。
- プライミングトレーニングコマンドラインからトレーニングスクリプトを実行します。
python Supervised_FineTuning/train_sft_dirty.py --model_path ./Qwen3/Qwen3-1.7B --dataset_path data/dirty_chinese_dpo.json --sft_adapter_output_dir ./output/sft_adapter_demo
- モデル検証トレーニング終了後の相互作用テスト
python inference/inference_dirty_sft.py --model_path ./Qwen3/Qwen3-1.7B --adapter_path ./output/sft_adapter_demo --mode interactive
テクニカル・アドバンテージ
LoRAテクノロジーは、以下のサイトで入手できる。低順位順応効率的なファインチューニングを実現することで、フルパラメーターによるファインチューニングと比較して、約90%のモデル性能を維持しながら、50%以上のメモリー消費を削減することができ、リソースの限られた開発シナリオに最適です。
この答えは記事から得たものである。Qwen3-FineTuning-Playground: Qwen3の大きなモデルを微調整するための、すぐに使えるコードベース。について
無断転載を禁じます：AI生産性ツール " SFT-LoRA法を用いたQwen3モデルのファインチューニングの正確なプロセスは？
日本語 
简体中文 
English 
Deutsch 
Português do Brasil