Qwen3-8B-BitNetを使用するには、以下の手順が必要です:
- 環境準備Python 3.8+をインストールし、仮想環境を作成する(推奨)
- 依存するインストールトランスフォーマーとtorchライブラリをpip経由でインストールする(GPUユーザーはPyTorch for CUDAをインストールする必要があります)。
- モデルローディングAutoModelForCausalLMとAutoTokenizerを使用したHugging Faceからのモデルのロード
典型的な使用例:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "codys12/Qwen3-8B-BitNet"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name,
torch_dtype="auto",
device_map="auto")
テキストを生成する際、apply_chat_templateメソッドでenable_thinkingパラメータを設定することで、思考モードを切り替えることができます。
この答えは記事から得たものである。Qwen3-8B-BitNet:効率的な圧縮のためのオープンソース言語モデルについて