As etapas a seguir são necessárias para usar o Qwen3-8B-BitNet:
- Preparação ambientalInstalação do Python 3.8+ e criação de um ambiente virtual (recomendado)
- Instalação dependenteInstale os transformadores e as bibliotecas torch via pip (os usuários de GPU precisam instalar o PyTorch para CUDA).
- Carregamento do modeloCarregamento de modelos do Hugging Face usando o AutoModelForCausalLM e o AutoTokenizer
Exemplo de código de uso típico:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "codys12/Qwen3-8B-BitNet"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name,
torch_dtype="auto",
device_map="auto")
Ao gerar o texto, você pode alternar o modo de reflexão definindo o parâmetro enable_thinking com o método apply_chat_template.
Essa resposta foi extraída do artigoQwen3-8B-BitNet: um modelo de linguagem de código aberto para compactação eficienteO