Baichuan-M2: um modelo de linguagem grande para raciocínio aumentado na área de saúde

O Baichuan-M2 é um modelo de linguagem grande de código aberto com 32 bilhões (32B) de parâmetros da Baichuan Intelligence. O modelo se concentra no domínio médico e foi projetado para lidar com tarefas de raciocínio médico do mundo real. Ele se baseia no modelo Qwen2.5-32B para o desenvolvimento secundário e, ao introduzir o inovador Large Verifier System e o treinamento especializado de adaptação ao domínio médico, aprimora significativamente os recursos profissionais em cenários médicos, ao mesmo tempo em que mantém sólidos conhecimentos gerais e recursos de raciocínio. Capacidade. De acordo com os dados oficiais do conjunto de análises do HealthBench, o Baichuan-M2-32B supera vários modelos semelhantes, inclusive o modelo de código aberto mais recente da OpenAI. Um destaque do modelo é que ele foi otimizado para suportar a quantização de 4 bits, permitindo a implementação e a inferência eficientes em uma única placa de vídeo de nível de consumidor, como a RTX 4090, reduzindo significativamente a barreira ao uso.

Lista de funções

• Desempenho médico superiorDesempenho superior ao de vários modelos conhecidos de código aberto e fechado no HealthBench, o conjunto de revisões médicas autorizadas, e lidera os modelos de código aberto em recursos médicos.
• Alinhamento do pensamento médicoOs dados de treinamento contêm casos clínicos reais e simuladores de pacientes, permitindo que o modelo compreenda e simule melhor o raciocínio de diagnóstico clínico e a interação eficaz entre médico e paciente.
• Raciocínio de implantação eficienteSuporte à tecnologia de quantização de 4 bits: os usuários podem implementar o modelo em uma única placa de vídeo RTX 4090, obtendo alta taxa de transferência de tokens e reduzindo significativamente os custos de hardware.
• Sistemas de validação em larga escalaUm sistema de validação exclusivo com um "simulador de paciente" integrado baseado em casos reais, que avalia e valida dinamicamente os resultados do modelo em oito dimensões, incluindo a precisão médica e a integridade da resposta.
• Adaptação aprimorada do domínioConhecimento médico: o conhecimento médico é injetado no modelo por meio do treinamento intermediário, e uma estratégia de aprendizado por reforço em vários estágios é usada para aprimorar a especialização médica e, ao mesmo tempo, manter efetivamente seus recursos de uso geral.
• Modelo básico potenteConstrução baseada no excelente modelo grande de uso geral Qwen2.5-32B, que estabelece uma base sólida para os fortes recursos abrangentes do modelo.

Usando a Ajuda

Os usuários podem acessar o site do Hugging FacetransformersA biblioteca carrega e usa facilmente o modelo Baichuan-M2-32B. Veja a seguir o procedimento detalhado para usá-la:

1. preparação ambiental

Em primeiro lugar, as bibliotecas Python necessárias precisam ser instaladas, principalmente a bibliotecatransformersresponder cantandoaccelerate. A versão mais recente é recomendada para melhor compatibilidade.

pip install transformers>=4.42.0
pip install accelerate

Além disso, para obter melhor desempenho, recomenda-se instalar a versão CUDA do PyTorch e certificar-se de que os drivers NVIDIA estejam configurados corretamente em seu ambiente.

2. modelos de carregamento e divisores de palavras

fazer uso deAutoModelForCausalLMresponder cantandoAutoTokenizerOs modelos podem ser facilmente baixados e carregados a partir do Hugging Face Hub.

# 引入必要的库
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
# 指定模型ID
model_id = "baichuan-inc/Baichuan-M2-32B"
# 加载模型，trust_remote_code=True是必需的，因为它会执行模型仓库中的自定义代码
# 如果有支持BF16的GPU，可以使用torch.bfloat16以获得更好的性能
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
torch_dtype=torch.bfloat16,  # 使用bfloat16以节省显存
device_map="auto"  # 自动将模型分配到可用的设备上（如GPU）
)
# 加载对应的分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)

3. estruturação do conteúdo de entrada

O Baichuan-M2-32B usa um modelo de diálogo específico. Para interagir corretamente com o modelo, é necessário usar otokenizer.apply_chat_templatepara formatar a entrada. O modelo oferece suporte a umthinking_mode(Thinking Mode), que permite a saída de um processo de pensamento antes de gerar a resposta final.

# 定义用户输入的问题
prompt = "被虫子咬了之后肿了一大块，怎么样可以快速消肿？"
# 按照官方格式构建输入消息
messages = [
{"role": "user", "content": prompt}
]
# 使用apply_chat_template将消息转换为模型所需的输入字符串
# thinking_mode可以设置为 'on', 'off', 或 'auto'
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
thinking_mode='on'
)
# 将文本编码为模型输入的张量
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

4. geração e análise de respostas

Chamando a funçãogeneratepara gerar respostas. Como o modo de raciocínio está ativado, a saída do modelo conterá tanto o processo de raciocínio quanto a resposta final, que precisa ser analisada.

# 使用模型生成回复
# max_new_tokens控制生成内容的最大长度
generated_ids = model.generate(
**model_inputs,
max_new_tokens=4096
)
# 从生成结果中移除输入部分，只保留新生成的内容
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
# 解析思考过程和最终内容
# 思考过程以特殊标记 </think> (ID: 151668) 结尾
try:
# 找到 </think> 标记的位置
think_token_id = 151668
index = len(output_ids) - output_ids[::-1].index(think_token_id)
except ValueError:
# 如果没有找到标记，则认为全部是内容
index = 0
# 解码思考过程和最终答案
thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip()
content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip()
# 打印结果
print("【思考过程】:", thinking_content)
print("【最终答案】:", content)

5. implantação de serviços de API

Para cenários em que os modelos precisam ser implantados como serviços, você pode usar osglangtalvezvllme outros mecanismos de inferência para criar um endpoint de API compatível com a OpenAI.

Implementação com SGLang.

python -m sglang.launch_server --model-path baichuan-inc/Baichuan-M2-32B --reasoning-parser qwen3

Implementação com vLLM.

vllm serve baichuan-inc/Baichuan-M2-32B --reasoning-parser qwen3

Depois que o serviço é iniciado, é possível interagir com o modelo por meio de solicitações HTTP, da mesma forma que chamar a API da OpenAI.

cenário do aplicativo

1. Auxiliares de decisão clínica
   Em diagnósticos clínicos complexos, o modelo pode fornecer aos médicos ideias para diagnósticos diferenciais, referências às opções de tratamento mais recentes e consultas de informações sobre medicamentos, ajudando-os a tomar decisões mais abrangentes e rápidas.
2. Educação e treinamento médico
   Estudantes de medicina e jovens médicos podem usar a função de "simulador de paciente" do modelo para realizar treinamento de consulta virtual, aprender ideias de diagnóstico e métodos de análise de doenças, e o modelo também pode ser usado como uma "enciclopédia médica" de fácil acesso.
3. Consulta popular de saúde
   Fornecer respostas preliminares a perguntas comuns sobre saúde e popularizar o conhecimento sobre saúde para usuários comuns, como explicar indicadores de rotina em exames laboratoriais e fornecer orientação sobre o uso de medicamentos sem prescrição médica, etc., de modo a aumentar a alfabetização do público em relação à saúde.
4. Resumo de registros médicos e extração de informações
   O modelo é capaz de ler e entender rapidamente longos prontuários eletrônicos, extrair automaticamente as principais informações e gerar resumos estruturados de prontuários médicos, reduzindo a carga de papelada da equipe médica e melhorando a eficiência do trabalho.

QA

1. Qual é o modelo básico do modelo Baichuan-M2-32B?
   Ele foi desenvolvido com base no modelo Qwen 2.5-32B e se baseia em seus sólidos recursos de uso geral com aprimoramentos e otimizações especificamente para o domínio médico.
2. Que tipo de hardware é necessário para executar esse modelo?
   O modelo é leve e otimizado para suportar a quantização de 4 bits, o que permite que ele seja implantado e executado com eficiência em uma única placa de vídeo NVIDIA RTX 4090, reduzindo significativamente o limite de hardware.
3. Esse modelo está disponível para uso comercial?
   Pode. O modelo segue a licença de código aberto Apache 2.0, que permite que os usuários o comercializem.
4. O modelo pode substituir um profissional médico?
   Não pode. Todas as informações fornecidas pelo modelo são apenas para fins de pesquisa e informação e não devem ser usadas como diagnóstico médico profissional ou plano de tratamento. Todas as decisões médicas devem ser tomadas sob a orientação de um médico licenciado.