本地部署GLM-4.5V需满足:
- 硬件:高性能NVIDIA GPU(如A100/H100),配备大显存以支持模型运行。
- 依赖安装:执行
pip install transformers torch accelerate Pillow
安装必要库。
部署步骤:
- 从Hugging Face Hub下载模型
zai-org/GLM-4.5V
。 - 使用
AutoProcessor
和AutoModelForCausalLM
加载模型,设置为eval()
模式并迁移至GPU。 - 将图片与文本提示结合为输入,通过
apply_chat_template
处理,传入模型生成回复。 - 调整生成参数(如
max_new_tokens
、temperature
)控制输出效果。
本答案来源于文章《GLM-4.5V:能够理解图像和视频并生成代码的多模态对话模型》