操作准备
首先需要下载以下必要文件:
- 基础模型权重
- 视觉变换器模型权重
- H-LoRA理解权重
- 融合层权重
参数配置
修改com_infer.sh
脚本中的路径变量:
- MODEL_NAME_OR_PATH:基础模型路径
- VIT_PATH:视觉变换器路径
- HLORA_PATH:H-LoRA权重路径
- FUSION_LAYER_PATH:融合层路径
执行方式
- 通过脚本执行:
bash com_infer.sh
- 或直接运行Python命令:
python3 com_infer.py
并配置所有参数
参数说明
需要指定问题文本和图像路径,可调整数据类型(FP16)、H-LoRA参数(r=64, alpha=128)等。
本答案来源于文章《HealthGPT:支持医学图像分析与诊断问答的医疗大模型》