操作准备
首先需要下载以下必要文件:
- 基础模型权重
- 视觉变换器模型权重
- H-LoRA理解权重
- 融合层权重
Parameter Configuration
modificationscom_infer.sh
脚本中的路径变量:
- MODEL_NAME_OR_PATH:基础模型路径
- VIT_PATH:视觉变换器路径
- HLORA_PATH:H-LoRA权重路径
- FUSION_LAYER_PATH:融合层路径
执行方式
- 通过脚本执行:
bash com_infer.sh
- 或直接运行Python命令:
python3 com_infer.py
并配置所有参数
Parameter description
需要指定问题文本和图像路径,可调整数据类型(FP16)、H-LoRA参数(r=64, alpha=128)等。
This answer comes from the articleHealthGPT: A Medical Big Model to Support Medical Image Analysis and Diagnostic Q&AThe