操作准备
首先需要下载以下必要文件:
- 基础模型权重
- 视觉变换器模型权重
- H-LoRA理解权重
- 融合层权重
パラメータ設定
修正com_infer.sh
脚本中的路径变量:
- MODEL_NAME_OR_PATH:基础模型路径
- VIT_PATH:视觉变换器路径
- HLORA_PATH:H-LoRA权重路径
- FUSION_LAYER_PATH:融合层路径
执行方式
- 通过脚本执行:
bash com_infer.sh
- 或直接运行Python命令:
python3 com_infer.py
并配置所有参数
パラメータの説明
需要指定问题文本和图像路径,可调整数据类型(FP16)、H-LoRA参数(r=64, alpha=128)等。
この答えは記事から得たものである。HealthGPT:医療画像解析と診断Q&Aを支援する医療ビッグモデルについて