Recursos arquitetônicos do HealthGPT
O HealthGPT é um modelo de linguagem visual médica desenvolvido em conjunto por várias das principais instituições acadêmicas e projetado com uma estrutura autorregressiva inovadora. O modelo integra com sucesso as duas funções principais da compreensão visual médica e da geração de imagens por meio da tecnologia de adaptação de conhecimento heterogêneo, o que melhora significativamente a capacidade abrangente do processamento de imagens médicas. A arquitetura central contém módulos tecnológicos importantes, como o sistema de percepção visual hierárquica e os componentes plugáveis H-LoRA, que realizam o processo completo, desde a extração de recursos visuais até a geração de conteúdo multimodal.
A equipe do projeto fornece duas versões das configurações HealthGPT-M3 e HealthGPT-L14, que são baseadas nos modelos pré-treinados Phi-3-mini-4k-instruct e phi-4, respectivamente, e podem ser adaptadas de forma flexível a diferentes requisitos de recursos computacionais. Entre eles, o mecanismo de plug-in H-LoRA é o principal avanço tecnológico deste projeto, que permite a rápida transferência de aprendizado de conhecimentos médicos por meio de adaptadores de baixo nível.
Essa resposta foi extraída do artigoHealthGPT: um grande modelo médico para apoiar a análise de imagens médicas e as perguntas e respostas de diagnósticoO