Estratégias de otimização de memória gráfica para processamento de imagens de alta resolução
Solução em vários níveis para problemas de memória de vídeo que podem ser causados por imagens de alta resolução de 1344×1344:
- Programas básicosForçar a ativação do gradient_checkpointing (definir use_checkpointing=True em load())
- Programa intermediárioTamanho da imagem: fragmentação automática de imagens (modificação do parâmetro tile_size do método predict())
- Programa AvançadoUse o paralelismo do modelo (requer 2 GPUs, configure device_map='auto')
Código de configuração típico:
from cogvlm2 import CogVLM2
# Modo de carregamento seguro
modelo = CogVLM2.load(
'image_model',
use_checkpointing=True, # Economize 30% de memória de vídeo
max_image_size=1024 # Limite do tamanho da entrada
)
# Block Processing Big Picture
resultado = model.predict(
'big_image.jpg',
tile_size=512, tamanho do bloco #
overlap=64 # Sobreposição de pixels entre blocos
)
Manejo de situações extremasQuando a imagem exceder 2048×2048, recomenda-se 1) usar o componente de extensão TiledVLM 2) converter em chamadas de API de nuvem 3) usar a reamostragem LANCZOS para reduzir a qualidade durante o pré-processamento.
Essa resposta foi extraída do artigoCogVLM2: modelo multimodal de código aberto para apoiar a compreensão de vídeos e várias rodadas de diálogoO
