Posicionamento da tecnologia CogVLM2 e produtos de referência
O CogVLM2 é um grande modelo multimodal de código aberto de última geração desenvolvido pelo Grupo de Pesquisa em Mineração de Dados da Universidade de Tsinghua (THUDM) com base na arquitetura Llama3-8B. O modelo foi projetado para fazer um benchmark explícito do GPT-4V em termos de desempenho geral, especialmente em termos de recursos essenciais, como compreensão de imagens e diálogo em várias rodadas, com o objetivo de atender ou até mesmo superar o desempenho comercial do GPT-4V. Como uma solução completa de código aberto, a série CogVLM2 contém várias variantes de submodelos, cada uma delas profundamente otimizada para tarefas específicas (por exemplo, perguntas e respostas em texto, perguntas e respostas em vídeo etc.) para elevar o desempenho geral a níveis de nível comercial.
Em comparação com o GPT-4V, o CogVLM2 tem uma vantagem competitiva em várias métricas importantes: suporte para entradas de imagens com resolução de até 1344 x 1344, capacidade de processamento de texto longo de 8K e suporte nativo para bilinguismo em chinês e inglês. Esses recursos técnicos o tornam um dos representantes mais próximos dos atuais modelos multimodais de pesquisa de código aberto dos principais produtos comerciais internacionais.
Essa resposta foi extraída do artigoCogVLM2: modelo multimodal de código aberto para apoiar a compreensão de vídeos e várias rodadas de diálogoO
