AI-model-comparison: uma ferramenta para comparar visualmente a saída de grandes modelos de IA

AI-model-comparison é uma ferramenta da Web que é executada em um navegador e ajuda os usuários a comparar as respostas de dois modelos de linguagem grande de Inteligência Artificial (IA) diferentes lado a lado. Depois que o usuário insere uma pergunta, a ferramenta envia uma solicitação para as duas APIs de modelo configuradas ao mesmo tempo e exibe os resultados retornados lado a lado. A ferramenta é executada inteiramente no front-end do navegador do usuário, não são necessários servidores de back-end e as informações confidenciais, como a chave de API do usuário, são usadas apenas localmente e não são carregadas em nenhum servidor, garantindo a segurança. Ele foi projetado principalmente para desenvolvedores, pesquisadores e entusiastas de IA que precisam avaliar e selecionar o modelo de IA mais adequado para uma tarefa específica, com uma interface intuitiva que torna as diferenças entre os modelos prontamente aparentes.

Lista de funções

• comparação paralelaA ferramenta chama dois modelos de IA diferentes em paralelo e exibe suas respostas lado a lado para comparação direta.
• diálogo em várias camadasSuporte para perguntas de acompanhamento contínuo. Depois de obter a primeira resposta, você pode continuar a inserir perguntas e a ferramenta solicitará o modelo novamente com um histórico contextual completo para uma comparação mais aprofundada.
• Exibição detalhada do indicadorEnquanto as respostas são exibidas, as principais informações, como tempo de resposta, número de tokens consumidos etc. para cada modelo, são exibidas para fornecer suporte de dados para a avaliação de desempenho.
• Histórico do diálogoTodas as conversas são gravadas automaticamente e os usuários podem visualizar o contexto completo a qualquer momento para facilitar a revisão e a análise.
• Salvamento automático da configuraçãoInformações de configuração da API do usuário: As informações de configuração da API do usuário (exceto a chave da API) são salvas automaticamente no navegador e não precisam ser preenchidas novamente na próxima vez em que forem usadas.
• teste de conexãoTeste com um clique: fornece uma função de teste com um clique para verificar rapidamente se o endereço e a chave da API podem ser conectados com êxito, simplificando o processo de configuração.
• operação rápidaSuporte para o uso deCtrl+EnterTeclas de atalho para iniciar rapidamente as comparações; clique duas vezes na resposta retornada pelo modelo para copiá-la rapidamente para a área de transferência.
• Operação front-end puraFerramenta de HTML: Toda a ferramenta consiste apenas em HTML, CSS e JavaScript, e não há necessidade de instalar nenhum serviço de back-end; basta abrir o arquivo em seu navegador e usá-lo.

Usando a Ajuda

A AI-model-comparison é uma implementação puramente de front-end de uma ferramenta da Web, o que significa que é muito simples de usar, não exige um processo complexo de instalação e implantação e requer apenas um navegador moderno para ser executada.

preliminar

Antes de usá-lo, você precisa preparar as seguintes informações:

1. Informações de API para modelos de IAInterface de modelo de linguagem: Você precisa de pelo menos uma (recomenda-se duas para comparação) interface de modelo de linguagem compatível com o formato da API da OpenAI. Você precisa acessar as três informações a seguir:
   • API Endpoint(endereço da interface da API)
   • Model Name(Nome do modelo)
   • API Key(chave de API)

   Os serviços comuns e seus exemplos de configuração estão listados abaixo:

   • API oficial da OpenAI:
     • API接口: https://api.openai.com/v1/chat/completions
     • 模型名称: gpt-4o talvez gpt-3.5-turbo
     • API密钥: sua chave de conta OpenAI
   • OpenRouter (plataforma para agregar vários serviços de modelo):
     • API接口: https://openrouter.ai/api/v1/chat/completions
     • 模型名称: openai/gpt-4o-mini (modelo)
     • API密钥Sua chave de conta do OpenRouter.
   • Modelos implantados localmente ou serviços de proxy de terceiros:
     • Se você tiver implantado o modelo localmente por meio de ferramentas como Ollama, vLLM etc. e estiver usando um servidor de API compatível com OpenAI, poderá preencher o endereço local, por exemplo http://localhost:8000/v1/chat/completions.

fluxo de trabalho

Etapa 1: Faça o download e abra a ferramenta

1. Visite a página do projeto no GitHub:https://github.com/hubhubgogo/AI-model-comparison
2. Clique no ícone verde Code e, em seguida, selecione o botão Download ZIP Baixe todo o arquivo do projeto em seu computador.
3. Descompacte o arquivo ZIP baixado e você verá o arquivo index.html, style.css, script.js etc.
4. Abra diretamente em seu navegador (recomenda-se o Chrome, Firefox, Safari ou Edge). index.html e a interface da ferramenta é carregada.

Etapa 2: Configurar a API do modelo

1. A interface da ferramenta é dividida em colunas esquerda e direita, cada uma representando um modelo a ser comparado.
2. Na área de configuração "Model A", no lado esquerdo, preencha os dados preparadosAPI接口e模型名称responder cantandoAPI密钥.
3. Da mesma forma, na área de configuração "Modelo B" à direita, preencha as informações da API para outro modelo. Você também pode usar a mesma interface de API, mas escolher um nome de modelo diferente para comparação (por exemplo, o Modelo A usa ogpt-4oO modelo B usagpt-3.5-turbo).
4. Depois de preenchido, você pode clicar no botão "Testar conexão" abaixo de cada área de configuração. O sistema enviará uma solicitação simples para verificar se a configuração da API está correta. Se a configuração estiver correta, o botão ficará verde e exibirá "Connection Successful" (Conexão bem-sucedida); se houver falha, será exibida uma mensagem de erro para que você verifique o problema.

Etapa 3: Digite as palavras do prompt e inicie a comparação

1. Prompt do sistemaCaixa de entrada: Esta é uma caixa de entrada opcional. Aqui você pode definir a função, as diretrizes comportamentais ou o estilo de resposta do modelo de IA. Por exemplo, digitar "You are a senior software engineer" (Você é um engenheiro de software sênior) fará com que o modelo responda de uma perspectiva mais técnica. Essa configuração entra em vigor para todo o diálogo.
2. Prompt do usuárioCaixa de entrada do núcleo obrigatório: Esta é a caixa de entrada do núcleo obrigatório. Digite aqui a pergunta que você deseja fazer ou a tarefa que precisa que o modelo execute. Por exemplo, "Por favor, escreva um algoritmo de classificação rápida em Python".
3. Quando terminar de digitar, clique no botão "Start Comparison" (Iniciar comparação) no meio da página ou use as teclas de atalho.Ctrl+Enter.

Etapa 4: Visualizar e analisar os resultados

1. Depois de clicar no botão, a ferramenta envia uma solicitação para cada um dos dois endereços de API configurados.
2. Os modelos retornam resultados que são exibidos lado a lado em uma caixa de diálogo nos lados esquerdo e direito. Você pode ver visualmente qual resposta do modelo é mais precisa, mais detalhada ou mais alinhada com seus requisitos.
3. Acima de cada resposta, são exibidos metadados como o tempo de resposta do modelo e o número de tokens usados, o que pode ajudá-lo a avaliar o modelo do ponto de vista de desempenho e custo.

Etapa 5: Várias rodadas de perguntas de acompanhamento

1. Quando os resultados da primeira comparação estiverem disponíveis, uma nova caixa de entrada "Continue" aparecerá abaixo da caixa de entrada.
2. Você pode inserir perguntas de acompanhamento aqui, como "Please add detailed comments to the code you just wrote" (Adicione comentários detalhados ao código que você acabou de escrever).
3. Clique em "Continue" ou use-o novamente.Ctrl+EnterA ferramenta envia todo o histórico do diálogo anterior (incluindo as palavras de aviso do sistema, sua primeira pergunta, a primeira resposta do modelo e sua pergunta de acompanhamento) para os dois modelos juntos.
4. Dessa forma, você pode ter várias rodadas de diálogo contínuo para testar profundamente o desempenho do modelo em tarefas complexas e contínuas.

Etapa 6: Gerenciando o diálogo

• Copiar conteúdoSe estiver satisfeito com a resposta de um modelo, basta clicar duas vezes com o mouse na área de texto da resposta e o conteúdo será automaticamente copiado para a área de transferência.
• Abrindo um novo diálogoSe quiser iniciar uma conversa completamente nova, você pode clicar no botão "New Conversation" (Nova conversa) na página. Isso limpará o histórico do diálogo atual e permitirá que você inicie uma nova rodada de testes de comparação do zero.

cenário do aplicativo

1. Seleção de modelos
   Antes de desenvolver um aplicativo de IA, os desenvolvedores precisam escolher um modelo de linguagem que melhor se adapte ao seu cenário de negócios. Essa ferramenta pode ser usada para testar diferentes modelos (por exemplo, GPT-4o vs. GPT-4o). Claude 3 Sonnet) no manuseio de tarefas específicas (por exemplo, geração de código, criação de conteúdo, atendimento ao cliente, perguntas e respostas) para fazer escolhas ideais com base em resultados reais, capacidade de resposta e custo.
2. Engenharia imediata
   Para os desenvolvedores e pesquisadores de aplicativos de IA, a qualidade das palavras de alerta (Prompt) afeta diretamente o resultado do modelo. Eles podem usar essa ferramenta para corrigir um modelo, mas configurar diferentes versões de palavras de aviso do sistema ou palavras de aviso do usuário para os lados esquerdo e direito, e comparar e iterar rapidamente para encontrar o método de escrita do Prompt com os melhores resultados.
3. Avaliação da capacidade de modelagem
   Pesquisadores ou entusiastas de IA que analisam modelos recém-lançados podem usá-lo para comparar visualmente as diferenças entre os novos modelos e os modelos convencionais existentes em termos de raciocínio lógico, base de conhecimento, conformidade de segurança etc., fornecendo informações em primeira mão para relatórios de avaliação de modelos.
4. Educação e apresentação
   Ao ensinar ou compartilhar tecnologia relacionada à IA, essa ferramenta pode ser usada para mostrar visualmente ao público a diferença entre diferentes modelos de IA, por exemplo, comparando a diferença de conhecimento entre um modelo básico e um modelo ajustado em um domínio específico, tornando os conceitos concretos e fáceis de entender.

QA

1. Essa ferramenta é segura? Minha chave de API será comprometida?
   Essa ferramenta é segura. É um aplicativo front-end puro, todo o código é executado no navegador e sua chave de API é usada somente para enviar solicitações diretamente do navegador para o provedor de serviços de API configurado, não sendo salva nem transferida para nenhum servidor de terceiros. Para obter segurança máxima, não o utilize em computadores públicos ou não confiáveis.
2. Por que não há resposta ou erro de rede quando clico em "Test Connection" (Testar conexão) ou "Start Comparison" (Iniciar comparação)?
   Isso geralmente se deve a vários motivos: em primeiro lugar, verifique seuAPI接口O endereço foi preenchido corretamente. Em segundo lugar, verifique se o seu computador pode acessar o endereço da API normalmente. Algumas APIs (como a API oficial da OpenAI) podem exigir um ambiente de rede específico para serem acessadas. Por fim, verifique seuAPI密钥Ele é correto e válido?
3. Quais modelos de IA são compatíveis com essa ferramenta?
   Ele oferece suporte a qualquer serviço de modelo que forneça uma interface compatível com o formato da API do OpenAI. Isso inclui os modelos oficiais do OpenAI, o serviço OpenAI do Microsoft Azure, vários modelos na plataforma OpenRouter e muitos modelos de código aberto que podem ser implantados por meio de servidores locais, como o Ollama.
4. É possível exportar o histórico de diálogos?
   A versão atual não é compatível com a capacidade de exportar todo o histórico de conversas com um clique. No entanto, você pode salvar manualmente as informações necessárias clicando duas vezes em qualquer resposta para copiar rapidamente seu conteúdo.