Vespa.ai: uma plataforma de código aberto para criar sistemas eficientes de pesquisa e recomendação de IA

A Vespa.ai é uma plataforma de pesquisa e recomendação de IA de código aberto que se concentra no processamento de dados em grande escala para fornecer pesquisa eficiente, recomendação e serviços personalizados. Ela é compatível com pesquisa vetorial, pesquisa de texto e processamento de dados estruturados, combinados com modelos de aprendizado de máquina para obter inferência em tempo real. A Vespa é capaz de lidar com bilhões de dólares em dados, com tempos de resposta rápidos e latência de menos de 100 milissegundos, o que a torna adequada para aplicativos de nível empresarial. A plataforma oferece serviços de nuvem e opções de implantação local, e o código-fonte aberto é mantido no GitHub, de modo que os desenvolvedores podem ampliar a funcionalidade. A Vespa é amplamente utilizada em comércio eletrônico, recomendações personalizadas e pesquisa acadêmica, e é reconhecida pelo Spotify, Yahoo e outras empresas por seu alto desempenho e flexibilidade.

Lista de funções

• Oferece suporte a consultas mistas de dados vetoriais, textuais e estruturados para atender a necessidades complexas de pesquisa.
• Fornece inferência de modelos de aprendizado de máquina em tempo real para otimizar as classificações dos resultados de pesquisa.
• Oferece suporte a escalas de dados de centenas de milhões e processa milhares de consultas por segundo com latência abaixo de 100 milissegundos.
• Oferece um modelo de pesquisa de streaming que reduz os custos em 20 vezes para pesquisas de dados pessoais.
• Código-fonte aberto para ajudar os desenvolvedores a personalizar os componentes Java para ampliar a funcionalidade.
• Oferece serviços de nuvem Vespa para simplificar a implementação e o gerenciamento.
• Suporte à representação de vários vetores e à pesquisa híbrida para melhorar a relevância da pesquisa.
• Índice HNSW integrado para otimizar o desempenho da pesquisa do vizinho mais próximo.

Usando a Ajuda

Instalação e implementação

O Vespa oferece duas maneiras de usá-lo: implantando-o por meio do Vespa Cloud Service ou executando-o localmente. O serviço de nuvem é bom para começar rapidamente, e a implantação local é boa para usuários que precisam de personalização profunda.

Implementação de serviços em nuvem

1. entrevistas console.vespa-cloud.comRegistre-se para obter uma conta.
2. Crie um novo aplicativo, selecione a região e a configuração (por exemplo, número de nós).
3. Faça o upload do modelo de dados e dos arquivos de configuração e a plataforma automatizará a implementação.
4. Use a API Vespa para enviar consultas e obter resultados de pesquisa ou recomendação.

implantação local

1. Certifique-se de que o Java 17 e o Maven 3.8+ estejam instalados em seu sistema; recomenda-se o AlmaLinux 8.[](https://github.com/vespa-engine/vespa)
2. Clonagem de repositórios do GitHub:

   git clone https://github.com/vespa-engine/vespa
   

3. Vá para o diretório do projeto e execute a compilação do Maven:

   mvn install
   

4. Para configurar o ambiente de desenvolvimento, consulte https://docs.vespa.ai/en/getting-started.html.
5. Inicie a instância da Vespa:

   vespa deploy
   

6. Adicione nós para aumentar a redundância e garantir alta disponibilidade.

Funções principais

Pesquisa vetorial e consultas híbridas

O Vespa suporta consultas mistas de dados vetoriais, textuais e estruturados, adequadas para cenários complexos, como a pesquisa de comércio eletrônico. Os usuários podem enviar solicitações de consulta por meio da API:

{
"yql": "select * from sources * where userQuery() or nearestNeighbor(vector_field, query_vector);",
"query_vector": [0.1, 0.2, ...],
"hits": 10
}

• procedimentoCarregar dados no Vespa, definir campos vetoriais e campos de texto. Escreva consultas usando YQL (Vespa Query Language), combinando similaridade de vetores e pesquisa de palavras-chave. Os resultados são classificados automaticamente com base em modelos de aprendizado de máquina.
• Funções em destaqueRepresentação de vários vetores: a representação de vários vetores é suportada, permitindo que os documentos contenham vários vetores para melhorar a precisão da pesquisa. Por exemplo, na pesquisa acadêmica, os vetores de título e conteúdo podem ser combinados.

Recomendações em tempo real

O sistema de recomendação do Vespa combina pesquisa e avaliação de aprendizado de máquina para retornar rapidamente resultados personalizados. Etapas de configuração:

1. Defina um modelo de dados que contenha o comportamento do usuário e os recursos de conteúdo.
2. Faça upload de modelos de aprendizado de máquina (por exemplo, formato TensorFlow ou ONNX).
3. Use a API para chamar a interface de recomendação:

   {
   "yql": "select * from sources * where user_id = '123';",
   "ranking": "personalization_model"
   }
   

• procedimentoO Vespa carrega dados de usuários e de conteúdo e define um modelo de classificação; o Vespa calcula recomendações com base no modelo em tempo real, adequado para recomendações de notícias ou de produtos de comércio eletrônico.

Pesquisa de streaming

A pesquisa em fluxo contínuo é econômica e eficiente para cenários de dados pessoais. Modus Operandi:

1. Configure a fonte de dados, rotulada como modo de streaming:

   {
   "schema": {
   "document": {
   "mode": "streaming"
   }
   }
   }
   

2. Faça upload de dados pessoais e envie solicitações de consulta. A vespa processa apenas um subconjunto dos dados relevantes, reduzindo o consumo de recursos.

• Funções em destaquePesquisa em fluxo contínuo: a pesquisa em fluxo contínuo elimina a necessidade de criar um índice completo e é adequada para cenários sensíveis à privacidade, como a pesquisa de e-mails pessoais.

Funcionalidade estendida

Os desenvolvedores podem ampliar a funcionalidade do Vespa com componentes Java:

1. Escreva um Searcher ou um Ranker personalizado, cf. https://docs.vespa.ai/en/developing-applications.html.
2. Compile e implemente em uma instância do Vespa:

   vespa deploy --application my-custom-app
   

3. Teste os recursos para garantir a compatibilidade com as APIs existentes.

Precauções de uso

• Atualize regularmente sua versão do Vespa para obter os recursos mais recentes (por exemplo, nova classificação de níveis e suporte a chunking em junho de 2025)
• Verifique a documentação da API https://docs.vespa.aiVerifique se a sintaxe da consulta está correta.
• Os assinantes de serviços de nuvem precisam monitorar as cotas para evitar interrupções de serviço devido a excessos.

cenário do aplicativo

1. Pesquisa e recomendações de comércio eletrônico
   O Vespa oferece suporte à pesquisa combinando texto, imagens e dados estruturados para plataformas de comércio eletrônico. Os usuários podem pesquisar produtos e obter recomendações personalizadas ao mesmo tempo. Por exemplo, ao digitar "calçados esportivos", o Vespa retorna produtos correspondentes e sugere estilos relevantes.
2. pesquisa acadêmica
   O Vespa processa conjuntos de dados acadêmicos (por exemplo, o conjunto de dados de pesquisa sobre a COVID-19) e oferece suporte à pesquisa vetorial e à consulta por palavras-chave. Os pesquisadores podem recuperar rapidamente os artigos e melhorar a eficiência da pesquisa.
3. Recomendações personalizadas de conteúdo
   As plataformas de mídia usam o Vespa para fornecer recomendações de notícias ou vídeos. O sistema gera uma lista de recomendações em tempo real com base no comportamento do usuário para aprimorar a experiência do usuário.
4. Pesquisa sensível à privacidade
   O modo de pesquisa em fluxo contínuo é adequado para lidar com dados pessoais, como e-mails ou pesquisas de documentos, protegendo a privacidade e mantendo a eficiência.

QA

1. A Vespa é gratuita?
   A Vespa é uma plataforma de código aberto, o código é gratuito para uso e está hospedado no GitHub. Os serviços de nuvem estão disponíveis mediante o pagamento de uma taxa. https://vespa.ai.
2. Quais tipos de dados são compatíveis com o Vespa?
   Oferece suporte a vetores, texto, dados estruturados e tensores para consultas e raciocínios complexos.
3. Como otimizar o desempenho da pesquisa?
   Otimização da pesquisa vetorial usando a indexação HNSW, ajustando os modelos de classificação para melhorar a relevância e adicionando nós para melhorar a taxa de transferência.
4. A Vespa é adequada para pequenos projetos?
   Sim, o Vespa oferece suporte a pequenas implantações, executadas em um único nó, para startups ou projetos pessoais.