resumos

O surgimento de modelos de linguagem em larga escala (LLMs) abriu um novo paradigma de mecanismos de busca que usam modelos generativos para reunir e resumir informações para responder às consultas dos usuários. Unificamos essa tecnologia emergente sob o guarda-chuva dos mecanismos generativos (GEs), que geram respostas precisas e personalizadas, substituindo rapidamente os mecanismos de pesquisa tradicionais, como o Google e o Bing. Os mecanismos generativos geralmente satisfazem as consultas combinando informações de várias fontes e resumindo-as usando LLMs. Embora essa mudança tenha aumentado significativamente a utilidade do usuário e o tráfego para mecanismos de pesquisa generativos, ela representa um desafio significativo para uma terceira parte interessada: sites e criadores de conteúdo. Como os mecanismos de geração são uma caixa-preta e mudam rapidamente, os criadores de conteúdo têm pouco controle sobre quando e como seu conteúdo é exibido. À medida que os mecanismos de geração se tornam mais populares, precisamos garantir que a economia do criador não fique em desvantagem como resultado. Para isso, apresentamos o Generation Engine Optimization (GEO), o primeiro novo paradigma para ajudar os criadores de conteúdo a melhorar a visibilidade de seu conteúdo nas respostas do Generation Engine, otimizando e definindo métricas de visibilidade por meio de uma estrutura flexível de otimização de caixa preta. Facilitamos a avaliação sistemática introduzindo o GEO-bench, um benchmark de grande escala que contém diversas consultas de usuários de vários domínios, bem como recursos relevantes da Web para responder a essas consultas. Por meio de uma avaliação rigorosa, demonstramos que o GEO pode melhorar a visibilidade das respostas do mecanismo de geração em até 401 TP3 T. Além disso, mostramos a eficácia dessas estratégias em diferentes domínios, destacando a necessidade de abordagens de otimização específicas para cada domínio. Nosso trabalho abre uma nova fronteira para sistemas de descoberta de informações com implicações de longo alcance para desenvolvedores de mecanismos de geração e criadores de conteúdo.

Conceito de CCS

- metodologia computacional → processamento de linguagem natural; aprendizado de máquina;
- sistema de informação → Pesquisa na Web e descoberta de informações.

palavra-chave

Geração de modelos, mecanismos de pesquisa, conjuntos de dados e benchmarks

Formato de referência da ACM

Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan e Ameet Deshpande. 2024. geo: otimização do mecanismo de geração. Em Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '24), 25-29 de agosto de 2024, Barcelona, Espanha. ACM, Nova York, NY, EUA, 12 pp. https://doi.org/10.1145/3637528.3671900

1 Introdução

A invenção dos mecanismos de busca tradicionais há trinta anos revolucionou a forma como as informações são acessadas e disseminadas globalmente [4]. Embora fossem poderosos e gerassem vários aplicativos, como pesquisa acadêmica e comércio eletrônico, eles se limitavam a fornecer uma lista de sites relevantes para as consultas dos usuários. No entanto, o recente sucesso dos modelos de linguagem em grande escala [5, 21] abriu caminho para sistemas melhores, como o BingChat, o SGE do Google e o perplexity.ai, que combinam mecanismos de busca tradicionais com modelos generativos. Nós nos referimos a esses sistemas como mecanismos generativos (GEs) porque eles buscam informações usando várias fontes e geram respostas multimodais. Tecnicamente, um mecanismo generativo (veja a Figura 2) recupera documentos relevantes de um banco de dados (por exemplo, a Internet) e usa um grande modelo de rede neural para gerar uma resposta baseada na fonte que garante a atribuição e fornece ao usuário uma maneira de verificar as informações.

Figura 1: Nossa proposta de abordagem de otimização de mecanismos generativos (GEO) otimiza os sites para melhorar sua visibilidade nas respostas dos mecanismos generativos. A estrutura de otimização de caixa preta da GEO permite que os proprietários de sites de pizza que, de outra forma, não teriam visibilidade, otimizem seus sites para melhorar sua visibilidade nos mecanismos de geração. Além disso, a estrutura genérica da GEO permite que os criadores de conteúdo definam e otimizem suas métricas de visibilidade personalizadas, obtendo assim maior controle nesse paradigma emergente.

A utilidade dos mecanismos de geração para desenvolvedores e usuários é clara: os usuários podem acessar as informações com mais rapidez e precisão, e os desenvolvedores podem produzir respostas precisas e personalizadas, o que aumenta a satisfação do usuário e a receita. No entanto, os mecanismos de geração trabalham contra uma terceira parte interessada: sites e criadores de conteúdo. Diferentemente dos mecanismos de busca tradicionais, os mecanismos de geração eliminam a necessidade de navegar até um site, o que pode reduzir o tráfego orgânico de um site e afetar sua visibilidade ao fornecer respostas precisas e abrangentes diretamente [16]. Como milhões de pequenas empresas e indivíduos dependem do tráfego on-line e da visibilidade para seu sustento, os mecanismos de geração interromperão significativamente a economia dos criadores. Além disso, a caixa-preta e a natureza proprietária dos mecanismos de geração dificultam o controle e a compreensão dos criadores de conteúdo sobre como seu conteúdo é ingerido e apresentado.

Neste artigo, apresentamos a primeira estrutura genérica centrada no criador para otimizar o conteúdo em mecanismos de geração, que chamamos de Generation Engine Optimisation (GEO), para ajudar os criadores de conteúdo a navegar por esse novo paradigma de pesquisa. O GEO é uma estrutura flexível de otimização de caixa preta para otimizar a visibilidade do conteúdo da Web em mecanismos de geração proprietários e de código fechado (Fig. 1). uma versão otimizada que aumenta a visibilidade no mecanismo de geração ajustando e calibrando a apresentação, os estilos de texto e o conteúdo.

Além disso, a GEO apresenta uma estrutura flexível para definir métricas de visibilidade projetadas especificamente para mecanismos generativos, pois o conceito de visibilidade em mecanismos generativos é mais sutil e multifacetado do que nos mecanismos de busca tradicionais (Figura 3). Embora a classificação média seja uma boa medida de visibilidade na página de resposta de um mecanismo de busca tradicional, que apresenta uma lista linear de sites, isso não se aplica aos mecanismos de geração. Os mecanismos de geração fornecem respostas ricas e estruturadas e incorporam sites como referências em linha dentro da resposta, muitas vezes incorporando-os em diferentes comprimentos, em diferentes locais e em diferentes estilos. Isso exige métricas de visibilidade projetadas especificamente para mecanismos de geração, que medem a visibilidade da fonte de citação em várias dimensões, como a relevância e o impacto da citação na consulta, por meio de perspectivas objetivas e subjetivas.

Figura 2: Visão geral do mecanismo generativo. O mecanismo de geração consiste principalmente em um conjunto de modelos generativos e um mecanismo de pesquisa para recuperar documentos relevantes. O mecanismo de geração recebe uma consulta do usuário como entrada e passa por uma série de etapas para gerar uma resposta final baseada nas fontes recuperadas com atribuição em linha.

Para facilitar uma avaliação fiel e abrangente da metodologia GEO, apresentamos o GEO-bench, um benchmark com 10.000 consultas de vários domínios e fontes, adaptado ao mecanismo de geração.

Por meio de uma avaliação sistemática, demonstramos que nossa abordagem de otimização do mecanismo de geração pode melhorar a visibilidade de diferentes consultas em até 401 TP3T, proporcionando uma estratégia útil para os criadores de conteúdo. Além disso, descobrimos que a inclusão de citações, citações de fontes relacionadas e estatísticas pode melhorar significativamente a visibilidade das fontes em mais de 401 TP3T em uma variedade de consultas. Também demonstramos a eficácia da otimização do mecanismo de geração no Perplexity.ai, que é um mecanismo de geração real e demonstra melhorias de visibilidade de até 371 TP3T.

Em resumo, nossa contribuição é tripla:

1. Apresentamos o Generation Engine Optimisation, a primeira estrutura de otimização de uso geral para ajudar os proprietários de sites a otimizar seus sites para mecanismos de geração. O Generation Engine Optimisation pode aumentar a visibilidade de um site em até 40% em uma ampla gama de consultas, domínios e mecanismos de geração de caixa preta reais.
2. Nossa estrutura propõe um conjunto abrangente de métricas de visibilidade projetadas especificamente para mecanismos de geração e oferece aos criadores de conteúdo a flexibilidade de otimizar seu conteúdo com métricas de visibilidade personalizadas.
3. Para facilitar a avaliação fiel dos métodos GEO em mecanismos generativos, apresentamos o primeiro benchmark em grande escala contendo diversas consultas de pesquisa de uma ampla gama de domínios e conjuntos de dados, especificamente adaptados para mecanismos generativos.

2 Formulação e metodologia de pesquisa

2.1 Formulação do mecanismo de geração

Embora vários mecanismos generativos tenham sido implementados para milhões de usuários, não há uma estrutura padronizada. Fornecemos uma formulação que pode acomodar os vários componentes modulares de seu design. Descrevemos um mecanismo de geração que inclui vários modelos de geração de back-end e um mecanismo de pesquisa para recuperação de fontes. O mecanismo de geração (GE) aceita consultas de usuários q_u e retorna uma resposta em linguagem natural rque P_U representa informações personalizadas do usuário. O GE pode ser representado como uma função:

f_GE := (q_u, P_U) → r

O mecanismo de geração contém dois componentes principais: a.) Um conjunto de modelos generativos G = {G₁, G₂, …, G_n}, cada modelo tem uma finalidade específica, como reescrita ou resumo de consultas, b.) um mecanismo de busca SEDada uma consulta qque retorna um conjunto de fontes S = {s₁, s₂, …, s_m} Mostramos um fluxo de trabalho representativo na Figura 2, que, no momento da redação deste artigo, é muito semelhante ao projeto do BingChat. Esse fluxo de trabalho decompõe uma consulta de entrada em um conjunto de consultas mais simples que são mais facilmente consumidas pelos mecanismos de pesquisa. Dada uma consulta, um modelo generativo para reescrita de consultas G₁ = G_qr Gerar um conjunto de consultas Q¹ = {q₁, q₂, …, q_n} e, em seguida, passe essas consultas para o mecanismo de pesquisa SE para recuperar um conjunto de fontes classificadas S = {s₁, s₂, …, s_m} Conjunto de fontes S é passado para um modelo de resumo G₂ = G_somaEle gera um resumo para cada fonte Soma_jgerando assim o conjunto de resumo (Soma = {Soma₁, Soma₂, …, Soma_m}). O conjunto de resumo é passado para um modelo de geração de resposta G₃ = G_respEle gera uma resposta cumulativa apoiada pela fonte r. Neste trabalho, nos concentramos em mecanismos de geração de rodada única, mas a formulação pode ser estendida para mecanismos de geração de diálogo de várias rodadas (Apêndice A).

responsivo r Geralmente, é um texto estruturado com referências incorporadas. Dada a tendência dos LLMs de produzir informações fantasmas [10], as referências são muito importantes. Especificamente, considere um texto que consiste na frase {l₁, l₂, …, l_o} Composição da resposta r. Cada sentença pode ser apoiada por um conjunto de citações, que são o conjunto de documentos recuperados C_i ⊂ S parte da resposta. Um mecanismo de geração ideal deve garantir que todas as afirmações na resposta sejam apoiadas por citações relevantes (alta recuperação de citações) e que todas as citações apoiem com precisão as afirmações às quais estão associadas (alta precisão de citações) [14]. Remetemos o leitor à Figura 3 para ver uma resposta representativa de um mecanismo de geração.

2.2 Otimização do mecanismo de geração

A invenção dos mecanismos de busca levou à otimização de mecanismos de busca (SEO), um processo que ajuda os criadores de sites a otimizar seu conteúdo para obter classificações mais altas nos mecanismos de busca. Quanto mais alta a classificação, maior a visibilidade e o tráfego do site. Entretanto, os métodos tradicionais de SEO não são diretamente aplicáveis aos mecanismos de geração. Isso ocorre porque, diferentemente dos mecanismos de busca tradicionais, o modelo generativo nos mecanismos generativos não se limita à correspondência de palavras-chave, e o uso de modelos de linguagem na ingestão de documentos de origem e na geração de respostas leva a uma compreensão mais detalhada dos documentos de texto e das consultas dos usuários. Como os mecanismos de geração estão se tornando rapidamente o paradigma dominante de fornecimento de informações e o SEO não é diretamente aplicável, são necessárias novas técnicas. Para isso, propomos a Otimização de Mecanismos de Geração, um novo paradigma em que os criadores de conteúdo buscam aumentar sua visibilidade (ou impressão) nas respostas dos mecanismos de geração. Fazemos isso por meio da função Imp(c_i, r) Defina o site (também conhecido como citação)c_i Na resposta gerada r na visibilidade, que é o que o criador do site deseja maximizar. Do ponto de vista do mecanismo de geração, o objetivo é maximizar a visibilidade das referências mais relevantes para a consulta do usuário, ou seja, maximizar Σ_if(Imp(c_i, r), Rel(c_i, q, r)), onde Rel(c_i, q, r) Medição em resposta a r Citado no contexto de c_i e consulta q A correlação entre os f determinada pelo design algorítmico exato do mecanismo de geração e é uma função de caixa preta para o usuário final. Além disso, a função Imp responder cantando Rel são subjetivos e ainda não estão claramente definidos para o mecanismo de geração; nós os definiremos a seguir.

2.2.1 Impressões do mecanismo de geração

Para SEO, as impressões (ou visibilidade) de um site são determinadas por sua classificação média em várias consultas. Entretanto, as características de saída dos mecanismos de geração exigem métricas de impressão diferentes. Diferentemente dos mecanismos de busca, os mecanismos de geração combinam informações de várias fontes em uma única resposta. O tamanho, a exclusividade e a apresentação do site citante determinam a verdadeira visibilidade da citação. Portanto, conforme mostrado na Figura 3, embora uma simples classificação na página de resposta sirva como uma métrica válida para impressões e visibilidade nos mecanismos de busca tradicionais, essa métrica não se aplica às respostas dos mecanismos de geração.

Figura 3: Nos mecanismos de busca tradicionais, as métricas de classificação e visibilidade são diretas; elas listam as fontes do site em ordem de classificação e exibem o conteúdo literalmente. No entanto, os mecanismos generativos geram respostas ricas e estruturadas, muitas vezes incorporando citações em um bloco, intercaladas umas com as outras. Isso torna a classificação e a visibilidade sutis e multifacetadas. Além disso, ao contrário dos mecanismos de pesquisa, em que muitas pesquisas foram realizadas para melhorar a visibilidade, a otimização da visibilidade nas respostas dos mecanismos de geração ainda não está clara. Para enfrentar esses desafios, nossa estrutura de otimização de caixa preta propõe um conjunto de métricas de impressão bem projetadas que os criadores podem usar para medir e otimizar o desempenho de seus sites e permite que os criadores definam suas métricas de impressão.

Para enfrentar esse desafio, propomos um conjunto de métricas de impressão projetadas com três princípios fundamentais em mente: 1.) elas devem ser relevantes para os criadores, 2.) devem ser interpretáveis e 3.) devem ser facilmente compreendidas por uma ampla gama de criadores de conteúdo. A primeira dessas métricas é a métrica de "contagem de palavras", que é um número padronizado de palavras em uma frase associada a uma citação. Matematicamente, isso é definido como:

Imp_wc(c_i, r) = (Σ_s∈Sci |s|) / (Σ_s∈Sr |s|)

Aqui estão S_ci é uma citação c_i A coleção de frases deS_r é o conjunto de sentenças na resposta, |s| é o número de palavras da frase. No caso de uma frase ser citada por várias fontes, distribuímos a contagem de palavras igualmente entre todas as citações. Intuitivamente, quanto mais palavras houver, mais importante será a função da fonte na resposta e, portanto, mais exposição o usuário terá a essa fonte.

No entanto, como a "contagem de palavras" não é afetada pela classificação da citação (por exemplo, se aparece na primeira posição ou não), propomos uma contagem ajustada à posição que reduz o peso por uma função de decaimento exponencial da posição da citação:

Imp_Pwc(c_i, r) = (Σ_s∈Sci |s| - e^{-(pos(s)/|S|)}) / (Σ_s∈Sr |s|)

Intuitivamente, quanto mais à frente uma frase aparecer em uma resposta, maior será a probabilidade de ela ser lida, e a definição de Imp_Pwc O termo do índice in dá um peso maior a essa citação. Assim, apesar de ter menos palavras, uma citação de site no topo pode ter uma impressão maior do que uma citação de site no meio ou no final. Além disso, a escolha de uma função de decaimento exponencial foi inspirada em vários estudos que mostram que as taxas de cliques em função das classificações dos mecanismos de pesquisa seguem uma lei de potência [7, 8]. Embora as métricas de impressão mencionadas anteriormente sejam objetivas e bem fundamentadas, elas ignoram os aspectos subjetivos das citações sobre a atenção do usuário. Para resolver esse problema, propomos uma métrica de "impressão subjetiva" que incorpora fatores como relevância, impacto da citação, exclusividade da apresentação da citação, posição subjetiva, contagem subjetiva, probabilidade de clicar na citação e diversidade da apresentação. Medimos esses subindicadores usando o G-Eval [15], que é a técnica mais atual para avaliar o uso de LLMs.

2.2.2 Métodos de otimização de mecanismo generativo para sites

Para melhorar as métricas de impressão, os criadores de conteúdo devem fazer alterações no conteúdo de seus sites. Propomos várias estratégias independentes do mecanismo de geração, chamadas de métodos de otimização do mecanismo de geração (GEO). Matematicamente, cada método GEO é uma função f: W → W'_ique W é o conteúdo inicial do site.W' é o que é modificado depois que o método GEO é aplicado. As modificações variam de simples alterações de estilo à adição de novo conteúdo em um formato estruturado. Um GEO bem projetado é equivalente a um método de otimização de caixa preta que melhora a visibilidade de um site sem conhecer o design algorítmico exato do mecanismo de geração e modifica o texto independentemente da consulta exata.

Em nossos experimentos, aplicamos uma abordagem de otimização do mecanismo de geração ao conteúdo do site usando um modelo de linguagem em grande escala e solicitamos que ele faça alterações específicas no estilo e no conteúdo do site. Em particular, o conteúdo de origem é modificado de acordo com os métodos GEO que definem um conjunto específico de recursos desejados. Propomos e avaliamos os seguintes métodos:

1. Autoridade:Modifique o estilo do texto do conteúdo da fonte para torná-lo mais persuasivo e confiável.
2. Adicionar estatísticas:Modifique o conteúdo para incluir estatísticas quantitativas em vez de usar discussões qualitativas sempre que possível.
3. Preenchimento de palavras-chave:Modifique o conteúdo para incluir mais palavras-chave da consulta, conforme esperado na otimização clássica de SEO.
4. Fontes citadas & 5. Adicione uma citação:Adicione citações relevantes e citações de fontes confiáveis, respectivamente.
5. Fácil de entender:Simplificar a linguagem do site, e 7. Otimização da fluidezMelhorou o fluxo de texto no site.
6. vocabulário exclusivo & 9. Termos técnicos:Adicione termos exclusivos e técnicos sempre que possível.

Esses métodos abrangem uma gama diversificada de estratégias genéricas que podem ser implementadas rapidamente pelos proprietários de sites e podem ser usadas independentemente do conteúdo do site. Além disso, com exceção dos métodos 3, 4 e 5, os demais métodos aprimoram a apresentação do conteúdo existente para torná-lo mais persuasivo ou atraente para os mecanismos de geração sem a necessidade de conteúdo adicional. Por outro lado, os métodos 3, 4 e 5 podem exigir alguma forma de conteúdo adicional. Para analisar a melhoria de desempenho dos nossos métodos, para cada consulta de entrada do usuário, selecionamos aleatoriamente um site de origem a ser otimizado e aplicamos cada método GEO separadamente à mesma origem. Para obter mais detalhes sobre os métodos GEO, consulte o Apêndice B.4.

3 Configuração experimental

3.1 Avaliação do mecanismo de geração

Com base em trabalhos anteriores [14], usamos uma configuração de duas etapas para o projeto do mecanismo de geração. A primeira etapa envolve a busca das fontes relevantes para a consulta de entrada e, em seguida, a segunda etapa é para o LLM gerar a resposta com base nas fontes buscadas. Assim como em trabalhos anteriores, não usamos a sumarização e fornecemos a resposta completa para cada fonte. Devido à limitação do comprimento do contexto e ao custo do dimensionamento secundário do tamanho do contexto com base no modelo do transformador, apenas as cinco primeiras fontes são obtidas do mecanismo de pesquisa do Google para cada consulta. Essa configuração é muito semelhante ao fluxo de trabalho usado em trabalhos anteriores e ao design geral adotado por GEs comerciais, como you.com e perplexity.ai. As respostas foram então geradas usando o modelo gpt3.5-turbo [20] usando os mesmos prompts do trabalho anterior [14]. Fizemos uma amostragem de cinco respostas diferentes com temperatura = 0,7 para reduzir o viés estatístico.

Na Seção C.1, avaliamos a mesma abordagem de otimização de mecanismo de geração no Perplexity.ai, um mecanismo de geração implantado comercialmente, destacando a generalidade da nossa abordagem de otimização de mecanismo de geração proposta.

3.2 Referência: GEO-bench

Como não há nenhum conjunto de dados disponível publicamente que contenha consultas relacionadas ao mecanismo de geração, selecionamos o GEO-bench, um benchmark que contém 10 mil consultas de várias fontes reaproveitadas para o mecanismo de geração, bem como consultas sintéticas. O benchmark inclui consultas de nove fontes diferentes, cada uma das quais é categorizada de acordo com seu domínio-alvo, dificuldade, intenção de consulta e outras dimensões.

Conjunto de dados: 1. Macro MS, 2. ORCAS-1e 3. Questões naturais:[1, 6, 13] Esses conjuntos de dados contêm consultas reais anônimas de usuários dos mecanismos de busca Bing e Google. Juntos, esses três conjuntos de dados representam conjuntos de dados comumente usados em pesquisas relacionadas a mecanismos de busca. Entretanto, em vez de pesquisá-los, o mecanismo de geração será confrontado com consultas mais difíceis e específicas que visam sintetizar respostas de várias fontes. Por esse motivo, reutilizamos vários outros conjuntos de dados disponíveis publicamente: 4. AllSouls:Esse conjunto de dados contém perguntas sobre trabalhos da "All Souls College, Oxford". As consultas desse conjunto de dados exigem que o mecanismo de geração execute o raciocínio adequado para agregar informações de várias fontes.5. LIMA:[25] contém perguntas desafiadoras que exigem que o mecanismo de geração não apenas agregue informações, mas também execute o raciocínio adequado para responder à pergunta (por exemplo, escrever um poema curto, código python).6. Debate sobre a Davinci [14] Contém perguntas de debate geradas para testar o mecanismo de geração.7. Perplexity.ai Discover2:Essas consultas são obtidas da seção Discover do Perplexity.ai, que é uma lista atualizada de consultas populares na plataforma.8. ELI-5³::Esse conjunto de dados contém perguntas da versão do subreddit ELI5 em que os usuários fazem perguntas complexas e esperam respostas em linguagem simples e clara.9. Consultas geradas pelo GPT-4:Para complementar a diversidade das distribuições de consultas, solicitamos ao GPT-4 que gerasse consultas de diferentes domínios (por exemplo, científico, histórico) e que gerasse consultas com base na intenção da consulta (por exemplo, navegação, transacional) e na dificuldade e no escopo da geração de respostas (por exemplo, abertas, baseadas em fatos).

Nosso parâmetro de comparação consiste em 10 mil consultas divididas em 8 mil, 1 mil e 1 mil divisões de treinamento, validação e teste. Mantemos a distribuição de consultas do mundo real e nosso benchmark contém 80% consultas informativas e 10% consultas transacionais e de navegação. Cada consulta é aumentada com conteúdo de texto limpo dos cinco principais resultados de pesquisa obtidos no mecanismo de pesquisa do Google.

Tags:A otimização do conteúdo do site geralmente exige alterações direcionadas com base no domínio da tarefa. Além disso, os usuários de otimização de mecanismos de geração podem precisar determinar estratégias apropriadas para apenas uma parte da consulta, levando em conta vários fatores, como domínio, intenção do usuário e natureza da consulta. Para facilitar isso, rotulamos cada consulta usando o modelo GPT-4 e verificamos manualmente a alta recuperação e precisão nas divisões de teste.

De modo geral, o GEO-bench contém consultas de 25 domínios diferentes, como arte, saúde e jogos; tem uma faixa de dificuldade de consulta que vai de simples a multifacetada; inclui nove tipos diferentes de consultas, como informativas e transacionais; e abrange sete classificações diferentes. Devido à sua alta diversidade especificamente projetada, ao tamanho do benchmark e à sua natureza do mundo real, o GEObench é um benchmark abrangente para a avaliação de mecanismos generativos e serve como um banco de testes padrão para avaliá-los para uma variedade de finalidades neste e em trabalhos futuros. Fornecemos mais detalhes sobre o GEO-bench no Apêndice B.2.

3.3 Metodologia GEO

Avaliamos nove métodos GEO diferentes descritos na Seção 2.2.2. Nós os comparamos com uma linha de base, que mede métricas de impressão de fontes da Web não modificadas. Avaliamos os métodos na divisão completa do teste de bancada GEO. Além disso, para reduzir a variação nos resultados, realizamos o experimento com cinco sementes aleatórias diferentes e informamos a média.

3.4 Avaliação dos indicadores

Utilizamos os indicadores de impressão definidos na Seção 2.2.1. Especificamente, usamos duas métricas de impressão: 1. Número de palavras após o reposicionamentoque combina contagens de palavras e contagens de posições. Para analisar o efeito de componentes individuais, também informamos as pontuações das duas submétricas separadamente.2. impressão subjetivaEssa é uma métrica subjetiva que engloba sete aspectos diferentes: 1) a relevância da frase citada para a consulta do usuário; 2) o impacto da citação, que avalia o quanto a resposta gerada depende da citação; 3) a exclusividade do material processado da citação; 4) a localização subjetiva, que mede a proeminência da localização da fonte do ponto de vista do usuário; 5) a contagem subjetiva, que mede a quantidade de conteúdo apresentado pela citação, conforme percebido pelo usuário; 6) a probabilidade de um usuário clicar na probabilidade de citação, e 7) diversidade do material apresentado. Essas submétricas avaliam diferentes aspectos que os criadores de conteúdo podem direcionar para melhorar a eficácia em uma ou mais áreas. Cada subindicador foi avaliado usando o GPT-3.5 de maneira semelhante à descrita no G-Eval [15]. No G-Eval, um modelo de avaliação baseado em formulário é fornecido ao modelo de linguagem, juntamente com uma resposta gerada pelo GE com citações. O modelo gera uma pontuação para cada citação (calculada por meio de amostragem múltipla). Entretanto, como as pontuações do G-Eval são mal calibradas, nós as normalizamos para que tivessem a mesma média e variância que as contagens de palavras ajustadas por posição para permitir comparações justas e significativas. Fornecemos o modelo exato no Apêndice B.3.

Além disso, todas as métricas de impressão foram normalizadas, multiplicando-as por um fator constante, de modo que a soma de todas as impressões referenciadas na resposta fosse igual a 1. Em nossas análises, comparamos os métodos calculando a melhoria relativa nas impressões. Para a resposta gerada inicialmente r Da fonte S_i ∈ {s₁, …, s_m} e resposta modificada r'Cada fonte s_i A melhora relativa na impressão foi medida como:

Melhoria_si = (Imp_si(r') – Imp_si(r)) / Imp_si(r) × 100

Resposta modificada r' é aplicando a metodologia GEO que está sendo avaliada a uma das fontes s_i Gerada. A fonte escolhida de otimização é escolhida aleatoriamente, mas permanece constante em todos os métodos GEO para uma determinada consulta.

4 Resultados

Avaliamos uma variedade de métodos de otimização de mecanismos de geração com o objetivo de otimizar o conteúdo do site para melhorar a visibilidade nas respostas dos mecanismos de geração, em comparação com uma linha de base sem otimização. Nossa avaliação usou o GEO-bench, um benchmark diversificado de consultas de usuários de vários domínios e configurações. O desempenho é medido por duas métricas: contagem de palavras ajustada à posição e impressão subjetiva. A primeira leva em conta a contagem de palavras e a posição da citação na resposta do GE, enquanto a segunda calcula vários fatores subjetivos para fornecer uma pontuação de impressão geral.

Tabela 1: Métricas de impressão absoluta dos métodos GEO no GEO-bench.

A Tabela 1 detalha as métricas de impressão absoluta dos diferentes métodos em várias métricas. Os resultados mostram que nossos métodos GEO superam consistentemente a linha de base no GEObench em todas as métricas. Isso demonstra a robustez desses métodos para diferentes consultas, obtendo melhorias significativas apesar da diversidade de consultas. Especificamente, nossos métodos de melhor desempenho, Citing Sources, Citation Addition e Statistical Data Addition, obtiveram melhorias relativas de 30-401 TP3T na métrica de contagem de palavras ajustada por posição e de 15-301 TP3T na métrica de impressão subjetiva. Esses métodos, incluindo a adição de estatísticas relevantes ao conteúdo do site (adição de estatísticas), a incorporação de citações confiáveis (adição de citações) e a inclusão de citações de fontes confiáveis (fornecimento de citações), exigiram alterações mínimas, mas melhoraram significativamente a visibilidade das respostas do GE e aumentaram a credibilidade e a riqueza do conteúdo.

É interessante notar que as alterações estilísticas, como a melhoria da fluência e da legibilidade do texto de origem (otimização da fluência e facilidade de compreensão), também levaram a ganhos significativos de visibilidade.

Além disso, como os modelos generativos geralmente são projetados para seguir instruções, seria de se esperar que um tom mais persuasivo e autoritário no conteúdo do site melhorasse a visibilidade. No entanto, não encontramos nenhuma melhoria significativa, o que sugere que o mecanismo generativo se tornou um tanto resistente a essas mudanças. Isso destaca a necessidade de os proprietários de sites se concentrarem em melhorar a apresentação e a credibilidade do conteúdo.

Por fim, avaliamos o keyword stuffing, que envolve a adição de palavras-chave mais relevantes ao conteúdo de um site. Embora amplamente usado na otimização de mecanismos de pesquisa, encontramos pouca melhoria na resposta dessa abordagem aos mecanismos generativos. Isso destaca a necessidade de repensar as estratégias de otimização nos mecanismos generativos, pois as técnicas que funcionam nos mecanismos de busca podem não se traduzir em sucesso nesse novo paradigma.

5 Análises

5.1 Otimização do mecanismo de geração específico do domínio

Na Seção 4, apresentamos as melhorias obtidas pelo GEO nos benchmarks do GEO-bench. Entretanto, em cenários de SEO do mundo real, geralmente são aplicadas otimizações específicas do domínio. Com isso em mente, e considerando que fornecemos classificações para cada consulta no GEO-bench, vamos nos aprofundar no desempenho de vários métodos GEO nessas classificações.

A Tabela 3 apresenta um detalhamento que mostra as áreas em que nossa abordagem GEO se mostrou mais eficaz. Uma análise mais detalhada desses resultados revela várias observações interessantes. Por exemplo, a autoridade melhora significativamente o desempenho em perguntas do tipo debate e consultas relacionadas ao domínio "história". Isso é consistente com nossa intuição de que uma forma de escrita mais persuasiva pode ser mais valiosa em debates.

Figura 4: Melhoria relativa usando uma combinação de estratégias GEO. O uso da otimização da fluência em combinação com a adição de estatísticas resulta no melhor desempenho. A coluna da direita mostra que usar a otimização da fluência em combinação com outras estratégias é o mais vantajoso.

Da mesma forma, adicionar citações por meio da citação de fontes é particularmente benéfico para questões factuais, possivelmente porque as citações fornecem uma fonte de validação para os fatos apresentados, aumentando assim a credibilidade da resposta. Diferentes métodos GEO funcionam de forma diferente em diferentes domínios. Por exemplo, conforme mostrado na linha 5 da Tabela 3, perguntas do tipo "Lei e governo" e "Opinião" se beneficiaram da adição de estatísticas relevantes ao conteúdo do site, conforme implementado pela adição de estatísticas. Isso sugere que a evidência orientada por dados pode melhorar a visibilidade de um site em um contexto específico. A abordagem de adição de citações foi mais eficaz nas áreas de Pessoas e Sociedade, Interpretação e História. Isso pode ocorrer porque esses domínios geralmente envolvem narrativas pessoais ou eventos históricos, e as citações diretas podem acrescentar autenticidade e profundidade ao conteúdo. De modo geral, nossas análises sugerem que os proprietários de sites devem se esforçar para adaptar seus sites para obter maior visibilidade.

5.2 Otimização de vários sites

No ambiente em evolução dos mecanismos generativos, espera-se que a abordagem GEO seja amplamente adotada, resultando na otimização de todo o conteúdo de origem usando GEO. Para entender o impacto, avaliamos a abordagem GEO otimizando simultaneamente todo o conteúdo de origem, e os resultados são apresentados na Tabela 2. Uma observação importante é que o impacto do GEO em um site varia de acordo com a classificação da página de resultados do mecanismo de pesquisa (SERP). Notavelmente, os sites com classificação baixa, que normalmente têm dificuldades de visibilidade, se beneficiam mais da GEO. Isso ocorre porque os mecanismos de pesquisa tradicionais dependem de uma variedade de fatores, como o número de backlinks e a presença do domínio, o que pode ser difícil para criadores menores. No entanto, fatores como a criação de backlinks não devem colocar os pequenos criadores em desvantagem, pois os mecanismos generativos utilizam modelos generativos condicionados ao conteúdo do site. Isso pode ser visto na melhoria relativa da visibilidade mostrada na Tabela 2. Por exemplo, o método de fonte de citação resultou em um aumento significativo na visibilidade de 115,11 TP3T para o site classificado em quinto lugar nas SERPs, enquanto, em média, o site classificado em primeiro lugar teve uma redução na visibilidade de 30,31 TP3T.

Tabela 2: Alterações na visibilidade por meio do método GEO, para diferentes fontes classificadas. O GEO é particularmente útil para sites com classificação baixa.

Essa descoberta destaca o GEO como uma ferramenta para democratizar o espaço digital. Muitos sites de baixa classificação são criados por pequenos criadores de conteúdo ou empresas independentes que, tradicionalmente, têm tido dificuldades para competir com organizações maiores pelos principais resultados dos mecanismos de pesquisa. O surgimento de mecanismos generativos pode, a princípio, parecer funcionar contra entidades menores. No entanto, a aplicação de uma abordagem de GEO oferece a esses criadores de conteúdo uma oportunidade de aumentar significativamente sua visibilidade nas respostas dos mecanismos de geração. Ao aprimorar seu conteúdo com GEO, eles podem atingir um público mais amplo, nivelar o campo de atuação e permitir que concorram de forma mais eficaz com empresas maiores.

5.3 Combinação de estratégias GEO

Embora as estratégias individuais de GEO apresentem melhorias significativas em todos os domínios, na prática, espera-se que os proprietários de sites empreguem várias estratégias simultaneamente. Para investigar os aprimoramentos de desempenho obtidos com a combinação de estratégias de GEO, consideramos uma combinação das quatro abordagens de GEO com melhor desempenho, ou seja, obtenção de citações, otimização de fluência, adição de estatísticas e adição de citações. A Figura 4 mostra um mapa de calor das melhorias relativas obtidas com a combinação de diferentes estratégias de GEO. A análise mostra que uma combinação de métodos de otimização do mecanismo de geração melhora o desempenho, com a melhor combinação (otimização de fluência e adição de estatísticas) superando qualquer estratégia GEO individual em mais de 5,51 TP3T. Além disso, embora relativamente ineficaz quando usado sozinho (81 TP3T a menos do que a adição de citações), o fornecimento de citações melhora significativamente o desempenho quando usado em combinação com outros métodos (média: 31,41 TP3T). Essas descobertas enfatizam a importância de examinar as combinações de métodos de GEO, pois é provável que eles sejam usados por criadores de conteúdo do mundo real.

5.4 Análise qualitativa

Realizamos uma análise qualitativa dos métodos GEO na Tabela 4, que contém alguns exemplos representativos de métodos GEO que melhoram a visibilidade da fonte com alterações mínimas. Cada método otimiza a fonte por meio de adições e exclusões de texto apropriadas. No primeiro exemplo, vemos que a simples adição de uma declaração à fonte melhora significativamente a visibilidade na resposta final, exigindo um esforço mínimo por parte do criador do conteúdo. O segundo exemplo mostra que adicionar o máximo possível de estatísticas relevantes garante maior visibilidade da fonte na resposta final do mecanismo de geração. Por fim, a terceira linha mostra que enfatizar apenas partes do texto e usar um estilo de texto persuasivo também pode melhorar a visibilidade.

6 GEO no mundo real: experimentos com um motor de geração implantado

Para reforçar a eficácia da nossa abordagem proposta de otimização do mecanismo de geração, nós a avaliamos no Perplexity.ai, um mecanismo de geração implantado com milhões de usuários ativos. A Tabela 5 mostra os resultados. Assim como em nosso mecanismo de geração, a adição de citações tem o melhor desempenho na contagem de palavras ajustada por posição, que é 221 TP3T mais alta do que a linha de base. Os métodos que têm bom desempenho em nosso mecanismo de geração, como o fornecimento de citações e a adição de estatísticas, mostram melhorias de até 91 TP3T e 371 TP3T em ambas as métricas. Nossa observação de que os métodos tradicionais de SEO, como o preenchimento de palavras-chave, são ineficazes destaca ainda mais esse fato, pois é 101 TP3T menor do que a linha de base. mostram que os criadores de conteúdo podem usar diretamente a abordagem GEO proposta, que é fácil de implementar e, portanto, tem um alto impacto no mundo real. Para obter mais detalhes, consulte o Apêndice C.1.

Tabela 5: Métricas de impressão absoluta dos métodos GEO no banco de dados GEO, com Perplexity.ai como GE. Embora os métodos de SEO, como o preenchimento de palavras-chave, tenham um desempenho ruim, nosso método GEO proposto se adapta bem a vários mecanismos de geração e melhora significativamente a visibilidade do conteúdo.

7 Trabalhos relacionados

Geração de respostas baseadas em evidências:Nakano et al [19] treinaram o ambiente de rede de navegação GPT-3 para gerar respostas baseadas em fontes. Da mesma forma, outras abordagens [17, 23, 24] acessam fontes por meio de mecanismos de pesquisa para gerar respostas. Nosso trabalho unifica essas abordagens e fornece uma referência comum para aprimorar esses sistemas no futuro. Em um rascunho de trabalho recente, Kumar e Lakkaraju [11] mostram que sequências de texto estratégicas podem manipular as recomendações de LLM para melhorar a visibilidade do produto no mecanismo de geração. Enquanto a abordagem deles se concentra em aumentar a visibilidade do produto por meio de texto contraditório, nossa abordagem apresenta estratégias não contraditórias para otimizar qualquer conteúdo da Web a fim de melhorar a visibilidade nos resultados de pesquisa do mecanismo de geração.

Recuperação de modelos de linguagem aprimorados:Vários trabalhos recentes abordam o problema dos modelos de linguagem com memória limitada para executar uma tarefa, buscando fontes relevantes em uma base de conhecimento [3, 9, 18]. No entanto, os mecanismos de geração precisam gerar respostas e fornecer atribuição em toda a resposta. Além disso, os mecanismos de geração não se limitam a uma única modalidade textual, seja de entrada ou de saída. Além disso, a estrutura de um mecanismo de geração não se limita à busca de fontes relevantes, mas inclui várias tarefas, como reescrita de consultas, seleção de fontes e decisão de como e quando executá-las.

Otimização de mecanismos de busca:Nos últimos 25 anos, uma grande quantidade de pesquisas foi dedicada à otimização do conteúdo de sites para mecanismos de busca [2, 12, 22]. Esses métodos são categorizados em SEO on-page, que melhora o conteúdo e a experiência do usuário, e SEO off-page, que melhora a autoridade do site por meio da criação de links. Em contrapartida, o GEO envolve um ambiente mais complexo, multimodal e de estabelecimento de diálogo. Como o GEO é otimizado para modelos generativos e não se limita à simples correspondência de palavras-chave, as estratégias tradicionais de SEO não são aplicáveis às configurações de mecanismos generativos, o que destaca a necessidade do GEO.

8 Conclusão

Neste trabalho, formulamos mecanismos de pesquisa equipados com modelos generativos, que chamamos de mecanismos de geração. Propomos o Generation Engine Optimization (GEO) para ajudar os criadores de conteúdo a otimizar seu conteúdo no mecanismo de geração. Definimos métricas de impressão para o mecanismo de geração e propomos e publicamos o GEO-bench: um benchmark que contém diversas consultas de usuários de vários domínios e configurações, bem como as fontes necessárias para respondê-las. Propomos vários métodos para otimizar o conteúdo do mecanismo de geração e mostramos que esses métodos podem melhorar a visibilidade das fontes na resposta do mecanismo de geração em até 401 TP3 T. Entre outras descobertas, descobrimos que a inclusão de citações, citações de fontes relevantes e dados estatísticos pode melhorar significativamente a visibilidade das fontes. Além disso, descobrimos dependências entre a eficácia do método GEO e os domínios de consulta, bem como a possibilidade de combinar várias estratégias GEO. Mostramos resultados promissores em um mecanismo de geração disponível comercialmente com milhões de usuários ativos, demonstrando o impacto do nosso trabalho no mundo real. Em resumo, nosso trabalho é o primeiro a formalizar um paradigma GEO importante e oportuno, liberando algoritmos e infraestrutura (benchmarks, conjuntos de dados e métricas) para facilitar o rápido progresso da comunidade em mecanismos generativos. Isso serve como um primeiro passo para entender o impacto dos mecanismos generativos no espaço digital e a função do GEO nesse novo paradigma de mecanismo de busca.

9 Restrições

Embora tenhamos testado rigorosamente o desempenho de nossos métodos propostos em dois mecanismos generativos, incluindo um mecanismo generativo disponível publicamente, esses métodos podem precisar ser adaptados à medida que a GE evolui, de forma semelhante à evolução da SEO. Além disso, embora nos esforcemos para garantir que as consultas em nosso GEObench sejam as mais próximas possíveis das consultas do mundo real, a natureza das consultas pode mudar com o tempo e exigir atualização contínua. Além disso, devido à natureza de caixa-preta dos algoritmos dos mecanismos de pesquisa, não avaliamos como os métodos GEO afetam as classificações de pesquisa. No entanto, observamos que as alterações feitas pelos métodos GEO são alterações direcionadas ao conteúdo textual, algo semelhante aos métodos de SEO, sem afetar outros metadados, como nomes de domínio, backlinks etc., e, portanto, é improvável que afetem as classificações dos mecanismos de pesquisa. Além disso, à medida que comprimentos de contexto maiores se tornarem econômicos em modelos de linguagem, espera-se que futuros modelos generativos possam ingerir mais fontes, reduzindo assim o impacto das classificações de pesquisa. Por fim, embora cada consulta em nosso GEObench proposto seja rotulada e verificada manualmente, pode haver discrepâncias devido a interpretações subjetivas ou erros de marcação.

10 Agradecimentos

Este material é baseado no trabalho apoiado pela National Science Foundation sob o número de concessão 2107048. Quaisquer opiniões, descobertas e conclusões ou recomendações expressas neste material são de responsabilidade dos autores e não refletem necessariamente a posição da National Science Foundation.

bibliografia

rob

apêndice

Apêndice A: Mecanismo de geração de diálogo

Na Seção 2.1, discutimos um mecanismo de geração de rodada única que produz uma única resposta a uma consulta do usuário. Entretanto, uma vantagem dos próximos mecanismos de geração será a capacidade de se envolver em um diálogo ativo com o usuário. O diálogo permite que o usuário forneça esclarecimentos e faça perguntas de acompanhamento sobre a consulta ou a resposta do mecanismo de geração. Especificamente, na Equação 1, a entrada não é uma única consulta q_uEm vez disso, ela é modelada como uma história de diálogo H = (q^t_u, r^t) Par. Resposta r^t+1 Definido posteriormente:

GE := f_LE(H, P_U) → r^t+1

Entre eles t São rodadas.

Além disso, para envolver os usuários no diálogo, um LLM separado queL_seguir talvez L_respÉ possível que, dependendo do HeP_U responder cantando r^t+1 Gerar consultas de acompanhamento sugeridas. Essas consultas de acompanhamento sugeridas geralmente são projetadas para maximizar a probabilidade de envolvimento do usuário. Isso beneficia não apenas o provedor do mecanismo de geração, aumentando a interação do usuário, mas também o proprietário do site, melhorando sua visibilidade. Além disso, essas consultas de acompanhamento podem ajudar os usuários a obter informações mais detalhadas.

Apêndice B: Configuração experimental

B.1 Avaliação do mecanismo de geração

As dicas exatas usadas são mostradas na Listagem 1.

B.2 Padrões de referência

O GEO-bench contém consultas de nove conjuntos de dados. A Figura 2 mostra perguntas representativas de cada conjunto de dados. Além disso, rotulamos cada consulta de acordo com um conjunto de sete categorias diferentes. Para a rotulagem, usamos o modelo GPT-4 e confirmamos manualmente a alta recuperação e precisão dos rótulos. No entanto, devido a esse sistema automatizado, a rotulagem pode ser ruidosa e não deve ser considerada com cuidado. Informações detalhadas sobre essas consultas são fornecidas abaixo:

Listagem 2: Perguntas representativas para os 9 conjuntos de dados no GEO-bench

• Nível de dificuldade:A complexidade da consulta, de simples a complexa.
• Natureza da pesquisa:Informe-se sobre o tipo de informação procurada, como factual, opinião ou comparação.
• Tipo:Categoria ou campo de pesquisa, por exemplo, artes e entretenimento, finanças ou ciências.
• Temas específicos:As especificidades da pesquisa, como física, economia ou ciência da computação.
• Sensibilidade:Pergunte se há tópicos sensíveis envolvidos.
• Intenção do usuário:A finalidade da consulta do usuário, como pesquisa, compra ou entretenimento.
• Tipo de resposta:Consulte o formato da resposta procurada, como fatos, opiniões ou listas.

B.3 Avaliação dos indicadores

Usamos sete diferentes métricas de impressão subjetiva cujas dicas estão disponíveis em nosso repositório público: https://github.com/GEOoptim/GEO. O turbo GPT-3.5 foi usado em todos os experimentos.

B.4 Metodologia GEO

Apresentamos nove métodos diferentes de otimização de mecanismos de geração para otimizar o conteúdo da Web para mecanismos de geração. Avaliamos esses métodos no conjunto completo de testes GEO-bench. Além disso, para reduzir a variação dos resultados, realizamos experimentos com cinco sementes aleatórias diferentes e informamos os valores médios.

Tabela 6: Métricas de impressão absoluta dos métodos GEO no GEO-bench.Métodos simples, como o preenchimento de palavras-chave, têm tradicionalmente um desempenho inferior em SEO em comparação com as linhas de base. No entanto, nossos métodos propostos, como stats-add e citation-add, apresentam melhorias significativas de desempenho em todas as métricas. O melhor método melhora em relação à linha de base na contagem de palavras ajustada à posição e nas impressões subjetivas, respectivamente 41% e 28%.

B.5 Dicas para o método GEO

Todas as nossas dicas estão disponíveis em nossa base de código pública: https://github.com/GEO-optim/GEO. Todos os experimentos foram feitos usando o GPT-3.5 turbo.

Apêndice C: Resultados adicionais e discussão

C.1 GEO no mundo real: experimentos com o mecanismo de geração implantado

Também avaliamos nossa abordagem de otimização de mecanismo de geração proposta em um mecanismo de geração implantado no mundo real, o Perplexity.ai. Como o Perplexity.ai não permite que os usuários especifiquem URLs de origem, em vez disso, carregamos o texto de origem como um arquivo para o Perplexity.ai, garantindo que todas as respostas fossem geradas usando apenas a origem do arquivo fornecido. Avaliamos todos os nossos métodos em um subconjunto de 200 amostras do nosso conjunto de testes. Os resultados usando o Perplexity.ai são mostrados na Tabela 7.

Tabela 7: Melhoria de desempenho do método GEO no banco de dados GEO com o Perplexity.ai como mecanismo de geração.Métodos simples, como o preenchimento de palavras-chave, geralmente têm um desempenho pior em SEO em comparação com as linhas de base. No entanto, nossos métodos propostos, como stats-add e citation-add, apresentam melhorias significativas de desempenho em todas as métricas. O melhor método melhora 221 TP3T e 371 TP3T em relação à linha de base em contagem de palavras ajustada por posição e impressões subjetivas, respectivamente.

Resultados e análises

As Tabelas 5 e 7 mostram as métricas de impressão absoluta da abordagem GEO ao usar o Perplexity.ai como mecanismo de geração. Os resultados mostram que nosso método GEO tem um bom desempenho na melhoria da visibilidade do conteúdo em comparação com a linha de base. Especificamente:

• Adicionar por referênciaMelhoria do 221 TP3T em relação à linha de base na métrica de contagem de palavras com ajuste de posição.
• Acréscimo de dados estatísticosTP3T: 371 melhoria do TP3T em relação à linha de base na métrica de impressão subjetiva.

Esses resultados são significativos por três motivos:

1. Enfatizar a importância de diferentes métodos GEOEsses resultados sugerem que o desenvolvimento de diferentes métodos de otimização de mecanismos de geração pode ser benéfico para os criadores de conteúdo.
2. Replicabilidade da metodologiaNosso método GEO tem bom desempenho em diferentes mecanismos de geração, demonstrando sua ampla aplicabilidade.
3. Valor da aplicação práticaOs criadores de conteúdo podem usar diretamente a metodologia GEO de fácil implementação que propomos para causar um impacto significativo no mundo real.

Além disso, observamos que os métodos tradicionais de SEO (por exemplo, keyword stuffing) têm um desempenho ruim em mecanismos generativos, mesmo com 101 TP3T abaixo da linha de base, o que reforça nossa visão de que os mecanismos generativos exigem estratégias de otimização dedicadas em vez de simplesmente empregar técnicas tradicionais de SEO. Por meio de experimentos no Perplexity.ai, validamos a eficácia dos nossos métodos de otimização de mecanismos de geração em diferentes mecanismos de geração. Esses métodos não apenas melhoram a visibilidade do conteúdo, mas também demonstram seu potencial para aplicações no mundo real. Nossa pesquisa oferece aos criadores de conteúdo uma nova ferramenta para enfrentar os desafios apresentados pelos mecanismos de geração e otimizar seu conteúdo para melhorar a visibilidade e o envolvimento do usuário.

C.2 Discussão

Impacto da otimização específica do domínio

Nossas análises mostram que diferentes métodos GEO funcionam de forma diferente em diferentes áreas. Exemplo:

• (ter) autoridadeDesempenho forte em perguntas e questionamentos no estilo de debate relacionados ao campo da "história". Isso é consistente com nossa intuição de que formas mais persuasivas de redação podem ser mais valiosas em debates.
• Fontes citadasCitação: Particularmente útil para perguntas factuais, pois as citações fornecem uma fonte de validação para os fatos apresentados, aumentando assim a credibilidade da resposta.
• Acréscimo de dados estatísticosResultados significativos foram observados nos tipos de perguntas "Direito e governo" e "Opinião", sugerindo que as evidências baseadas em dados podem melhorar a visibilidade de um site em um contexto específico.
• Adicionar por referênciaMais eficaz nas áreas de "pessoas e sociedade", "interpretação" e "história". Isso pode ser devido ao fato de que essas áreas geralmente envolvem narrativas pessoais ou eventos históricos, e as citações diretas podem acrescentar autenticidade e profundidade ao conteúdo.

Impacto da estratégia de portfólio

Nosso estudo também mostra que a combinação de várias estratégias de GEO pode melhorar ainda mais o desempenho. Por exemplo, o uso de uma combinação de otimização de fluência e adição de estatísticas resultou no melhor desempenho. Além disso, o fornecimento de citações melhora significativamente o desempenho quando usado em combinação com outros métodos, apesar dos resultados relativamente ruins quando usado sozinho. Essas descobertas enfatizam a importância de investigar combinações de métodos de GEO, pois é provável que eles sejam usados por criadores de conteúdo do mundo real.

Impacto em SEO

Nossas descobertas têm implicações importantes para o campo de SEO. Com o surgimento dos mecanismos generativos, as técnicas tradicionais de SEO podem não ser mais suficientes. Os proprietários de sites precisam adotar novas estratégias para otimizar seu conteúdo para esse novo paradigma de pesquisa. Nossa abordagem GEO oferece uma nova maneira de pensar que enfatiza a importância da qualidade e da apresentação do conteúdo, em vez de depender apenas do preenchimento de palavras-chave e da criação de backlinks.

trabalho futuro

Pesquisas futuras poderiam explorar melhor as seguintes áreas:

1. Efeitos a longo prazoEstudo do impacto dos métodos GEO na visibilidade e no tráfego de longo prazo do site.
2. Análise do comportamento do usuárioAnálise dos padrões de comportamento do usuário ao interagir com o mecanismo de geração para entender melhor como otimizar o conteúdo para atrair e reter usuários.
3. Otimização de conteúdo multimodalExtensão da metodologia GEO para otimizar imagens, vídeos e outros conteúdos multimídia para a capacidade do mecanismo de geração de processar informações multimodais.
4. Desenvolvimento de ferramentas de automaçãoDesenvolver ferramentas automatizadas para ajudar os criadores de conteúdo a implementar estratégias de GEO com mais facilidade e monitorar e ajustar suas estratégias de otimização em tempo real.

Por meio dessas direções de pesquisa, podemos obter uma compreensão mais abrangente do impacto dos mecanismos de geração no espaço digital e fornecer aos criadores de conteúdo ferramentas mais eficazes para lidar com essas mudanças.