Abstracts

Das Aufkommen von groß angelegten Sprachmodellen (LLMs) hat ein neues Paradigma von Suchmaschinen eröffnet, die generative Modelle verwenden, um Informationen zu sammeln und zusammenzufassen, um Benutzeranfragen zu beantworten. Wir fassen diese aufkommende Technologie unter dem Begriff Generative Engines (GEs) zusammen, die genaue und personalisierte Antworten generieren und herkömmliche Suchmaschinen wie Google und Bing rasch ablösen.Generative Engines beantworten Anfragen in der Regel durch die Kombination von Informationen aus mehreren Quellen und deren Zusammenfassung mithilfe von LLMs. Dieser Wandel hat zwar den Nutzen für die Nutzer und den Verkehr mit generativen Suchmaschinen erheblich gesteigert, stellt aber auch eine große Herausforderung für einen dritten Akteur dar - Websites und Inhaltsersteller. Angesichts der Blackbox und der sich schnell verändernden Natur von Generierungsmaschinen haben die Autoren von Inhalten nur wenig Kontrolle darüber, wann und wie ihre Inhalte angezeigt werden. Da Generierungsmaschinen immer beliebter werden, müssen wir sicherstellen, dass die Wirtschaft der Urheber dadurch nicht benachteiligt wird. Zu diesem Zweck stellen wir Generation Engine Optimisation (GEO) vor, das erste neue Paradigma, das Inhaltserstellern dabei hilft, die Sichtbarkeit ihrer Inhalte in den Antworten von Generation Engine zu verbessern, indem sie Sichtbarkeitsmetriken durch einen flexiblen Black-Box-Optimierungsrahmen optimieren und definieren. Wir erleichtern die systematische Bewertung, indem wir die GEO-Bench einführen, einen groß angelegten Benchmark, der verschiedene Benutzeranfragen aus unterschiedlichen Bereichen sowie relevante Webressourcen zur Beantwortung dieser Anfragen enthält. Durch eine rigorose Evaluierung zeigen wir, dass GEO die Sichtbarkeit der Antworten der Generierungsmaschine um bis zu 401 TP3 T verbessern kann. Darüber hinaus zeigen wir die Wirksamkeit dieser Strategien in verschiedenen Domänen, was den Bedarf an domänenspezifischen Optimierungsansätzen verdeutlicht. Unsere Arbeit eröffnet ein neues Feld für Informationsfindungssysteme mit weitreichenden Auswirkungen für Entwickler von Generierungsmaschinen und für Autoren von Inhalten.

CCS-Konzept

- Berechnungsmethodik → Verarbeitung natürlicher Sprache; maschinelles Lernen;
- Informationssystem → Websuche und Informationsbeschaffung.

Stichwort

Erstellung von Modellen, Suchmaschinen, Datensätzen und Benchmarks

ACM-Referenzformat

Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan, and Ameet Deshpande. 2024. geo: generation engine optimization. In Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '24), 25-29 August 2024, Barcelona, Spanien. ACM, New York, NY, USA, 12 pp. https://doi.org/10.1145/3637528.3671900

1 Einleitung

Die Erfindung herkömmlicher Suchmaschinen vor dreißig Jahren hat die Art und Weise, wie Informationen weltweit abgerufen und verbreitet werden, revolutioniert [4]. Obwohl sie leistungsfähig waren und zahlreiche Anwendungen wie akademische Forschung und E-Commerce hervorbrachten, beschränkten sie sich darauf, eine Liste relevanter Websites für Benutzeranfragen zu liefern. Der jüngste Erfolg von groß angelegten Sprachmodellen [5, 21] hat jedoch den Weg für bessere Systeme wie BingChat, Googles SGE und perplexity.ai geebnet, die traditionelle Suchmaschinen mit generativen Modellen kombinieren. Wir bezeichnen diese Systeme als generative Engines (GEs), weil sie unter Verwendung mehrerer Quellen nach Informationen suchen und multimodale Antworten erzeugen. Technisch gesehen rufen generative Suchmaschinen (siehe Abbildung 2) relevante Dokumente aus Datenbanken (z. B. dem Internet) ab und verwenden große neuronale Netzwerkmodelle, um quellenbasierte Antworten zu generieren, die die Zuordnung sicherstellen und den Nutzern die Möglichkeit geben, Informationen zu überprüfen.

Abbildung 1: Der von uns vorgeschlagene Ansatz der generativen Suchmaschinenoptimierung (GEO) optimiert Websites, um ihre Sichtbarkeit in den Antworten der generativen Suchmaschinen zu verbessern. Der Black-Box-Optimierungsrahmen von GEO ermöglicht es den Inhabern von Pizza-Websites, die ansonsten nicht sichtbar sind, ihre Websites zu optimieren, um ihre Sichtbarkeit in den generativen Suchmaschinen zu verbessern. Darüber hinaus ermöglicht das generische Framework von GEO den Erstellern von Inhalten, ihre eigenen Sichtbarkeitsmetriken zu definieren und zu optimieren, wodurch sie eine größere Kontrolle über dieses neue Paradigma erhalten.

Der Nutzen von Generierungsmaschinen für Entwickler und Nutzer liegt auf der Hand: Die Nutzer können schneller und genauer auf Informationen zugreifen, und die Entwickler können genaue und personalisierte Antworten geben, was zu einer höheren Nutzerzufriedenheit und höheren Einnahmen führt. Generierungsmaschinen sind jedoch für einen dritten Akteur von Nachteil - Websites und Inhaltsersteller. Im Gegensatz zu herkömmlichen Suchmaschinen entfällt bei Generierungsmaschinen die Notwendigkeit, zu einer Website zu navigieren, was den organischen Datenverkehr einer Website verringern und sich auf ihre Sichtbarkeit auswirken kann, da genaue und umfassende Antworten direkt geliefert werden [16]. Da Millionen von Kleinunternehmen und Einzelpersonen auf Online-Verkehr und Sichtbarkeit angewiesen sind, um ihren Lebensunterhalt zu bestreiten, werden Generierungsmaschinen die Kreativwirtschaft erheblich stören. Darüber hinaus macht es die Blackbox und der proprietäre Charakter von Generierungsmaschinen den Urhebern von Inhalten schwer, zu kontrollieren und zu verstehen, wie ihre Inhalte aufgenommen und präsentiert werden.

In diesem Beitrag stellen wir das erste generische, auf den Urheber ausgerichtete Framework zur Optimierung von Inhalten in Generierungsmaschinen vor, das wir Generation Engine Optimisation (GEO) nennen, um Urhebern von Inhalten bei der Navigation durch dieses neue Suchparadigma zu helfen.GEO ist ein flexibles Black-Box-Optimierungsframework zur Optimierung der Sichtbarkeit von Webinhalten in proprietären und Closed-Source-Generierungsmaschinen (Abb. 1). GEO nimmt die Quell-Website auf und gibt eine optimierte Version aus, die die Sichtbarkeit in der Generierungsmaschine durch Anpassung und Kalibrierung von Präsentation, Textstilen und Inhalt erhöht.

Darüber hinaus führt GEO einen flexiblen Rahmen für die Definition von Sichtbarkeitsmetriken ein, der speziell für generative Suchmaschinen entwickelt wurde, da das Konzept der Sichtbarkeit in generativen Suchmaschinen subtiler und vielschichtiger ist als in traditionellen Suchmaschinen (Abbildung 3). Während das durchschnittliche Ranking ein gutes Maß für die Sichtbarkeit auf der Antwortseite einer traditionellen Suchmaschine ist, die eine lineare Liste von Websites präsentiert, gilt dies nicht für generative Suchmaschinen. Generierungsmaschinen liefern reichhaltige, strukturierte Antworten und betten Websites als Inline-Referenzen in die Antwort ein, oft in unterschiedlicher Länge, an unterschiedlichen Stellen und in unterschiedlichen Stilen. Dies erfordert Sichtbarkeitsmetriken, die speziell für Generierungsmaschinen entwickelt wurden und die die Sichtbarkeit der Zitierquelle auf mehreren Ebenen messen, z. B. die Relevanz und die Auswirkungen des Zitats auf die Suchanfrage, und zwar sowohl aus objektiver als auch aus subjektiver Sicht.

Abbildung 2: Überblick über die generative Engine. Die Generierungsmaschine besteht hauptsächlich aus einer Reihe von generativen Modellen und einer Suchmaschine zum Abrufen relevanter Dokumente. Die Generierungsmaschine nimmt eine Benutzeranfrage als Eingabe und durchläuft eine Reihe von Schritten, um eine endgültige Antwort zu generieren, die auf den abgerufenen Quellen mit Inline-Attributierung basiert.

Um eine genaue und umfassende Bewertung der GEO-Methode zu ermöglichen, stellen wir die GEO-Bench vor, einen Benchmark mit 10.000 Abfragen aus verschiedenen Domänen und Quellen, die an die Generierungsmaschine angepasst sind.

Durch systematische Evaluierung zeigen wir, dass unser Ansatz zur Optimierung der Generierungsmaschine die Sichtbarkeit verschiedener Suchanfragen um bis zu 401 TP3T verbessern kann und somit eine nützliche Strategie für die Ersteller von Inhalten darstellt. Darüber hinaus stellen wir fest, dass die Einbeziehung von Zitaten, Zitaten verwandter Quellen und Statistiken die Sichtbarkeit von Quellen bei einer Vielzahl von Abfragen um mehr als 401 TP3T verbessern kann. Wir demonstrieren auch die Wirksamkeit der Optimierung der Generierungsmaschine auf Perplexity.ai, einer echten Generierungsmaschine, die Sichtbarkeitsverbesserungen von bis zu 371 TP3T zeigt.

Kurz gesagt, unser Beitrag ist dreifach:

1. Wir präsentieren Generation Engine Optimisation, das erste allgemeine Optimierungs-Framework, das Website-Besitzern hilft, ihre Websites für Generierungsmaschinen zu optimieren. Generation Engine Optimisation kann die Sichtbarkeit einer Website um bis zu 40% bei einer Vielzahl von Abfragen, Domains und echten Blackbox-Generierungsmaschinen erhöhen.
2. Unser Framework bietet einen umfassenden Satz von Sichtbarkeitsmetriken, die speziell für Generierungsmaschinen entwickelt wurden, und gibt den Autoren von Inhalten die Flexibilität, ihre Inhalte mit benutzerdefinierten Sichtbarkeitsmetriken zu optimieren.
3. Um die Bewertung von GEO-Methoden in generativen Suchmaschinen zu erleichtern, stellen wir den ersten groß angelegten Benchmark vor, der verschiedene Suchanfragen aus einem breiten Spektrum von Domänen und Datensätzen enthält und speziell auf generative Suchmaschinen zugeschnitten ist.

2 Formulierung und Forschungsmethodik

2.1 Formulierung der Generierungsmaschine

Obwohl zahlreiche generative Maschinen bei Millionen von Nutzern im Einsatz sind, gibt es keinen standardisierten Rahmen. Wir stellen eine Formulierung zur Verfügung, die die verschiedenen modularen Komponenten ihres Designs aufnehmen kann. Wir beschreiben eine Generierungsmaschine, die mehrere Back-End-Generierungsmodelle und eine Suchmaschine für die Quellenabfrage umfasst. Die Generierungsmaschine (GE) nimmt Benutzeranfragen entgegen q_u und gibt eine Antwort in natürlicher Sprache zurück rdie P_U stellt personalisierte Benutzerinformationen dar. Der GE kann als Funktion dargestellt werden:

f_GE := (q_u, P_U) → r

Die Generierungsmaschine enthält zwei Schlüsselkomponenten: a.) Eine Reihe von generativen Modellen G = {G₁, G₂, …, G_n}, jedes Modell hat einen bestimmten Zweck, wie z. B. das Umschreiben von Anfragen oder die Zusammenfassung, b.) eine Suchmaschine SEGegeben eine Abfrage qdie eine Reihe von Quellen zurückgibt S = {s₁, s₂, …, s_m} In Abbildung 2 ist ein repräsentativer Arbeitsablauf dargestellt, der zum Zeitpunkt der Abfassung dieses Artikels dem Design von BingChat sehr ähnlich ist. Dieser Arbeitsablauf zerlegt eine Eingabeabfrage in eine Reihe einfacherer Abfragen, die von Suchmaschinen leichter verarbeitet werden können. Ausgehend von einer Anfrage wird ein generatives Modell zum Umschreiben von Anfragen erstellt G₁ = G_qr Generieren Sie eine Reihe von Abfragen Q¹ = {q₁, q₂, …, q_n}, und übergeben Sie diese Abfragen an die Suchmaschine SE um eine Reihe von Quellen mit Rangfolge abzurufen S = {s₁, s₂, …, s_m} Quellensatz S wird an ein zusammenfassendes Modell übergeben G₂ = G_SummeEs erstellt eine Zusammenfassung für jede Quelle Summe_jund erzeugt so die zusammenfassende Menge (Summe = {Summe₁, Summe₂, …, Summe_m}). Die Zusammenfassung wird an ein Antwortgenerierungsmodell übergeben G₃ = G_bzw.Sie erzeugt eine kumulative Antwort, die von der Quelle unterstützt wird r. In dieser Arbeit konzentrieren wir uns auf Einrunden-Generierungsmaschinen, aber die Formulierung kann auf Mehrrunden-Dialoggenerierungsmaschinen erweitert werden (Anhang A).

reaktionsschnell r Es handelt sich in der Regel um einen strukturierten Text mit eingebetteten Verweisen. Angesichts der Tendenz von LLMs, Phantominformationen zu produzieren [10], sind Referenzen sehr wichtig. Betrachten wir konkret einen Text, der aus dem Satz {l₁, l₂, …, l_o} Zusammensetzung der Antwort r. Jeder Satz kann durch eine Reihe von Zitaten unterstützt werden, die die Menge der abgerufenen Dokumente sind C_i ⊂ S Teil der Antwort. Eine ideale Generierungsmaschine sollte sicherstellen, dass alle Aussagen in der Antwort durch relevante Zitate unterstützt werden (hohe Zitierhäufigkeit) und dass alle Zitate die Aussagen, denen sie zugeordnet sind, genau unterstützen (hohe Zitiergenauigkeit) [14]. Wir verweisen den Leser auf Abbildung 3 für eine repräsentative Antwort der Generierungsmaschine.

2.2 Optimierung der Generierungsmaschine

Die Erfindung der Suchmaschinen führte zur Suchmaschinenoptimierung (SEO), einem Prozess, der Website-Erstellern hilft, ihre Inhalte für eine bessere Platzierung in den Suchmaschinen zu optimieren. Je höher die Platzierung, desto höher die Sichtbarkeit und der Verkehr auf der Website. Herkömmliche SEO-Methoden sind jedoch nicht direkt auf Suchmaschinen anwendbar. Denn im Gegensatz zu herkömmlichen Suchmaschinen ist das generative Modell in generativen Suchmaschinen nicht auf den Abgleich von Schlüsselwörtern beschränkt, und die Verwendung von Sprachmodellen bei der Aufnahme von Quelldokumenten und der Generierung von Antworten führt zu einem differenzierteren Verständnis von Textdokumenten und Benutzeranfragen. Da generative Suchmaschinen immer mehr zum vorherrschenden Paradigma der Informationsbereitstellung werden, auf das SEO nicht direkt anwendbar ist, werden neue Techniken benötigt. Zu diesem Zweck schlagen wir die Generative Engine Optimisation vor, ein neues Paradigma, bei dem die Ersteller von Inhalten darauf abzielen, ihre Sichtbarkeit (oder ihren Eindruck) in den Antworten der Generative Engine zu erhöhen. Wir tun dies durch die Funktion Kobold(c_i, r) Definieren Sie den Standort (auch als Zitat bekannt)c_i In der generierten Antwort r in der Sichtbarkeit, die der Ersteller der Website maximieren möchte. Aus der Sicht der Generierungsmaschine besteht das Ziel darin, die Sichtbarkeit der Verweise zu maximieren, die für die Suchanfrage des Nutzers am relevantesten sind, d. h. die Σ_if(Kobold(c_i, r), Rel(c_i, q, r)), wobei Rel(c_i, q, r) Messung als Antwort auf r Zitiert im Kontext von c_i und Erkundigungen q Die Korrelation zwischen dem f wird durch den genauen algorithmischen Entwurf der Generierungsmaschine bestimmt und ist für den Endnutzer eine Blackbox-Funktion. Darüber hinaus ist die Funktion Kobold im Gesang antworten Rel sind subjektiv und noch nicht eindeutig für die Generierungsmaschine definiert, wir werden sie als nächstes definieren.

2.2.1 Eindrücke von der Generation Engine

Für die Suchmaschinenoptimierung werden die Impressionen (oder die Sichtbarkeit) einer Website durch ihr durchschnittliches Ranking bei mehreren Suchanfragen bestimmt. Die Output-Merkmale von Generierungsmaschinen erfordern jedoch andere Impressions-Metriken. Im Gegensatz zu Suchmaschinen kombinieren Generierungsmaschinen Informationen aus mehreren Quellen in einer einzigen Antwort. Die Länge, Einzigartigkeit und Präsentation der zitierten Seite bestimmen die tatsächliche Sichtbarkeit des Zitats. Während also, wie in Abbildung 3 gezeigt, ein einfaches Ranking auf der Antwortseite als gültige Metrik für Impressionen und Sichtbarkeit in herkömmlichen Suchmaschinen dient, gilt eine solche Metrik nicht für die Antworten von Generierungsmaschinen.

Abbildung 3: Bei herkömmlichen Suchmaschinen sind die Metriken für Rangfolge und Sichtbarkeit einfach: Sie listen die Quellen einer Website in der Rangfolge auf und zeigen den Inhalt wortwörtlich an. Generative Suchmaschinen hingegen generieren reichhaltige, strukturierte Antworten, die oft Zitate in einen Block einbetten, die miteinander verschachtelt sind. Dadurch werden Ranking und Sichtbarkeit subtil und vielschichtig. Im Gegensatz zu Suchmaschinen, bei denen bereits viel zur Verbesserung der Sichtbarkeit geforscht wurde, ist die Optimierung der Sichtbarkeit von generativen Suchmaschinenantworten noch unklar. Um diese Herausforderungen zu bewältigen, schlägt unser Black-Box-Optimierungsrahmen eine Reihe von gut durchdachten Impressionsmetriken vor, mit denen die Ersteller die Leistung ihrer Website messen und optimieren können, und ermöglicht es den Erstellern, ihre Impressionsmetriken zu definieren.

Um diese Herausforderung zu meistern, schlagen wir eine Reihe von Impressionsmetriken vor, die nach drei Grundsätzen entwickelt wurden: 1.) sie sollten für die Autoren relevant sein, 2.) sie sollten interpretierbar sein und 3.) sie sollten von einer Vielzahl von Autoren leicht verstanden werden. Die erste dieser Metriken ist die "Wortzahl"-Metrik, d. h. die normalisierte Anzahl der Wörter in einem Satz, der mit einem Zitat verbunden ist. Mathematisch ist dies definiert als:

Kobold_wc(c_i, r) = (Σ_s∈Sci |s|) / (Σ_s∈Sr |s|)

hier sind S_ci ist ein Zitat c_i Die Sammlung von Sätzen derS_r ist die Menge der Sätze in der Antwort,|s| ist die Anzahl der Wörter des Satzes. Wenn ein Satz von mehreren Quellen zitiert wird, verteilen wir die Wortzahl gleichmäßig auf alle Zitate. Intuitiv gilt: Je mehr Wörter, desto wichtiger ist die Rolle der Quelle in der Antwort, und desto mehr ist der Nutzer dieser Quelle ausgesetzt.

Da die "Wortzahl" jedoch nicht von der Rangfolge der Zitate abhängt (z. B. davon, ob sie an erster Stelle erscheinen oder nicht), schlagen wir eine positionsbereinigte Zählung vor, bei der das Gewicht durch eine exponentielle Abklingfunktion der Zitationsposition reduziert wird:

Kobold_Pwc(c_i, r) = (Σ_s∈Sci |s| - e^{-(pos(s)/|S|)}) / (Σ_s∈Sr |s|)

Intuitiv gilt: Je weiter vorne ein Satz in einer Antwort steht, desto eher wird er gelesen. Kobold_Pwc Der Indexbegriff in verleiht einem solchen Zitat ein höheres Gewicht. So kann ein Zitat an der Spitze der Seite trotz weniger Wörter einen höheren Eindruck hinterlassen als ein Zitat in der Mitte oder am Ende der Seite. Die Wahl einer exponentiellen Abklingfunktion wurde durch mehrere Studien inspiriert, die zeigen, dass die Klickraten als Funktion der Suchmaschinenplatzierungen einem Potenzgesetz folgen [7, 8]. Während die oben genannten Impression-Metriken objektiv und fundiert sind, ignorieren sie den subjektiven Aspekt von Zitaten auf die Aufmerksamkeit der Nutzer. Um dieses Problem anzugehen, schlagen wir eine Metrik für den "subjektiven Eindruck" vor, die Faktoren wie Relevanz, Auswirkung des Zitats, Einzigartigkeit der Präsentation des Zitats, subjektive Position, subjektive Anzahl, Wahrscheinlichkeit des Anklickens des Zitats und Vielfalt der Präsentation einbezieht. Wir messen diese Teilindikatoren mit G-Eval [15], der aktuellsten Technik zur Bewertung der Nutzung von LLMs.

2.2.2 Generative Methoden der Suchmaschinenoptimierung für Websites

Um die Impressionsmetriken zu verbessern, müssen die Ersteller von Inhalten Änderungen an ihren Website-Inhalten vornehmen. Wir schlagen mehrere von der Generierungsmaschine unabhängige Strategien vor, die als GEO-Methoden (Generation Engine Optimisation) bezeichnet werden. Mathematisch gesehen ist jede GEO-Methode eine Funktion f: W → W'_idie W ist der ursprüngliche Inhalt der Website.W' ist das, was nach Anwendung der GEO-Methode geändert wird. Die Änderungen reichen von einfachen Stiländerungen bis zum Hinzufügen neuer Inhalte in einem strukturierten Format. Eine gut konzipierte GEO-Methode ist gleichbedeutend mit einer Black-Box-Optimierung, die die Sichtbarkeit einer Website verbessert, ohne den genauen algorithmischen Aufbau der generierenden Maschine zu kennen, und die den Text unabhängig von der genauen Anfrage ändert.

In unseren Experimenten wenden wir einen Ansatz zur Generierung von Suchmaschinenoptimierung auf Website-Inhalte an, indem wir ein umfangreiches Sprachmodell verwenden und es auffordern, bestimmte stilistische und inhaltliche Änderungen an der Website vorzunehmen. Insbesondere wird der Quellinhalt auf der Grundlage von GEO-Methoden, die einen bestimmten Satz von gewünschten Merkmalen definieren, entsprechend geändert. Wir schlagen die folgenden Methoden vor und bewerten sie:

1. Behörde:Ändern Sie den Textstil des Quellinhalts, um ihn überzeugender und aussagekräftiger zu machen.
2. Statistiken hinzufügen:Ändern Sie den Inhalt so, dass er quantitative Statistiken enthält, anstatt qualitative Diskussionen zu führen, wo immer dies möglich ist.
3. Ausfüllen von Schlüsselwörtern:Ändern Sie den Inhalt so, dass er mehr Schlüsselwörter aus der Suchanfrage enthält, wie es bei der klassischen SEO-Optimierung erwartet wird.
4. Zitierte Quellen & 5. Fügen Sie ein Zitat hinzu:Fügen Sie relevante Referenzen und Zitate aus glaubwürdigen Quellen hinzu.
5. Leicht zu verstehen:Vereinfachung der Sprache auf der Website und 7. Optimierung der FließfähigkeitDer Textfluss auf der Website wurde verbessert.
6. einzigartiger Wortschatz & 9. Technische Begriffe:Fügen Sie, wo immer möglich, einzigartige und technische Begriffe hinzu.

Diese Methoden decken ein breites Spektrum an allgemeinen Strategien ab, die von Website-Besitzern schnell umgesetzt werden können und unabhängig vom Inhalt der Website verwendet werden können. Mit Ausnahme der Methoden 3, 4 und 5 verbessern die übrigen Methoden die Präsentation bestehender Inhalte, um sie für die Suchmaschinen überzeugender oder attraktiver zu machen, ohne dass zusätzliche Inhalte erforderlich sind. Die Methoden 3, 4 und 5 hingegen können eine Form von zusätzlichem Inhalt erfordern. Um die Leistungsverbesserung unserer Methoden zu analysieren, wählen wir für jede eingegebene Benutzeranfrage eine zu optimierende Quell-Website nach dem Zufallsprinzip aus und wenden jede GEO-Methode separat auf dieselbe Quelle an. Für weitere Einzelheiten zu den GEO-Methoden wird auf Anhang B.4 verwiesen.

3 Versuchsaufbau

3.1 Bewertung der Generierungsmaschine

In Anlehnung an frühere Arbeiten [14] verwenden wir einen zweistufigen Aufbau für das Design der Generierungsmaschine. Der erste Schritt umfasst das Abrufen der relevanten Quellen für die Eingabeanfrage, und im zweiten Schritt generiert der LLM die Antwort auf der Grundlage der abgerufenen Quellen. Ähnlich wie bei früheren Arbeiten verzichten wir auf eine Zusammenfassung und liefern die gesamte Antwort für jede Quelle. Aufgrund der Beschränkung der Kontextlänge und der Kosten für die sekundäre Skalierung der Kontextgröße auf der Grundlage des Transformatormodells werden für jede Anfrage nur die ersten fünf Quellen aus der Google-Suchmaschine abgerufen. Dieser Aufbau ähnelt sehr dem Arbeitsablauf, der in früheren Arbeiten verwendet wurde und dem allgemeinen Design, das von kommerziellen GEs wie you.com und perplexity.ai verwendet wird. Die Antworten wurden dann mit dem gpt3.5-Turbomodell [20] unter Verwendung der gleichen Eingabeaufforderungen wie in früheren Arbeiten [14] generiert. Wir haben fünf verschiedene Antworten mit einer Temperatur von 0,7 genommen, um statistische Verzerrungen zu vermeiden.

In Abschnitt C.1 evaluieren wir denselben Ansatz zur Optimierung der Generierungsmaschine mit Perplexity.ai, einer kommerziell eingesetzten Generierungsmaschine, um die Allgemeinheit unseres vorgeschlagenen Ansatzes zur Optimierung der Generierungsmaschine zu unterstreichen.

3.2 Benchmark: GEO-bench

Da es keinen öffentlich zugänglichen Datensatz gibt, der Abfragen im Zusammenhang mit der Generierungsmaschine enthält, haben wir GEO-bench kuratiert, einen Benchmark, der 10.000 Abfragen aus verschiedenen Quellen enthält, die für die Generierungsmaschine umgewidmet wurden, sowie synthetische Abfragen. Der Benchmark enthält Abfragen aus neun verschiedenen Quellen, die jeweils nach Zielbereich, Schwierigkeitsgrad, Abfrageabsicht und anderen Dimensionen kategorisiert sind.

Datensatz: 1. MS Makro, 2. ORCAS-1und 3. Natürliche Themen:[1, 6, 13] Diese Datensätze enthalten echte anonymisierte Nutzeranfragen von den Suchmaschinen Bing und Google. Zusammen stellen diese drei Datensätze häufig verwendete Datensätze in der Suchmaschinenforschung dar. Anstatt nach ihnen zu suchen, wird die generierende Maschine jedoch mit schwierigeren und spezifischeren Anfragen konfrontiert, die darauf abzielen, Antworten aus mehreren Quellen zu synthetisieren. Aus diesem Grund greifen wir auf mehrere andere öffentlich verfügbare Datensätze zurück: 4. AllSouls:Dieser Datensatz enthält Fragen zu Arbeiten des "All Souls College, Oxford". Die Abfragen in diesem Datensatz erfordern, dass die Generierungsmaschine geeignete Schlussfolgerungen zieht, um Informationen aus mehreren Quellen zu aggregieren.5. LIMA:[25] enthält anspruchsvolle Fragen, die von der Generierungsmaschine verlangen, dass sie nicht nur Informationen sammelt, sondern auch geeignete Schlussfolgerungen zieht, um die Frage zu beantworten (z. B. ein kurzes Gedicht schreiben, Python-Code).6. Davinci-Debatte [14] Enthält Diskussionsfragen, die zum Testen der Generierungsmaschine erstellt wurden.7. Perplexity.ai Discover2:Diese Abfragen stammen aus dem Discover-Bereich von Perplexity.ai, der eine aktualisierte Liste beliebter Abfragen auf der Plattform enthält.8. ELI-5³::Dieser Datensatz enthält Fragen aus dem ELI5-Subreddit, in dem Nutzer komplexe Fragen stellen und Antworten in einfacher, verständlicher Sprache erwarten.9. GPT-4 generierte Abfragen:Um die Vielfalt der Abfrageverteilungen zu ergänzen, haben wir GPT-4 aufgefordert, Abfragen aus verschiedenen Bereichen zu generieren (z.B. wissenschaftlich, historisch) und Abfragen basierend auf der Abfrageabsicht (z.B. navigatorisch, transaktional) und der Schwierigkeit und dem Umfang der zu generierenden Antworten (z.B. offen, faktenbasiert) zu erzeugen.

Unser Benchmark besteht aus 10K Abfragen, die in 8K, 1K und 1K Trainings-, Validierungs- und Test-Splits unterteilt sind. Wir behalten die Verteilung der realen Suchanfragen bei und unser Benchmark enthält 80% Informationsanfragen und 10% Transaktions- und Navigationsanfragen. Jede Abfrage wird mit bereinigtem Textinhalt aus den Top-5-Suchergebnissen der Google-Suchmaschine angereichert.

Etiketten:Die Optimierung von Website-Inhalten erfordert in der Regel gezielte Änderungen auf der Grundlage des Bereichs der Aufgabe. Darüber hinaus müssen die Nutzer der Suchmaschinenoptimierung unter Umständen nur für einen Teil der Abfrage geeignete Strategien festlegen, wobei mehrere Faktoren wie Bereich, Nutzerabsicht und Art der Abfrage zu berücksichtigen sind. Um dies zu erleichtern, haben wir jede Abfrage mit dem GPT-4-Modell etikettiert und manuell eine hohe Auffindbarkeit (Recall) und Genauigkeit (Precision) bei den Test-Splits überprüft.

Insgesamt enthält die GEO-Bench Abfragen aus 25 verschiedenen Domänen wie Kunst, Gesundheit und Spiele; sie hat einen Schwierigkeitsgrad, der von einfach bis vielschichtig reicht; umfasst neun verschiedene Arten von Abfragen wie Informations- und Transaktionsabfragen und deckt sieben verschiedene Klassifikationen ab. Aufgrund der speziell entwickelten hohen Diversität, des Umfangs des Benchmarks und seiner Realitätsnähe ist GEObench ein umfassender Benchmark für die Evaluierung generativer Engines und dient als Standardtestumgebung für deren Evaluierung für eine Vielzahl von Zwecken in dieser und zukünftigen Arbeiten. Weitere Details zu GEO-bench finden Sie in Anhang B.2.

3.3 GEO-Methodik

Wir bewerten neun verschiedene GEO-Methoden, die in Abschnitt 2.2.2 beschrieben werden. Wir vergleichen sie mit einer Baseline, die Impressionsmetriken aus unveränderten Webquellen misst. Wir evaluieren die Methoden mit dem gesamten GEO-Bench-Test-Split. Um die Varianz der Ergebnisse zu verringern, führen wir das Experiment mit fünf verschiedenen Zufallsseeds durch und geben den Mittelwert an.

3.4 Bewertung der Indikatoren

Wir verwenden die in Abschnitt 2.2.1 definierten Impressionsindikatoren. Konkret verwenden wir zwei Impressionsmetriken: 1. Anzahl der Wörter nach der Neupositionierungdie die Anzahl der Wörter und die Anzahl der Positionen kombiniert. Um die Auswirkungen der einzelnen Komponenten zu analysieren, werden die Ergebnisse der beiden Submetriken auch getrennt ausgewiesen.2. subjektiver EindruckDabei handelt es sich um eine subjektive Metrik, die sieben verschiedene Aspekte umfasst: 1) die Relevanz des zitierten Satzes für die Suchanfrage des Nutzers, 2) die Auswirkung des Zitats, die bewertet, wie sehr die generierte Antwort von dem Zitat abhängt, 3) die Einzigartigkeit des wiedergegebenen Materials des Zitats, 4) die subjektive Position, die die Prominenz des Standorts der Quelle aus Sicht des Nutzers misst, 5) die subjektive Anzahl, die die Menge des durch das Zitat präsentierten Inhalts aus Sicht des Nutzers misst, 6) die Wahrscheinlichkeit, dass ein Nutzer auf das Wahrscheinlichkeit des Zitats klickt, und 7) die Vielfalt des präsentierten Materials. Diese Teilindikatoren bewerten verschiedene Aspekte, auf die die Autoren von Inhalten abzielen können, um die Effektivität in einem oder mehreren Bereichen zu verbessern. Jeder Teilindikator wurde mit dem GPT-3.5 auf ähnliche Weise bewertet wie in G-Eval [15] beschrieben. In G-Eval wird dem Sprachmodell eine formularbasierte Bewertungsvorlage zusammen mit einer GE-generierten Antwort mit Zitaten zur Verfügung gestellt. Das Modell gibt für jedes Zitat eine Punktzahl aus (die durch Mehrfachstichproben berechnet wird). Da die G-Eval-Punkte jedoch schlecht kalibriert sind, haben wir sie so normalisiert, dass sie denselben Mittelwert und dieselbe Varianz aufweisen wie die positionsbereinigten Wortzahlen, um faire und aussagekräftige Vergleiche zu ermöglichen. Die genaue Vorlage finden Sie in Anhang B.3.

Außerdem wurden alle Impressionsmetriken normalisiert, indem sie mit einem konstanten Faktor multipliziert wurden, so dass die Summe aller referenzierten Impressions in der Antwort gleich 1 war. In unseren Analysen verglichen wir die Methoden, indem wir die relative Verbesserung der Impressions berechneten. Für die ursprünglich generierte Antwort r Von der Quelle S_i ∈ {s₁, …, s_m} und geänderte Antwort r'Jede Quelle s_i Die relative Verbesserung des Eindrucks wurde wie folgt gemessen:

Verbesserung_si = (Kobold_si(r') – Kobold_si(r)) / Kobold_si(r) × 100

Geänderte Antwort r' ist die Anwendung der zu bewertenden GEO-Methode auf eine der Quellen s_i Erzeugt. Die gewählte Optimierungsquelle wird nach dem Zufallsprinzip ausgewählt, bleibt aber über alle GEO-Methoden für eine bestimmte Abfrage hinweg konstant.

4 Ergebnisse

Wir haben eine Reihe von Methoden zur Optimierung von Suchmaschinen bewertet, die darauf abzielen, den Inhalt der Website zu optimieren, um die Sichtbarkeit in den Antworten der Suchmaschinen zu verbessern, und zwar im Vergleich zu einer Basislinie ohne Optimierung. Unsere Bewertung erfolgte anhand von GEO-bench, einem vielfältigen Benchmark von Nutzeranfragen aus verschiedenen Bereichen und Einstellungen. Die Leistung wird anhand von zwei Metriken gemessen: positionsbereinigte Wortzahl und subjektiver Eindruck. Erstere berücksichtigt die Wortzahl und die Position des Zitats in der GE-Antwort, während letztere mehrere subjektive Faktoren berechnet, um einen Gesamteindruckswert zu ermitteln.

Tabelle 1: Absolute Eindruckskennzahlen der GEO-Methoden auf dem GEO-Bench.

In Tabelle 1 sind die absoluten Eindruckswerte der verschiedenen Methoden für verschiedene Metriken aufgeführt. Die Ergebnisse zeigen, dass unsere GEO-Methoden bei allen Metriken durchgängig besser abschneiden als die Baseline auf GEObench. Dies beweist die Robustheit dieser Methoden gegenüber verschiedenen Abfragen, die trotz der Vielfalt der Abfragen signifikante Verbesserungen erzielen. Insbesondere unsere leistungsstärksten Methoden, Citing Sources, Citation Addition und Statistical Data Addition, erzielten relative Verbesserungen von 30-401 TP3T bei den positionsbereinigten Wortzählungsmetriken und 15-301 TP3T bei den Metriken für den subjektiven Eindruck. Diese Methoden, einschließlich des Hinzufügens relevanter Statistiken zum Inhalt der Website (stats add), des Einfügens glaubwürdiger Zitate (citation add) und des Einfügens von Zitaten aus glaubwürdigen Quellen (citation sourcing), erforderten nur minimale Änderungen, verbesserten aber die Sichtbarkeit von GE-Antworten erheblich und erhöhten die Glaubwürdigkeit und Reichhaltigkeit des Inhalts.

Interessanterweise führten auch stilistische Änderungen wie die Verbesserung des Redeflusses und der Lesbarkeit des Ausgangstextes (Optimierung des Redeflusses und der Verständlichkeit) zu einer deutlichen Verbesserung der Sichtbarkeit 15-30%.

Da generative Modelle häufig darauf ausgelegt sind, Anweisungen zu befolgen, würde man außerdem erwarten, dass ein überzeugenderer und verbindlicherer Ton im Inhalt der Website die Sichtbarkeit verbessern würde. Wir konnten jedoch keine signifikante Verbesserung feststellen, was darauf hindeutet, dass die generative Engine gegenüber solchen Änderungen recht robust geworden ist. Dies unterstreicht die Notwendigkeit für Website-Betreiber, sich auf die Verbesserung der Präsentation und Glaubwürdigkeit von Inhalten zu konzentrieren.

Schließlich bewerteten wir das Keyword-Stuffing, bei dem dem Inhalt einer Website weitere relevante Keywords hinzugefügt werden. Obwohl diese Methode in der Suchmaschinenoptimierung weit verbreitet ist, konnten wir nur eine geringe Verbesserung der Reaktion auf generative Suchmaschinen feststellen. Dies unterstreicht die Notwendigkeit, Optimierungsstrategien für generative Suchmaschinen zu überdenken, da Techniken, die in Suchmaschinen funktionieren, in diesem neuen Paradigma möglicherweise nicht erfolgreich sind.

5 Auswertungen

5.1 Bereichsspezifische Optimierung der Generierungsmaschine

In Abschnitt 4 haben wir die von GEO erzielten Verbesserungen in den GEO-Bench-Benchmarks vorgestellt. In realen SEO-Szenarien werden jedoch in der Regel domänenspezifische Optimierungen vorgenommen. Vor diesem Hintergrund und angesichts der Tatsache, dass wir für jede Abfrage im GEO-Bench Klassifizierungen bereitstellen, gehen wir näher auf die Leistung der verschiedenen GEO-Methoden in diesen Klassifizierungen ein.

Tabelle 3 enthält eine detaillierte Aufschlüsselung der Bereiche, in denen sich unser GEO-Ansatz als besonders wirksam erwiesen hat. Eine genauere Analyse dieser Ergebnisse zeigt mehrere interessante Beobachtungen. Beispielsweise verbessert die Autorität die Leistung bei Fragen im Stil einer Debatte und bei Abfragen zum Bereich "Geschichte" erheblich. Dies steht im Einklang mit unserer Intuition, dass eine überzeugendere Form des Schreibens in Debatten wertvoller sein kann.

Abbildung 4: Relative Verbesserung durch eine Kombination von GEO-Strategien. Die Kombination aus Optimierung des Redeflusses und Hinzufügung von Statistiken führt zu den besten Ergebnissen. Die rechte Spalte zeigt, dass die Kombination von Fluency-Optimierung mit anderen Strategien am vorteilhaftesten ist.

Ebenso ist das Hinzufügen von Zitaten durch das Anführen von Quellen besonders vorteilhaft für Sachfragen, möglicherweise weil Zitate eine Quelle der Bestätigung für die dargestellten Fakten darstellen und so die Glaubwürdigkeit der Antwort erhöhen. Die verschiedenen GEO-Methoden wirken sich in den einzelnen Bereichen unterschiedlich aus. Wie aus Zeile 5 der Tabelle 3 hervorgeht, profitierten beispielsweise Fragen des Typs "Recht und Verwaltung" und "Meinung" von der Ergänzung des Inhalts der Website durch relevante Statistiken. Dies deutet darauf hin, dass datengestützte Nachweise die Sichtbarkeit einer Website in einem bestimmten Kontext verbessern können. Der Ansatz der Hinzufügung von Zitaten war in den Bereichen Menschen und Gesellschaft, Interpretation und Geschichte am effektivsten. Dies mag daran liegen, dass es in diesen Bereichen häufig um persönliche Erzählungen oder historische Ereignisse geht und direkte Zitate dem Inhalt mehr Authentizität und Tiefe verleihen können. Insgesamt legen unsere Analysen nahe, dass sich die Betreiber von Websites bemühen sollten, ihre Websites so zu gestalten, dass sie besser sichtbar sind.

5.2 Optimierung von mehreren Websites

Es ist zu erwarten, dass sich der GEO-Ansatz in der sich entwickelnden Umgebung der generativen Suchmaschinen durchsetzen wird, was dazu führt, dass alle Quellinhalte mit GEO optimiert werden. Um die Auswirkungen zu verstehen, haben wir den GEO-Ansatz durch die gleichzeitige Optimierung aller Quellinhalte evaluiert; die Ergebnisse sind in Tabelle 2 dargestellt.Eine wichtige Beobachtung ist, dass die Auswirkungen von GEO auf eine Website je nach Ranking auf der Suchmaschinenergebnisseite (SERP) variieren. Vor allem Websites mit niedrigem Ranking, die in der Regel Probleme mit der Sichtbarkeit haben, profitieren stärker von GEO. Dies liegt daran, dass herkömmliche Suchmaschinen sich auf eine Reihe von Faktoren verlassen, wie z. B. die Anzahl der Backlinks und die Domainpräsenz, was für kleinere Ersteller schwierig sein kann. Allerdings sollten Faktoren wie der Aufbau von Backlinks kleine Urheber nicht benachteiligen, da generative Suchmaschinen generative Modelle verwenden, die vom Inhalt der Website abhängen. Dies zeigt sich in der relativen Verbesserung der Sichtbarkeit, die in Tabelle 2 dargestellt ist. Zum Beispiel führte die Zitationsquellen-Methode zu einem signifikanten Anstieg der Sichtbarkeit von 115,11 TP3T für die fünftplatzierte Seite in den SERPs, während die erstplatzierte Seite im Durchschnitt einen Rückgang der Sichtbarkeit von 30,31 TP3T erfuhr.

Tabelle 2: Veränderungen in der Sichtbarkeit durch die GEO-Methode für verschiedene rangierte Quellen GEO ist besonders hilfreich für Seiten mit niedrigem Rang.

Diese Erkenntnis unterstreicht, dass GEO ein Instrument zur Demokratisierung des digitalen Raums ist. Viele Websites mit niedrigem Ranking werden von kleinen Inhaltsanbietern oder unabhängigen Unternehmen erstellt, die es traditionell schwer haben, mit größeren Organisationen um die besten Suchmaschinenergebnisse zu konkurrieren. Das Aufkommen generativer Suchmaschinen mag zunächst den Anschein erwecken, dass sie sich gegen kleinere Unternehmen richten. Die Anwendung eines GEO-Ansatzes bietet diesen Inhaltserstellern jedoch die Möglichkeit, ihre Sichtbarkeit in den Antworten der Generierungsmaschinen deutlich zu erhöhen. Indem sie ihre Inhalte mit GEO anreichern, können sie ein breiteres Publikum erreichen, das Spielfeld ebnen und es ihnen ermöglichen, effektiver mit größeren Unternehmen zu konkurrieren.

5.3 Kombination von GEO-Strategien

Einzelne GEO-Strategien zeigen zwar deutliche Verbesserungen in verschiedenen Bereichen, doch in der Praxis wird erwartet, dass Website-Betreiber mehrere Strategien gleichzeitig anwenden. Um die Leistungsverbesserungen zu untersuchen, die durch die Kombination von GEO-Strategien erzielt werden, haben wir eine Kombination der vier leistungsstärksten GEO-Ansätze betrachtet, nämlich Citation Sourcing, Fluency Optimization, Stats Addition und Citation Addition. Abbildung 4 zeigt eine Heatmap der relativen Verbesserungen, die durch die Kombination verschiedener GEO-Strategien erzielt werden. Die Analyse zeigt, dass eine Kombination von Methoden zur Generierung von Suchmaschinen die Leistung verbessert, wobei die beste Kombination (Fluency-Optimierung und Statistikaddition) jede einzelne GEO-Strategie um mehr als 5,51 TP3T übertrifft. Darüber hinaus verbessert die Beschaffung von Zitaten die Leistung erheblich, wenn sie in Kombination mit anderen Methoden eingesetzt wird (durchschnittlich 31,41 TP3T), auch wenn sie bei alleiniger Anwendung relativ ineffektiv ist (81 TP3T weniger als die Zitationsaddition). Diese Ergebnisse unterstreichen, wie wichtig es ist, Kombinationen von GEO-Methoden zu untersuchen, da sie von den Autoren von Inhalten in der realen Welt wahrscheinlich verwendet werden.

5.4 Qualitative Analyse

Wir führen eine qualitative Analyse der GEO-Methoden in Tabelle 4 durch, die einige repräsentative Beispiele von GEO-Methoden enthält, die die Sichtbarkeit der Quelle mit minimalen Änderungen verbessern. Jede Methode optimiert die Quelle durch entsprechende Textzusätze und -streichungen. Im ersten Beispiel sehen wir, dass das einfache Hinzufügen einer Aussage zur Quelle die Sichtbarkeit in der endgültigen Antwort deutlich verbessert, wobei der Ersteller des Inhalts nur minimalen Aufwand betreiben muss. Das zweite Beispiel zeigt, dass das Hinzufügen möglichst vieler relevanter Statistiken die Sichtbarkeit der Quelle in der endgültigen Antwort der Generierungsmaschine verbessert. Die dritte Zeile schließlich zeigt, dass die Hervorhebung nur von Teilen des Textes und die Verwendung eines überzeugenden Textstils ebenfalls zu einer besseren Sichtbarkeit führen können.

6 GEO in der realen Welt: Experimente mit einem Triebwerk der ersten Generation

Um die Wirksamkeit des von uns vorgeschlagenen Ansatzes zur Optimierung der Generierungsmaschine zu untermauern, haben wir ihn mit Perplexity.ai, einer Generierungsmaschine mit Millionen von aktiven Nutzern, evaluiert. Tabelle 5 zeigt die Ergebnisse. Wie bei unserer Generierungs-Engine schneidet die Zitationsaddition bei der positionsbereinigten Wortzahl am besten ab, die um 221 TP3T höher ist als die Basislinie. Methoden, die bei unserer Generierungs-Engine gut abschneiden, wie die Zitationsbeschaffung und die Statistikaddition, zeigen Verbesserungen von bis zu 91 TP3T und 371 TP3T bei beiden Metriken. Unsere Beobachtung, dass traditionelle SEO-Methoden wie Keyword-Stuffing unwirksam sind, unterstreicht dies weiter, da sie 101 TP3T niedriger sind als die Baseline.Diese Ergebnisse sind aus drei Gründen wichtig: 1) sie unterstreichen die Bedeutung der Entwicklung verschiedener Optimierungsmethoden für generative Engines zum Nutzen der Content-Ersteller, 2) sie unterstreichen die Vielseitigkeit unserer vorgeschlagenen GEO-Methoden auf verschiedenen generativen Engines, und 3) sie zeigen, dass Content-Ersteller direkt von den Ergebnissen profitieren können. sie zeigen, dass die Ersteller von Inhalten unseren einfach zu implementierenden GEO-Ansatz direkt anwenden können und somit eine große Wirkung in der realen Welt erzielen. Wir verweisen den Leser auf Anhang C.1 für weitere Details.

Tabelle 5: Absolute Impressionsmetriken der GEO-Methoden auf dem GEO-Bench, mit Perplexity.ai als GE.Während SEO-Methoden wie Keyword-Stuffing schlecht abschneiden, passt sich die von uns vorgeschlagene GEO-Methode gut an mehrere Suchmaschinengenerationen an und verbessert die Sichtbarkeit von Inhalten erheblich.

7 Verwandte Arbeiten

Evidenzbasierte Erstellung von Antworten:Nakano et al. [19] haben die GPT-3-Navigationsnetzumgebung trainiert, um quellenbasierte Antworten zu generieren. In ähnlicher Weise greifen andere Ansätze [17, 23, 24] über Suchmaschinen auf Quellen zu, um Antworten zu generieren. Unsere Arbeit vereinheitlicht diese Ansätze und bietet einen gemeinsamen Maßstab für die Verbesserung dieser Systeme in der Zukunft. In einem aktuellen Arbeitsentwurf zeigen Kumar und Lakkaraju [11], dass strategische Textsequenzen LLM-Empfehlungen manipulieren können, um die Produktsichtbarkeit in der Generierungsmaschine zu verbessern. Während sich ihr Ansatz auf die Erhöhung der Produktsichtbarkeit durch adversarischen Text konzentriert, führt unser Ansatz nicht-adversarische Strategien zur Optimierung beliebiger Webinhalte ein, um die Sichtbarkeit in generativen Suchergebnissen zu verbessern.

Abrufen erweiterter Sprachmodelle:Mehrere neuere Arbeiten befassen sich mit dem Problem, dass Sprachmodelle mit begrenztem Speicherplatz eine Aufgabe erfüllen müssen, indem sie relevante Quellen aus einer Wissensbasis abrufen [3, 9, 18]. Generierungsmaschinen müssen jedoch Antworten generieren und die Attribution in der gesamten Antwort ermöglichen. Darüber hinaus sind Generierungsmaschinen nicht auf eine einzige textuelle Modalität beschränkt, weder auf die Eingabe noch auf die Ausgabe. Darüber hinaus ist der Rahmen einer Generierungsmaschine nicht auf das Abrufen relevanter Quellen beschränkt, sondern umfasst mehrere Aufgaben wie das Umschreiben von Anfragen, die Auswahl von Quellen und die Entscheidung, wie und wann sie ausgeführt werden sollen.

Suchmaschinen-Optimierung:In den letzten 25 Jahren wurde ein großer Teil der Forschung der Optimierung von Website-Inhalten für Suchmaschinen gewidmet [2, 12, 22]. Diese Methoden werden in On-Page-SEO, die den Inhalt und die Nutzererfahrung verbessert, und Off-Page-SEO, die die Autorität der Website durch Linkaufbau verbessert, unterteilt. Im Gegensatz dazu beinhaltet GEO ein komplexeres, multimodales, dialogorientiertes Umfeld. Da GEO für generative Modelle optimiert ist und sich nicht auf den einfachen Abgleich von Schlüsselwörtern beschränkt, sind herkömmliche SEO-Strategien auf generative Motoreinstellungen nicht anwendbar, was die Notwendigkeit von GEO unterstreicht.

8 Schlussfolgerung

In dieser Arbeit formulieren wir Suchmaschinen, die mit generativen Modellen ausgestattet sind, die wir Generierungsmaschinen nennen. Wir schlagen Generation Engine Optimisation (GEO) vor, um Inhaltserstellern zu helfen, ihre Inhalte unter der Generierungsmaschine zu optimieren. Wir definieren Eindrucksmetriken für die Generierungsmaschine und schlagen den GEO-Bench vor und veröffentlichen ihn: einen Benchmark, der verschiedene Benutzeranfragen aus unterschiedlichen Bereichen und Umgebungen sowie die zur Beantwortung dieser Anfragen erforderlichen Quellen enthält. Wir stellen mehrere Methoden zur Optimierung des Inhalts der Generierungsmaschine vor und zeigen, dass diese Methoden die Sichtbarkeit von Quellen in der Antwort der Generierungsmaschine um bis zu 401 TP3 T verbessern können. Unter anderem stellen wir fest, dass die Einbeziehung von Zitaten, Zitaten relevanter Quellen und statistischen Daten die Sichtbarkeit von Quellen erheblich verbessern kann. Darüber hinaus finden wir Abhängigkeiten zwischen der Effektivität von GEO-Methoden und Abfragedomänen sowie das Potenzial für die Kombination mehrerer GEO-Strategien. Wir zeigen vielversprechende Ergebnisse auf einer kommerziell erhältlichen Generierungsmaschine mit Millionen von aktiven Nutzern und demonstrieren damit die realen Auswirkungen unserer Arbeit. Zusammenfassend lässt sich sagen, dass unsere Arbeit die erste ist, die ein wichtiges und zeitgemäßes GEO-Paradigma formalisiert, indem sie Algorithmen und Infrastruktur (Benchmarks, Datensätze und Metriken) zur Verfügung stellt, um der Community schnelle Fortschritte bei generativen Maschinen zu ermöglichen. Dies ist ein erster Schritt zum Verständnis der Auswirkungen von generativen Suchmaschinen auf den digitalen Raum und der Rolle von GEO in diesem neuen Suchmaschinenparadigma.

9 Beschränkungen

Wir haben die Leistung der von uns vorgeschlagenen Methoden auf zwei generativen Suchmaschinen getestet, darunter eine öffentlich verfügbare generative Maschine. Darüber hinaus bemühen wir uns zwar darum, dass die Abfragen in unserer GEObench so nah wie möglich an realen Abfragen sind, aber die Art der Abfragen kann sich im Laufe der Zeit ändern und erfordert eine kontinuierliche Aktualisierung. Darüber hinaus bewerten wir aufgrund der Blackbox-Natur der Suchmaschinenalgorithmen nicht, wie sich GEO-Methoden auf das Suchranking auswirken. Wir weisen jedoch darauf hin, dass es sich bei den von GEO-Methoden vorgenommenen Änderungen um gezielte Änderungen des Textinhalts handelt, die SEO-Methoden ähneln, ohne andere Metadaten wie Domainnamen, Backlinks usw. zu beeinflussen, so dass es unwahrscheinlich ist, dass sie sich auf das Suchmaschinenranking auswirken. Darüber hinaus ist zu erwarten, dass zukünftige generative Modelle mehr Quellen aufnehmen können, wenn größere Kontextlängen in Sprachmodellen wirtschaftlich werden, wodurch die Auswirkungen auf das Suchranking verringert werden. Obwohl jede Abfrage in der von uns vorgeschlagenen GEObench etikettiert und manuell überprüft wird, kann es zu Diskrepanzen aufgrund von subjektiven Interpretationen oder Tagging-Fehlern kommen.

10 Danksagungen

Dieses Material basiert auf Arbeiten, die von der National Science Foundation unter der Förderungsnummer 2107048 unterstützt wurden. Alle Meinungen, Erkenntnisse und Schlussfolgerungen oder Empfehlungen, die in diesem Material zum Ausdruck kommen, sind die der Autoren und spiegeln nicht unbedingt die Ansichten der National Science Foundation wider.

bibliographie

rob

anhang

Anhang A: Dialogerstellungsmaschine

In Abschnitt 2.1 haben wir eine Ein-Runden-Generierungsmaschine besprochen, die eine einzige Antwort auf eine Benutzeranfrage ausgibt. Ein Vorteil künftiger Generierungssysteme wird jedoch ihre Fähigkeit sein, einen aktiven Dialog mit dem Benutzer zu führen. Im Rahmen dieses Dialogs kann der Benutzer Klarstellungen vornehmen und Folgefragen zur Anfrage oder zur Antwort der Generierungsmaschine stellen. In Gleichung 1 besteht die Eingabe nicht aus einer einzigen Abfrage q_uStattdessen wird sie als eine Geschichte des Dialogs gestaltet H = (q^t_u, r^t) Paar. Antwort r^t+1 Nachfolgend definiert:

GE := f_LE(H, P_U) → r^t+1

darunter auch t Es ist rund.

Um die Nutzer in einen Dialog einzubinden, wurde außerdem ein separates LLM, dasL_{folgen Sie} vielleicht L_bzw.Es ist möglich, dass, je nach HundP_U im Gesang antworten r^t+1 Generierung von Vorschlägen für Folgeanfragen. Diese vorgeschlagenen Folgeanfragen sind in der Regel so konzipiert, dass sie die Wahrscheinlichkeit der Nutzerinteraktion maximieren. Davon profitiert nicht nur der Anbieter der Generierungsmaschine, indem er die Interaktion der Nutzer erhöht, sondern auch der Eigentümer der Website, indem er ihre Sichtbarkeit verbessert. Darüber hinaus können diese Folgeabfragen den Nutzern helfen, detailliertere Informationen zu erhalten.

Anhang B: Versuchsaufbau

B.1 Bewertung der Generierungsmaschine

Die genauen Tipps, die verwendet werden, sind in Listing 1 aufgeführt.

B.2 Benchmarks

GEO-bench enthält Abfragen aus neun Datensätzen. Abbildung 2 zeigt repräsentative Fragen aus jedem Datensatz. Darüber hinaus haben wir jede Anfrage nach sieben verschiedenen Kategorien gekennzeichnet. Für die Kennzeichnung verwenden wir das GPT-4-Modell und bestätigen manuell die hohe Trefferquote und Genauigkeit der Kennzeichnungen. Da es sich jedoch um ein automatisiertes System handelt, kann die Beschriftung verrauscht sein und sollte daher nicht mit Vorsicht genossen werden. Detaillierte Informationen zu diesen Abfragen finden Sie weiter unten:

Listing 2: Repräsentative Fragen für die neun Datensätze in GEO-bench

• Schwierigkeitsgrad:Die Komplexität der Abfrage, von einfach bis komplex.
• Art der Anfrage:Erkundigen Sie sich nach der Art der gesuchten Informationen, z. B. Fakten, Meinungen oder Vergleiche.
• Art:Kategorie oder Themenbereich, z. B. Kunst und Unterhaltung, Finanzen oder Wissenschaft.
• Spezifische Themen:Die Besonderheiten der Untersuchung, z. B. Physik, Wirtschaft oder Informatik.
• Empfindlichkeit:Erkundigen Sie sich, ob es sich um sensible Themen handelt.
• Absicht des Benutzers:Der Zweck der Anfrage des Nutzers, z. B. Recherche, Kauf oder Unterhaltung.
• Antworttyp:Fragen Sie nach dem Format der gesuchten Antwort, z. B. Fakten, Meinungen oder Listen.

B.3 Bewertung der Indikatoren

Wir haben sieben verschiedene Metriken für den subjektiven Eindruck verwendet, deren Tipps in unserem öffentlichen Repository verfügbar sind: https://github.com/GEOoptim/GEO. Der GPT-3.5-Turbo wurde für alle Experimente verwendet.

B.4 GEO-Methodik

Wir stellen neun verschiedene Optimierungsmethoden für Generierungsmaschinen vor, um Webinhalte für Generierungsmaschinen zu optimieren. Wir haben diese Methoden mit dem vollständigen GEO-Bench-Testsatz evaluiert. Um die Varianz der Ergebnisse zu verringern, haben wir außerdem Experimente mit fünf verschiedenen Zufallsseeds durchgeführt und die Mittelwerte angegeben.

Tabelle 6: Absolute Eindruckskennzahlen der GEO-Methoden auf dem GEO-Bench.Einfache Methoden wie Keyword-Stuffing haben in der SEO traditionell im Vergleich zu den Basiswerten unterdurchschnittlich abgeschnitten. Die von uns vorgeschlagenen Methoden, wie z. B. stats-add und citation-add, zeigen jedoch starke Leistungsverbesserungen bei allen Metriken. Die beste Methode verbessert sich im Vergleich zur Baseline bei der positionsbereinigten Wortzahl und dem subjektiven Eindruck jeweils um 41% und 28%.

B.5 Tipps für die GEO-Methode

Alle unsere Hinweise sind in unserer öffentlichen Codebasis verfügbar: https://github.com/GEO-optim/GEO. Alle Experimente wurden mit GPT-3.5 Turbo durchgeführt.

Anhang C: Zusätzliche Ergebnisse und Diskussion

C.1 GEO in der realen Welt: Experimente mit der eingesetzten Generierungsmaschine

Wir haben den von uns vorgeschlagenen Ansatz zur Optimierung der Generierungs-Engine auch mit einer in der Praxis eingesetzten Generierungs-Engine, Perplexity.ai, getestet. Da Perplexity.ai seinen Nutzern nicht erlaubt, Quell-URLs anzugeben, haben wir stattdessen den Quelltext als Datei in Perplexity.ai hochgeladen und sichergestellt, dass alle Antworten nur unter Verwendung der angegebenen Dateiquelle generiert wurden. Wir haben alle unsere Methoden an einer Teilmenge von 200 Proben aus unserem Testsatz getestet. Die Ergebnisse mit Perplexity.ai sind in Tabelle 7 dargestellt.

Tabelle 7: Leistungsverbesserung der GEO-Methode auf dem GEO-Bench mit Perplexity.ai als Generierungsmaschine.Einfache Methoden wie Keyword-Stuffing schneiden bei der Suchmaschinenoptimierung in der Regel schlechter ab als die Basiswerte. Die von uns vorgeschlagenen Methoden, wie z. B. stats-add und citation-add, zeigen jedoch starke Leistungsverbesserungen bei allen Metriken. Die beste Methode verbessert sich um 221 TP3T und 371 TP3T gegenüber der Basislinie bei der positionsbereinigten Wortzahl bzw. den subjektiven Eindrücken.

Ergebnisse und Analysen

Die Tabellen 5 und 7 zeigen die absoluten Eindruckskennzahlen des GEO-Ansatzes bei Verwendung von Perplexity.ai als Generierungsmaschine. Die Ergebnisse zeigen, dass unsere GEO-Methode die Sichtbarkeit von Inhalten im Vergleich zur Baseline gut verbessert. Im Einzelnen:

• Durch Verweis hinzufügen221 TP3T: Verbesserung von 221 TP3T gegenüber der Grundlinie bei der positionsbereinigten Wortzahl.
• Hinzufügung statistischer Daten371 TP3T Verbesserung gegenüber dem Ausgangswert bei der Messung des subjektiven Eindrucks.

Diese Ergebnisse sind aus drei Gründen von Bedeutung:

1. die Bedeutung der verschiedenen GEO-Methoden hervorzuhebenDiese Ergebnisse deuten darauf hin, dass die Entwicklung verschiedener Methoden zur Suchmaschinenoptimierung für die Verfasser von Inhalten von Vorteil sein kann.
2. Replizierbarkeit der MethodikUnser GEO-Ansatz funktioniert gut auf verschiedenen Motorengenerationen, was seine breite Anwendbarkeit beweist.
3. Praktischer AnwendungswertDie Ersteller von Inhalten können die von uns vorgeschlagene, leicht umzusetzende GEO-Methode direkt nutzen, um in der realen Welt etwas zu bewirken.

Darüber hinaus stellen wir fest, dass herkömmliche SEO-Methoden (z. B. Keyword-Stuffing) in generativen Engines schlecht abschneiden, selbst bei 101 TP3T, die niedriger sind als die Baseline, was unsere Ansicht untermauert, dass generative Engines spezielle Optimierungsstrategien erfordern, anstatt einfach herkömmliche SEO-Techniken einzusetzen. Durch Experimente mit Perplexity.ai validieren wir die Wirksamkeit unserer Optimierungsmethoden für generative Suchmaschinen auf verschiedenen generativen Suchmaschinen. Diese Methoden verbessern nicht nur die Sichtbarkeit von Inhalten, sondern zeigen auch ihr Potenzial für reale Anwendungen. Unsere Forschung gibt den Autoren von Inhalten ein neues Werkzeug an die Hand, um die Herausforderungen von Generierungsmaschinen zu bewältigen und ihre Inhalte für eine bessere Sichtbarkeit und Nutzerbindung zu optimieren.

C.2 Diskussion

Auswirkungen der bereichsspezifischen Optimierung

Unsere Analysen zeigen, dass verschiedene GEO-Methoden in verschiedenen Bereichen unterschiedlich funktionieren. Beispiel:

• (mit) Autorität:: Starke Leistung bei Fragen im Stil von Debatten und Anfragen zum Bereich "Geschichte". Dies stimmt mit unserer Intuition überein, dass überzeugendere Formen des Schreibens in Debatten wertvoller sein können.
• Zitierte QuellenBesonders nützlich bei Sachfragen, da Zitate eine Quelle der Bestätigung für die vorgetragenen Fakten darstellen und somit die Glaubwürdigkeit der Antwort erhöhen.
• Hinzufügung statistischer DatenSignifikante Ergebnisse wurden bei den Fragetypen "Recht und Regierung" und "Meinung" festgestellt, was darauf hindeutet, dass datengestützte Erkenntnisse die Sichtbarkeit einer Website in einem bestimmten Kontext verbessern können.
• Durch Verweis hinzufügenAm wirksamsten in den Bereichen "Menschen und Gesellschaft", "Interpretation" und "Geschichte". Das mag daran liegen, dass es in diesen Bereichen meist um persönliche Erzählungen oder historische Ereignisse geht und direkte Zitate dem Inhalt Authentizität und Tiefe verleihen können.

Auswirkungen der Portfoliostrategie

Unsere Studie zeigt auch, dass die Kombination mehrerer GEO-Strategien die Leistung weiter verbessern kann. So führte beispielsweise eine Kombination aus Optimierung des Redeflusses und Hinzufügen von Statistiken zu den besten Ergebnissen. Darüber hinaus verbessert die Beschaffung von Zitaten die Leistung erheblich, wenn sie in Kombination mit anderen Methoden eingesetzt wird, obwohl die Ergebnisse bei alleiniger Anwendung relativ schlecht sind. Diese Ergebnisse unterstreichen, wie wichtig es ist, Kombinationen von GEO-Methoden zu untersuchen, da sie wahrscheinlich von den Autoren von Inhalten in der realen Welt verwendet werden.

Auswirkungen auf SEO

Unsere Ergebnisse haben wichtige Auswirkungen auf den Bereich der Suchmaschinenoptimierung. Mit dem Aufkommen generativer Suchmaschinen reichen die herkömmlichen SEO-Techniken möglicherweise nicht mehr aus. Website-Betreiber müssen neue Strategien anwenden, um ihre Inhalte für dieses neue Suchparadigma zu optimieren. Unser GEO-Ansatz bietet eine neue Denkweise, die die Bedeutung der Qualität und Präsentation von Inhalten hervorhebt, anstatt sich nur auf Keyword-Stuffing und Backlinkaufbau zu verlassen.

zukünftige Arbeit

Künftige Forschungsarbeiten könnten die folgenden Bereiche weiter untersuchen:

1. Langfristige AuswirkungenEine Studie über die Auswirkungen der GEO-Methoden auf die langfristige Sichtbarkeit und den Verkehr auf der Website.
2. Analyse des BenutzerverhaltensAnalyse des Nutzerverhaltens bei der Interaktion mit der Generierungsmaschine, um besser zu verstehen, wie Inhalte optimiert werden können, um Nutzer anzuziehen und zu binden.
3. Multimodale Optimierung der InhalteErweiterung der GEO-Methodik zur Optimierung von Bildern, Videos und anderen multimedialen Inhalten im Hinblick auf die Fähigkeit der Generierungsmaschine, multimodale Informationen zu verarbeiten.
4. Entwicklung von AutomatisierungswerkzeugenEntwicklung automatisierter Tools, die es den Autoren von Inhalten erleichtern, GEO-Strategien umzusetzen und ihre Optimierungsstrategien in Echtzeit zu überwachen und anzupassen.

Durch diese Forschungsrichtungen können wir ein umfassenderes Verständnis der Auswirkungen von Generationsmotoren auf den digitalen Raum gewinnen und den Autoren von Inhalten wirksamere Instrumente zur Bewältigung dieser Veränderungen an die Hand geben.