llms.txt als standardisiertes LLM-Parsing-Tool
llms.txt ist ein Standarddokumentenformat, das von Branchenführern wie Cloudflare, Anthropic und anderen unterstützt wird. Es wurde speziell entwickelt, um die Probleme bei der Verarbeitung von Website-Informationen im Large Language Model (LLM) zu lösen. Herkömmliche HTML-Dokumente enthalten komplexe Tag-Strukturen, Werbeskripte und dynamische Inhalte, was die Extraktion von Informationen für die künstliche Intelligenz erheblich erschwert. llms.txt bietet prägnante, strukturierte Daten durch Markdown-Formatierung und ist so konzipiert, dass es ähnlich funktioniert wie robots.txt für die Crawler von Suchmaschinen. Der Hauptwert dieser Lösung ist ein zweifacher: Erstens wird die Verschwendung von LLM-Rechenressourcen reduziert, indem die Notwendigkeit, fremde Inhalte zu analysieren, beseitigt wird; zweitens wird sichergestellt, dass wichtige Informationen, wie API-Dokumentation und Entwicklerhandbücher, genau identifiziert und genutzt werden können.
Praktische Beispiele zeigen, dass dieser von Jeremy Howard, dem Mitbegründer von Answer.AI, vorgeschlagene Standard von Technologieunternehmen wie Mintlify übernommen wurde und die Effizienz des LLM beim Abrufen von Dokumenteninformationen durch die automatische Generierung der Dateien /llms.txt und /llms-full.txt um etwa 371 TP3T verbessert hat.Dieser standardisierte Ansatz bildet eine neue Dieser standardisierte Ansatz bildet eine neue Branchenspezifikation und wird voraussichtlich bis Ende 2024 für 801 TP3T technischer Dokumente übernommen werden.
Diese Antwort stammt aus dem Artikelllms.txt: Standardisierte Dokumentation von Seiteninformationen für große SprachmodelleDie
