LLM標準解析ツールとしてのllms.txt
llms.txtは、CloudflareやAnthropicといった業界のリーダーたちによって支持されている標準的な文書フォーマットで、Large Language Model (LLM)でウェブサイト情報を処理する際の問題点に対処するために特別に作成されました。従来のHTMLドキュメントには、複雑なタグ構造、広告スクリプト、動的なコンテンツが含まれており、AIによる情報抽出に大きな障壁となっていました。llms.txtは、Markdownフォーマットによって簡潔で構造化されたデータを提供し、検索エンジンのクローラー向けにrobots.txtが行うのと同様の動作をするように設計されています。第一に、余計なコンテンツを解析する必要性をなくすことで、LLMの計算リソースの無駄を省くことです。第二に、APIドキュメントや開発者ガイドなどの重要な情報を正確に特定し、活用できるようにすることです。
実例として、Answer.AIの共同設立者であるジェレミー・ハワードが提案したこの標準規格は、Mintlifyなどのテクノロジー企業に採用され、/llms.txtファイルと/llms-full.txtファイルを自動生成することで、LLMの文書情報検索効率を約37%大幅に向上させています。この標準化されたアプローチは新しい業界仕様を形成しており、2024年末までに技術文書の80%に採用される予定である。
この答えは記事から得たものである。llms.txt：大規模言語モデルのための標準サイト情報ドキュメントについて
