O llms.txt é um formato de documento padronizado projetado especificamente para o Large Language Model (LLM), com o objetivo principal de ajudar os sites a fornecer informações de forma concisa e estruturada, facilitando o uso eficiente desses dados pelo LLM em seu processo de raciocínio. Esse formato de arquivo é semelhante ao robots.txt ou sitemap.xml comumente encontrado na Internet, mas otimizado especificamente para sistemas de IA.
Seu principal objetivo de design é triplo:
- Fornecer formatos padronizados de entrada de dados para LLMs para evitar a análise de páginas HTML complexas
- Melhoria da acessibilidade e da utilização das informações do site para ferramentas de IA
- Crie um sistema de documentos de trilha dupla amigável para humanos e computadores a fim de obter um documento que atenda aos usuários humanos e aos sistemas de IA ao mesmo tempo.
O padrão, que é apoiado por empresas de tecnologia como a Cloudflare e a Anthropic, foi proposto pela primeira vez em setembro de 2024 pelo cofundador da Answer.AI, Jeremy Howard, e agora é uma prática recomendada pelo setor.
Essa resposta foi extraída do artigollms.txt: Documentação padronizada de informações do site para modelos de idiomas grandesO
