Anubis ist ein vom kanadischen TecharoHQ-Team entwickeltes Open-Source-Tool, das speziell für den Schutz von Websites vor KI-Crawlern konzipiert wurde. Der Kernmechanismus des Tools ist das Hinzufügen von SHA256-Proof-of-Work (Proof-of-Work)-Herausforderungen zu HTTP-Anfragen, so dass Besucher bestimmte Rechenaufgaben erfüllen müssen, bevor sie Zugang erhalten.
Seine Hauptaufgabe spiegelt sich in drei Bereichen wider:
- Schutz vor AI-CrawlernBlockierung des automatischen Crawler-Zugriffs durch rechenintensive Aufgaben
- Schonung der Server-RessourcenVerhindern, dass Crawler-Anfragen von geringem Wert die Serverleistung beeinträchtigen
- Schutz der Inhaltefür Websites, die ihre Inhalte auf Suchmaschinen beschränken wollen
Das Tool ist in Go geschrieben, unterstützt den Einsatz von Docker und wurde auf GitHub als Open Source veröffentlicht. Das Design ist inspiriert von der Reaktion auf den Missbrauch von KI-Crawlern, die das robots.txt-Protokoll ignorieren, was von den Entwicklern als "nukleare" Lösung bezeichnet wird.
Diese Antwort stammt aus dem ArtikelAnubis: Beeinflussung von KI-Crawler-Crawling durch Proof of WorkloadsDie
Deutsch 
简体中文 
English 
日本語 
Português do Brasil