Anubis-Prinzipien und Kernfunktionen
Anubis ist ein Open-Source-Tool in der Sprache Go, das vom TecharoHQ-Team in Kanada entwickelt wurde und dessen Kerntechnologie darin besteht, SHA256-Proof-of-Work-Herausforderungen in HTTP-Anfragen einzubetten. Das Design ist eine direkte Reaktion auf den Missbrauch von KI-Crawlern im modernen Internet, die oft traditionelle Schutzmaßnahmen wie robots.txt-Dateien ignorieren.
Das System funktioniert so, dass alle Zugriffsanfragen zunächst eine rechenintensive SHA256-Hash-Berechnung durchführen müssen. Für den durchschnittlichen Browser-Benutzer kann diese Berechnung in Millisekunden durchgeführt werden; für groß angelegte Einsätze von KI-Crawlern kann diese Berechnung jedoch deren Betriebskosten erheblich erhöhen.
Anubis verfügt über die folgenden Merkmale, die es von herkömmlichen Anti-Climbing-Lösungen wie Cloudflare unterscheiden:
- Vollständig quelloffene Lösung, die eine freie Anpassung ermöglicht
- Nahtlose Integration in bestehende Systeme durch Einsatz von Docker-Containern
- Enthält eine Funktion zur Gesundheitsprüfung, um die Stabilität des Dienstes zu gewährleisten
- Aktive Sperrung von Suchmaschinen für datenschutzsensible Szenarien
Diese Antwort stammt aus dem ArtikelAnubis: Beeinflussung von KI-Crawler-Crawling durch Proof of WorkloadsDie
Deutsch 
简体中文 
English 
日本語 
Português do Brasil