Der Hauptgrund, warum Anubis die Indizierung durch Suchmaschinen beeinträchtigt, ist die undifferenzierte Natur seines Schutzmechanismus:
Beschränkungen des Funktionsprinzips
- Nachweis des Arbeitsaufwands für alle automatisierten Besuche, einschließlich konformer Crawler für Suchmaschinen
- Suchmaschinen-Crawler wie der Googlebot sind nicht in der Lage, Berechnungen durchzuführen
- Dies ist ein absichtliches Designmerkmal, kein technischer Fehler.
Verschreibung
- Wichtige SEO-SzenarienAkzeptanz von suchmaschinenfreundlichen Alternativen wie Cloudflare
- hybride BereitstellungAnubis nur auf sensiblen Strecken einschalten
- Whitelisting-MechanismusÄndern Sie den Code, um die IP-Freigabe-Regel der Suchmaschine selbst hinzuzufügen.
- robots.txt-ErgänzungNicht wirksam gegen AI-Crawler, kann aber bei der Suchmaschinenoptimierung helfen.
Die Entwickler machen deutlich, dass Anubis besser für die folgenden Szenarien geeignet ist:
- Interne Systeme oder Entwicklungstestumgebungen
- Identifizieren Sie persönliche Websites, die nicht aufgenommen werden sollen
- Szenarien, die eine genaue Zugangskontrolle erfordern, wie z. B. die gemeinsame Nutzung von Dateien
Diese Antwort stammt aus dem ArtikelAnubis: Beeinflussung von KI-Crawler-Crawling durch Proof of WorkloadsDie