Anubisは、カナダのTecharoHQチームによって開発されたオープンソースツールで、特にAIクローラーからウェブサイトを保護するために設計されている。このツールの中核となる仕組みは、HTTPリクエストにSHA256のプルーフ・オブ・ワーク(Proof-of-Work)チャレンジを追加し、アクセスを得る前に特定の計算タスクを完了することを訪問者に要求することである。
その主な役割は3つの分野に反映されている:
- AIクローラーから身を守る計算集約型タスクによる自動クローラー・アクセスの阻止
- サーバーリソースの節約価値の低いクローラーリクエストがサーバーのパフォーマンスを消費するのを防ぐ
- コンテンツ保護: コンテンツを検索エンジンに限定したいウェブサイト向け
このツールはGoで書かれ、Dockerデプロイをサポートし、GitHubでオープンソース化されている。このデザインは、robots.txtプロトコルを無視するAIクローラーの悪用への対応にインスパイアされたもので、開発者の間では「核」ソリューションと呼ばれている。
この答えは記事から得たものである。アヌビス:作業負荷の証明を通じてAIクローラーのクローリングを妨害するについて