Anubis是由加拿大TecharoHQ团队开发的一款开源工具,专门用于保护网站免受AI爬虫的侵扰。该工具的核心机制是在HTTP请求中加入SHA256工作量证明(Proof-of-Work)挑战,要求访问者完成特定计算任务后才能获取访问权限。
它的主要作用体现在三个方面:
- 防护AI爬虫:通过计算密集型任务阻挡自动化爬虫访问
- 节约服务器资源:防止低价值爬虫请求消耗服务器性能
- 内容保护:适用于希望限制内容被搜索引擎收录的网站
该工具采用Go语言编写,支持Docker部署,已在GitHub开源。设计灵感源于应对无视robots.txt协议的AI爬虫滥用问题,被开发者称为”核弹级”解决方案。
この答えは記事から得たものである。アヌビス:作業負荷の証明を通じてAIクローラーのクローリングを妨害するについて