Anubis 的原理与核心功能
Anubis 是由加拿大 TecharoHQ 团队开发的 Go 语言开源工具,其核心技术是在 HTTP 请求中嵌入 SHA256 工作量证明(Proof-of-Work)挑战。这一设计源于对现代互联网中 AI 爬虫滥用问题的直接回应,这些爬虫往往无视传统防护措施如 robots.txt 文件。
该系统的工作原理是要求所有访问请求必须先完成一个计算密集型的 SHA256 哈希计算任务。对于普通浏览器用户而言,这种计算能在毫秒级完成;但对于大规模部署的 AI 爬虫,这种计算会显著增加其运营成本。
区别于 Cloudflare 等传统防爬方案,Anubis 具有以下特点:
- 完全开源的解决方案,允许用户自由定制
- 采用 Docker 容器化部署,与现有系统无缝集成
- 包含健康检查功能确保服务稳定性
- 主动阻止搜索引擎收录,适合隐私敏感场景
本答案来源于文章《Anubis:通过工作量证明干扰AI爬虫抓取》