Anubis的工作量证明防护机制主要通过以下流程实现:
- 挑战生成:当客户端发起请求时,服务器会生成一个包含随机数的SHA256计算任务
- 计算验证:要求客户端在指定时间内完成特定难度的哈希计算(前导零验证)
- access control:只有通过验证的请求才被允许访问网站资源
Technical features include:
- 普通浏览器能毫秒级完成计算,用户体验几乎无感知
- AI爬虫需要大规模请求时,计算成本会指数级增长
- 自动拦截不具备有效计算能力的自动化工具
- 验证过程完全自动化,无需人工干预
测试数据显示,使用curl
等工具直接请求时,会立即收到包含工作量证明要求的响应,而浏览器则能自动完成验证流程。
This answer comes from the articleAnubis: Interfering with AI Crawler Crawling by Proof of WorkloadThe