Anubis的工作量证明防护机制主要通过以下流程实现:
- 挑战生成:当客户端发起请求时,服务器会生成一个包含随机数的SHA256计算任务
- 计算验证:要求客户端在指定时间内完成特定难度的哈希计算(前导零验证)
- 访问控制:只有通过验证的请求才被允许访问网站资源
技术特点包括:
- 普通浏览器能毫秒级完成计算,用户体验几乎无感知
- AI爬虫需要大规模请求时,计算成本会指数级增长
- 自动拦截不具备有效计算能力的自动化工具
- 验证过程完全自动化,无需人工干预
测试数据显示,使用curl
等工具直接请求时,会立即收到包含工作量证明要求的响应,而浏览器则能自动完成验证流程。
本答案来源于文章《Anubis:通过工作量证明干扰AI爬虫抓取》