O WaterCrawl consegue uma extensão flexível da lógica do rastreador por meio de uma interface de plug-in padronizada (watercrawl-plugin). A arquitetura usa um padrão decorador que permite aos desenvolvedores injetar código personalizado nos seis nós principais do ciclo de vida do rastreamento. Os cenários típicos de extensão incluem: implementação de um módulo de quebra de CAPTCHA deslizante, personalização de um algoritmo de extração de corpo baseado em NLP ou adição de funcionalidade de gerenciamento de pool de IPs de proxy.
As especificações técnicas exigem que os plug-ins herdem a classe BaseSpiderMiddleware e implementem ganchos de método, como process_response. Uma empresa financeira, por meio do desenvolvimento de plug-ins de análise de anúncios da bolsa de valores, conseguiu extrair relatórios financeiros em PDF da tabela com precisão de 72% para 91%. A comunidade de código aberto para fornecer um conjunto de plug-ins anti-crawler tem dado suporte à Cloudflare, Akamai e outros 15 tipos de sistemas de proteção comuns para contornar a estratégia.
O mecanismo de hot loading do plug-in oferece suporte à atualização da lógica de processamento sem reiniciar o serviço e, juntamente com a API de controle de versão, pode realizar o lançamento em escala de cinza. Os dados de teste mostram que a existência do sistema de plug-in reduz o ciclo de desenvolvimento personalizado em 40%, o que é especialmente adequado para estruturas de sites-alvo que precisam lidar com mudanças frequentes.
Essa resposta foi extraída do artigoWaterCrawl: transformando o conteúdo da Web em dados utilizáveis para grandes modelosO
