Otimização de desempenho e controle de simultaneidade
O SiteMCP rompe a limitação de thread único dos rastreadores tradicionais e alcança uma melhoria de desempenho quântica por meio de parâmetros de simultaneidade configuráveis:
- Ajustabilidade dinâmicaSuporte para a adoção de
--concurrencyO parâmetro define o número de solicitações paralelas (padrão 5, pode ser definido até 20) - Monitoramento de recursosAjuste automático e dinâmico da frequência de solicitação de acordo com a memória do sistema e o uso da CPU
- Recuperação de falhasMecanismo de repetição automática para garantir a integridade dos dados em caso de tempo limite ou falha da solicitação
Os dados de medição mostram que, ao rastrear a biblioteca de componentes DaisyUI (cerca de 300 páginas), definir o número de simultaneidade como 10 pode reduzir o tempo total consumido de 12 minutos para 4 minutos. No entanto, deve-se observar que, quando o site de destino tiver um mecanismo de rastreamento, é recomendável controlar o número de simultaneidade abaixo de 3 para evitar o acionamento do limite.
Essa resposta foi extraída do artigoSiteMCP: rastrear o conteúdo do site e transformá-lo em serviços MCPO
