怎样优化SiteMCP对大型网站的抓取效率？

并发控制: Use --concurrency 10 参数提高并行抓取数（默认值较低），大幅缩短总体时间
路径过滤: By -m 参数指定关键路径（如 -m "/docs/**" ），避免抓取无关页面
content extraction: Cooperation --content-selector 参数精准提取目标区域，减少数据处理量

2025-08-25

1.1 K

提升大型网站抓取效率的三种方法

针对网站规模大的情况，可采取以下优化策略：

Practical Example:
npx sitemcp https://large-site.com --concurrency 15 -m "/api/**" --content-selector "#main-content"
该命令会高性能抓取API文档区域的指定内容模块。