反上昇メカニズムに対処するための実践的プログラム
ウェブサイトの保護対策に関しては、次のような方法で解決できる：
- リクエストの頻度を減らすコンカレント数の削減
(--concurrency 2)人間のブラウジング速度をシミュレートしている。 - ピンポイント・コンテンツ使用
-m必要なパスを制限してリクエストの総数を減らす - キャッシュ・ポリシーの最適化初めてのキャプチャ使用
--no-cache安定性向上のため、成功後のキャッシュに変更。
その他のヒント
1.対象ウェブサイトのrobots.txtファイルをチェックし、クロールルールに準拠する。
2.動的にロードされるコンテンツについては、ヘッドレス・ブラウザ・プログラムと組み合わせることが推奨される。
3.商用サイトでは、事前にAPI認可の問い合わせをすることを推奨する。
典型的なセキュリティコマンドの例：npx sitemcp https://protected-site.com --concurrency 3 --cache-dir ./temp-cache
この答えは記事から得たものである。SiteMCP：ウェブサイトのコンテンツをクローリングし、MCPサービスに変えるについて
無断転載を禁じます：AI生産性ツール " サイトのクロール防止機能によるSiteMCPのクロール失敗を防ぐには？
