GPT-Crawlerをローカルで実行するには、以下の手順と条件が必要です:
環境準備
- 取り付け Node.js 16歳以上 と npm (
node -v歌で応えるnpm -v検証 - Gitツール(リポジトリのクローン用)
具体的な手順
- クローンプロジェクト::
git clone https://github.com/BuilderIO/gpt-crawler.git - 依存関係のインストールプロジェクト・ディレクトリに移動して
npm install - 設定パラメータ修正
config.tsファイルを参照してください:urlクロール開始アドレスselector: 指定されたコンテンツ領域の CSS セレクタmaxPagesToCrawlクロールのサイズをコントロールする
- クローラーの起動走る
npm startその後、その結果はルート・ディレクトリに保存される。output.json真ん中
注:依存性のダウンロードを完了するために、最初の実行のためにネットワークが空いていることを確認してください。動的なウェブクローリングは、リソースをロードするために余分な時間がかかる場合があります。
この答えは記事から得たものである。GPT-Crawler: ウェブサイトコンテンツを自動的にクロールして知識ベースドキュメントを生成について































