在本地运行 GPT-Crawler 需要以下步骤和条件:
環境準備
- 取り付け Node.js 16歳以上 和 npm(可通过
node -v
歌で応えるnpm -v
验证) - Git 工具(用于克隆仓库)
具体的な手順
- クローンプロジェクト::
git clone https://github.com/BuilderIO/gpt-crawler.git
- 依存関係のインストール:进入项目目录后执行
npm install
- 設定パラメータ修正
config.ts
文件中的关键配置:url
:起始爬取地址selector
:指定内容区域的 CSS 选择器maxPagesToCrawl
:控制爬取规模
- クローラーの起動走る
npm start
后,结果将保存在根目录的output.json
真ん中
注意:首次运行时需确保网络畅通以完成依赖下载,动态网页抓取可能需要额外时间加载资源。
この答えは記事から得たものである。GPT-Crawler: ウェブサイトコンテンツを自動的にクロールして知識ベースドキュメントを生成について