WaterCrawlは、JSON/Markdown/CSVの3つの標準出力フォーマットを提供し、フォーマット変換エンジンによってコンテンツの構造化を可能にする。JSONフォーマットは、オリジナルのDOM階層とメタデータを完全に保持し、機械学習パイプラインによる直接消費に適している。Markdownフォーマットは、可読性を最適化し、ナレッジベースの構築に最適である。
コアテクノロジーはScrapyのItem Pipelineアーキテクチャを使用しており、フォーマットレンダラを通して動的にデータを変換する。ニュース集約プロジェクトでは、開発者はJSONとMarkdownの出力を同時に生成することを選択できる。前者はキーワードの共起を分析するレコメンダーシステムに使用され、後者はCMSコンテンツ公開に使用される。テストによると、1MBのウェブページデータを変換する平均時間はわずか120msで、従来のソリューションより3倍高速です。
具体的には、MinIOを介した変換結果ファイルの直接保存と、署名済みのダウンロードリンクの生成をサポートしています。ある医療研究機関はこの機能を使って、クロールされた臨床ガイドラインを自動的に標準的なMarkdownに変換し、GitBookに同期することで、最新かつタイムリーな業界ナレッジセンターを構築している。
この答えは記事から得たものである。WaterCrawl：ウェブコンテンツを大規模モデルで使用可能なデータに変換について
