マルチモーダル文書（例えば、グラフィックを含むPDF）の効率的な検索の問題をどのように解決するか？

2025-08-27

1.4 K

ソリューション：コルパリのマルチモーダル埋め込み技術の活用

従来の検索システムでは、グラフィカルコンテンツは断片的に扱われることが多かったが、Morphik CoreのColPali技術は、以下のようなステップで連携検索を実現する：

前処理段階使用ingest_file()ファイルをインポートする際にuse_colpali=Trueパラメータを使用すると、システムは自動的に文書内の視覚的要素（図/画像）と対応する説明テキストを解析し、結合埋め込みベクトルを生成します。
検索ステージ実施retrieve_chunks()クエリを実行する際、システムはテキスト的な意味と視覚的な特徴の両方を照合する。例えば、"Sales Trend Chart "のクエリは、テキストの説明と折れ線グラフの特徴の両方にマッチします。
最適化のヒント: 1) 画像を多用する文書への追加metadata={'content_type':'multimodal'}処理の優先度を上げる 2) パスkパラメータは、精度と効率のバランスをとりながら、返される結果の数をコントロールする。

実験データによれば、本方法は図とテキストの混在検索の精度を47%向上させ、応答時間は800ms（100万レベルの文書サイズ）以内に抑えられている。