AIエンジニアリング・アカデミー：2.7 ReRanker RAG（並び替え）

クロード・コードは、これまでで最も楽しいAIエージェントのワークフローのひとつである。指示されたコードの編集や即興ツールの開発を煩わしくなくするだけでなく、それを使う経験自体が楽しいとさえ言われている。開発者に突発的なストレスを与えることなく、興味深いタスクをこなすのに十分な自律性を備えている。.

Retrieval Augmented Generation (RAG)に基づく知識ベースアプリケーションを構築する際、ドキュメントの前処理とスライシング（チャンキング）は、最終的な検索結果を決定する重要なステップである。オープンソースのRAGエンジンRAGFlowは様々なスライシング戦略を提供しているが、その公式ドキュメントには手法の詳細や具体的なケースに関する明確な説明がないため、開発者に多くの混乱を招いている。.

RAG（Retrieval Augmented Generation）システムを構築する際、開発者はしばしば次のような不可解なシナリオに遭遇する。 あいまいなスキャンに直面したとき、モデルが確信を持って完全に正しくないコンテンツを与えてしまう。 数式中の和記号 “Σ ”が文字 “E ”として誤って認識される。 文書の透かし.

まずは簡単なタスクから始めよう。 ユーザーが、“ねぇ、明日ちょっと同期してみない？”と言ったとする。 プロンプト・エンジニアリングだけに頼るAIなら、“はい、明日で結構です。何時に予約しますか？” と答えるかもしれない。 この返答は正しいが、機械的で...

要旨 大規模言語モデル（LLM）の出現は、生成モデルを使用して情報を収集し、要約してユーザーのクエリに回答する検索エンジンの新しいパラダイムを切り開いた。我々は、正確でパーソナライズされた回答を生成するGenerative Engines (GEs)のフレームワークの下でこの新しい技術を統合し、Googleや...といった従来の検索エンジンに急速に取って代わる。.

Manusプロジェクトの初期、チームは重大な決断に迫られた。オープンソースのモデルをベースにエンドツーエンドのエージェントモデルを訓練すべきか、それとも最先端のモデルの強力な「コンテキスト学習」機能を活用してエージェントを構築すべきか。 10年前にさかのぼれば、自然言語処理分野では開発者に選択肢すらなかった。BERTの時代には、どんなモデルでも...

RAGやAIエージェントのようなAIシステムを構築する場合、検索品質はシステムの上限を決定する鍵となる。開発者は通常、キーワード検索とセマンティック検索の2つの主要な検索技術に頼っている。 キーワード検索（例：BM25）：高速で完全一致が得意。しかし、ユーザーの質問の文言が変わると、想起率が低下する。 ...

会話の内容をいつも忘れてしまい、毎回最初から話し始めなければならない友人とのコミュニケーションは、間違いなく非効率的で疲れるものだ。しかし、現在のほとんどのAIシステムでは、まさにこれが普通なのだ。それらは強力だが、一般的に重要な要素である「記憶」が欠けているのだ。 真に学習し、進化し、協力できるAIインテリジェンス（エージェント）を構築するためには、記憶は...