オフライン/脆弱なネットワーク環境への適応ソリューション
以下の最適化戦略は、ネットワーク条件に制約がある場合に使用できる:
- ローカルモデルの展開HuggingFace(8GB以上のビデオメモリが必要)を介してLLaMA、Falconなどのオープンソースモデルを統合し、ローカルのエンドポイントを指定するために`configs/model_config.yaml`を修正する。
- キャッシュ機構の利用: `-cache_only` モードで動作している場合、システムは以前にキャッシュされた結果(`./cache/`ディレクトリに保存されている)を優先的に読み出し、新しいクエリのリクエストのみが開始される。
- 検索戦略の合理化minimal_search=true`を設定すると、1回のクエリで返される最適な結果の数が最大3件に制限され、転送されるデータ量が減る。
- 分割実行機能stage=planning`などのパラメータで段階的に実行し、ネットワークが良好なときに検索段階のみを実行し、書き込み処理はオフラインで行う。
具体的な実施方法:
- ローカルモデルサービスをインストールする: `uv pip install transformers torch`
- クラウドAPIを無効にするオフライン設定ファイル`offline_mode.yaml`を作成する。
- 使用コマンド: `python main.py -topic "local test" -offline -model=local/llama3`
- 完全なプロジェクトは、モバイル用にDockerイメージとしてパッケージ化できる。
オプション
- ウィキペディアなどのナレッジベースのオフラインコピーを事前にダウンロード(50GB以上のストレージが必要)
- 更新のためにリアルタイム検索の代わりにRSSフィードを使用する
- Zoteroのようなローカル文献管理ツールを代替ソースとして設定する。
この答えは記事から得たものである。共に開くディープリサーチ:インデックス付きディープリサーチレポートの作成について































