Ollamaローカル展開モデル アクセス Dify

ダイファイ サポート・アクセス オーラマ 大規模言語モデルの推論と埋め込み機能の展開。

クイックアクセス

1. ダウンロード Ollama
   インタビュー Ollamaのインストールと設定詳しくは、Ollamaローカル・デプロイメント・チュートリアルをご覧ください。
2. オラマを走らせ、ラマとチャットする

   ollama run llama3.1
   

   起動に成功すると、ollamaはローカルのポート11434でAPIサービスを開始する。 http://localhost:11434 アクセス
   詳細はhttps://ollama.ai/library。

3. ディファイでOllamaにアクセスする
   ある 设置 > 模型供应商 > Ollama 空欄を埋めてください：
     
   • モデル名llama3.1
   • ベースURL：http://<your-ollama-endpoint-domain>:11434
     ここにアクセスできるOllamaサービスのアドレスが必要です。
     Difyをドッカーとしてデプロイする場合は、LANのIPアドレスなどを記入することをお勧めします：http://192.168.1.100:11434 または docker ホストの IP アドレスなど：http://172.17.0.1:11434.

     注：Find LAN IP Addressコマンド：

     • Linux/macOSでは、以下のコマンドを使用する。 ip addr show もしかしたら ifconfig.
     • Windowsでは ipconfig コマンドで類似のアドレスを見つけることができる。
     • 通常、このアドレスは、有線ネットワークか無線ネットワークかによって、eth0またはwlan0インターフェイスの下に表示されます。

     ローカル・ソース・コード用にデプロイする場合は、以下のように入力します。 http://localhost:11434.

   • モデル・タイプ对话
   • モデルコンテキストの長さ：4096
     モデルのコンテキストの最大長を指定します。不明な場合は、デフォルト値の4096を入力してください。
   • 最大 トークン キャップ4096
     モデルがコンテンツとして返すトークンの最大数。モデルによって特に指定されていない場合は、モデルのコンテキストの長さと一致する可能性があります。
   • Visionがサポートされているかどうか：是
     モデルが画像理解（マルチモーダル）をサポートする場合、このボックスにチェックを入れる。 llava.

   Save "をクリックして、モデルが正しく、アプリケーションで使用できることを確認します。
   Embeddingモデルは、LLMと同様に、モデルタイプをText Embeddingに変更してアクセスする。

4. オッラマ・モデルの使用
   
   設定したいアプリの App Prompt Orchestration ページに移動し、Ollama プロバイダを以下の項目で選択します。 llama3.1 モデルのパラメータを設定し、それを使用する。

よくあるご質問

⚠️ Dockerを使用してDifyとOllamaをデプロイしている場合、以下のエラーが発生する可能性があります。

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

このエラーは、DockerコンテナがOllamaサービスにアクセスできないためです。 localhostは通常、ホストや他のコンテナではなく、コンテナ自身を指します。この問題を解決するには、Ollamaサービスをネットワークに公開する必要があります。

Macで環境変数を設定する

万が一 Ollama する macOS アプリケーションを実行している場合は、以下のコマンドで環境変数を設定する。launchctl ::

1. これは launchctl setenv 環境変数の設定：

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   

2. Ollamaアプリケーションを再起動します。
3. 上記の手順でうまくいかない場合は、以下の方法を使うことができる：
   問題は、ドッカー内で host.docker.internal ドッカーのホストにアクセスするために localhost と置き換える。 host.docker.internal サービス開始の準備が整いました：

   http://host.docker.internal:11434
   

Linuxで環境変数を設定する

Ollamaがsystemdサービスとして動作している場合は、次のようにします。 systemctl 環境変数の設定：

1. これは systemctl edit ollama.service systemdサービスを編集する。エディターが開きます。
2. 各環境変数に対して [Service] セクションの下に Environment ::

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   

3. 保存して終了する。
4. におも systemd そしてオラマを再起動させる：

   systemctl daemon-reload
   systemctl restart ollama
   

Windowsで環境変数を設定する

Windowsでは、Ollamaはあなたのユーザー環境変数とシステム環境変数を継承します。

1. まず、タスクバーのOllamaをクリックしてプログラムを終了する。
2. コントロールパネルからシステム環境変数を編集する
3. 以下のようなユーザーアカウントの変数を編集または新規作成します。 OLLAMA_HOST そして OLLAMA_MODELS その他
4. OK/Applyをクリックしてアプリケーションを保存する
5. 新しいターミナルウィンドウで実行する ollama

自分のネットワークにOllamaを公開するにはどうすればよいですか？

Ollamaはデフォルトで127.0.0.1のポート11434にバインドする。 OLLAMA_HOST 環境変数はバインディングアドレスを変更する。