Simを使ってローカルの大規模言語モデルを統合するには、以下のステップが必要です:
- まず、目的のモデルをスクリプトに通します:
./apps/sim/scripts/ollama_docker.sh pull <model_name>
- ハードウェア環境に応じてブート方法を選択します:
- GPU環境:
docker compose --profile local-gpu -f docker-compose.ollama.yml up -d
- CPU環境:
docker compose --profile local-cpu -f docker-compose.ollama.yml up -d
- GPU環境:
- ワークフロー構成でプルローカルモデルを選択する
- 必要に応じてGPUまたはCPUモードを指定する
- モデルのレスポンスをテストし、ワークフローが適切に機能していることを確認する。
ローカルモデルは、特にGPU環境がより良いパフォーマンスを提供するため、より大きなストレージスペースと計算リソースを必要とすることに注意してください。
この答えは記事から得たものである。シム:AIエージェントワークフローの迅速な構築と展開のためのオープンソースツールについて