Sim Studioでローカルの大規模言語モデルを使用する手順は以下の通りです:
- スクリプトでモデルを引き出す: run
./apps/sim/scripts/ollama_docker.sh pull <model_name>
コマンドを使用して、必要なモデル(LLaMAなど)をダウンロードします。 - ローカルモデルをサポートする環境を起動する:ハードウェア構成に応じてGPUまたはCPUモードを選択し、適切なDocker Composeコマンドを実行する。
- ワークフロー構成でローカルモデルを選択し、動作モード(GPUまたはCPU)を指定します。
- モデルの応答をテストし、ワークフローが正しく動作していることを確認する。
ローカルモデルは、より大きなストレージスペースと計算リソースを必要とすることに注意してください。
この答えは記事から得たものである。シム:AIエージェントワークフローの迅速な構築と展開のためのオープンソースツールについて