Die empfohlene Lösung ist die Bereitstellung über Docker, die in drei Schritten erfolgt:
- Vorbereitung der Basisumgebung::
- Installation von Docker Desktop und Docker Compose
- passieren (eine Rechnung oder Inspektion etc.)
git cloneHolen Sie sich die neueste Codebasis - Konfigurieren Sie den Authentifizierungsschlüssel und die Datenbankparameter in der .env-Datei
- Ollama-Integration::
- Ändern Sie docker-compose.yml, um Folgendes hinzuzufügen
extra_hostsKarte (math.) - aufstellen
OLLAMA_HOST=http://host.docker.internal:11434 - Ziehen Sie das gewünschte Modell durch das Skript:
./scripts/ollama_docker.sh pull llama3
- Ändern Sie docker-compose.yml, um Folgendes hinzuzufügen
- Neue Dienste::
- GPU-beschleunigter Modus:
docker compose up --profile local-gpu -d --build - Reiner CPU-Modus:
docker compose up --profile local-cpu -d --build - Interviews
http://localhost:3000Plattform
- GPU-beschleunigter Modus:
Hinweis: Für den lokalen LLM-Betrieb werden 16 GB oder mehr RAM empfohlen, und NVIDIA-GPUs können die Leistung erheblich verbessern. Auf die Protokolle kann über diedocker compose logsLive-Ansicht.
Diese Antwort stammt aus dem ArtikelSim Studio: Open-Source-Workflow-Builder für KI-AgentenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann ich Sim Studio auf meinem lokalen Rechner einsetzen und eine Verbindung zu meinem lokalen LLM herstellen?
