Die folgenden Schritte sind erforderlich, um ein lokales großes Sprachmodell mit Sim zu integrieren:
- Ziehen Sie zunächst das gewünschte Modell durch das Skript:
./apps/sim/scripts/ollama_docker.sh pull <model_name> - Wählen Sie die Bootmethode entsprechend der Hardwareumgebung:
- GPU-Umgebung:
docker compose --profile local-gpu -f docker-compose.ollama.yml up -d - CPU-Umgebung:
docker compose --profile local-cpu -f docker-compose.ollama.yml up -d
- GPU-Umgebung:
- Auswahl der gezogenen lokalen Modelle in der Workflow-Konfiguration
- Geben Sie je nach Bedarf den GPU- oder CPU-Modus an.
- Testen Sie die Reaktion des Modells, um sicherzustellen, dass der Arbeitsablauf ordnungsgemäß funktioniert.
Beachten Sie, dass lokale Modelle mehr Speicherplatz und Rechenressourcen benötigen, zumal GPU-Umgebungen eine bessere Leistung bieten.
Diese Antwort stammt aus dem ArtikelSim: Open-Source-Tools für den schnellen Aufbau und Einsatz von KI-Agenten-WorkflowsDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann ich ein lokales großes Sprachmodell in Sim verwenden?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil