Leistungsoptimierungsprogramm für Flachbaugeräte
Bei Geräten mit weniger als 8 GB RAM sorgt die dreifache Optimierung für einen reibungslosen Betrieb:
1. die Strategie der Ressourcenverteilung
- Erzwingen Sie die Verwendung von leichtgewichtigen Modellen:
export FAST_LLM="gemini-lite"
- Schalten Sie nicht benötigte Komponenten aus:
export USE_LLM_COMPRESSOR="FALSE"
- Gleichzeitige Anfragen begrenzen:
export MAX_CONCURRENT=2
2. die Abstimmung der Betriebsparameter
- Reduzierung der Auszeiten::
aufstellenSEARCH_PROCESS_TIMEOUT=120
(in Sekunden) - Caching der Ergebnisse aktivieren::
einrichten.cache/
Verzeichnis und fügen Sieexport USE_CACHE=TRUE
- Rationalisierung der Ausgabeinhalte::
Hinzufügen von Befehlszeilenparametern--compact
Reduzierte Detailausgabe
3. docker-spezifische Optimierung
Änderungendocker-compose.yml
::
- Fügen Sie für jeden Dienst Ressourcenlimits hinzu:
deploy: resources: limits: memory: 2GB cpus: "0.5"
- ausnutzen
--no-gpu
Parametrisierung - Deaktivieren Sie Hot Updates für das Front-End:
npm run build --production
Daten aus der Praxis: Nach der Optimierung kann das Gerät mit 4 GB RAM stabil 5 gleichzeitige Suchaufgaben bewältigen.
Diese Antwort stammt aus dem ArtikelII-Researcher: Deep Search und Stepwise Reasoning zur Beantwortung komplexer FragenDie