Die multimodale Unterstützung von LMCache optimiert den Speicherbedarf von visuell-linguistischen Modellen:
- Multimodale Zwischenspeicherung aktivierenvLLM: In der vLLM-Konfiguration eingestellt
mm_hashesParameter zur Identifizierung des Bild-Tokens - hierarchische SpeicherungSpeicherung von Schlüssel-Wert-Paaren visueller Merkmale auf der Festplatte oder in Redis, wobei der Textteil auf der GPU verbleibt
- Optimierung der ChargenBatch Caching von ähnlichen Bildabfragen
- ÜberwachungsinstrumenteÜberprüfung der Effektivität der Speicheroptimierung mit dem von LMCache bereitgestellten Performance-Analyse-Tool
Dieser Ansatz reduziert den GPU-Speicherverbrauch für multimodale Inferenzen erheblich und sorgt gleichzeitig für eine hohe Reaktionsfähigkeit. Es wird empfohlen, das offizielle Repository LMCache-Examples für Beispiele von multimodalen Implementierungen zu nutzen.
Diese Antwort stammt aus dem ArtikelLMCache: Ein Key-Value-Cache-Optimierungswerkzeug zur Beschleunigung von Schlussfolgerungen auf großen SprachmodellenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich der Speicherplatzbedarf multimodaler Modelle für gemeinsame Bild- und Textinferenzen verbessern?
