Optimierte Lösungen für die hochauflösende Bildverarbeitung
Die folgenden Methoden können bei 4K-Bildern mit unzureichendem Videospeicher verwendet werden:
- Hardware-Ebene:Bevorzugen Sie die Verwendung von 24-GB-Speicherkarten wie der RTX 3090/4090 oder verteilen Sie die Last über NVIDIAs Multi-Card-Parallelitätstechnologie
- Optimierung der Parameter:
1. den Parameter hd_num anpassen (Standardwert 18), je kleiner der Wert, desto weniger Speicher wird verwendet.
2. flash-attention2 Installation hinzufügen: pip install flash-attn -no-build-isolation - Vorbehandlungsprogramm:
1. chunking von Bildern mit OpenCV
2) Downsampling von 4K-Bildern auf 2K-Auflösung (2048 x 1080)
3. den Betrieb im Low-Vram-Modus aktivieren - Quantitative Programme:Laden Sie das quantisierte 4-Bit-Modell:
from transformers import BitsAndBytesConfig
quant_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModel.from_pretrained(..., quantisation_config=quant_config)
Experimentelle Daten zeigen, dass das Modell 7B bei aktivierter 4-Bit-Quantisierung nur 6 GB Videospeicher für die Verarbeitung von 4K-Bildern benötigt.
Diese Antwort stammt aus dem ArtikelInternLM-XComposer: ein multimodales Makromodell für die Ausgabe sehr langer Texte und das Verstehen von Bildern und VideosDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich das Problem lösen, dass InternLM-XComposer bei der Verarbeitung von 4K-Bildern nicht über genügend Videospeicher verfügt?
