Lösung zur Erzeugung langer Videos für Geräte mit geringem Speicherplatz
Step-Video-T2V selbst wurde für die Nutzung des Videospeichers durch tiefe Komprimierung optimiert, aber die folgenden Strategien können auch auf Geräten der unteren Leistungsklasse angewendet werden:
- Ermöglichung der Modellquantifizierung40-60%: Reduziert den Speicherverbrauch durch Verwendung von FP16 oder INT8 quantisierten Versionen.
- Technologie der SegmentierungGenerieren Sie 204 Videobilder in mehrere 64-Bilder-Segmente und fügen Sie diese später mit FFmpeg zusammen.
- Verwenden Sie die Turbo-VersionStep-Video-T2V-Turbo benötigt 35% weniger Videospeicher, infer_steps nur 10-15 Schritte
- Einstellungen zur Optimierung des Videospeichers: Hinzufügen des Parameters `-enable_xformers`, um speichereffiziente Aufmerksamkeitsspannen zu ermöglichen.
Spezifische operative Verfahren:
- Ändern Sie das Skript generate_video.py, um den Parameter "chunk_size 64" hinzuzufügen.
- Installieren Sie CUDA 11.7 und höher, um Kompatibilität zu gewährleisten.
- Setzen Sie die Umgebungsvariable: `export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512`.
Für Geräte mit weniger als 6 GB Videospeicher wird empfohlen, den Online-API-Service von Modelscope zu nutzen.
Diese Antwort stammt aus dem ArtikelStep-Video-T2V: Ein Vincennes-Videomodell, das mehrsprachige Eingaben und die Erzeugung langer Videos unterstütztDie