MoviiGen 1.1

MoviiGen 1.1 ist ein Open-Source-KI-Tool, das von ZuluVision entwickelt wurde und sich auf die Erstellung hochwertiger Videos aus Text konzentriert. Es unterstützt Auflösungen von 720P und 1080P und ist besonders für die professionelle Videoproduktion geeignet, die visuelle Kinoeffekte erfordert. Benutzer können Videos mit natürlicher Dynamik und konsistenter Ästhetik aus einfachen Textbeschreibungen generieren.MoviiGen1.1 bietet Modellgewichtung und Inferenzcode auf der Grundlage des PyTorch-Frameworks, das einfach zu implementieren und zu verwenden ist. Seine Offenheit und hohe Leistung machen es ideal für Videoersteller und -entwickler für eine breite Palette von Anwendungen in der Film- und Fernsehproduktion, der Werbung und der Generierung kreativer Inhalte.

Funktionsliste

• Unterstützt 720P und 1080P hochauflösende Videos, 1080P und 21:9 Seitenverhältnis (1920×832) werden für Ergebnisse in Kinoqualität empfohlen.
• Bieten Sie eine Text-zu-Video-Funktion, um hochwertige Videos zu erstellen, indem Sie Szenen, Themen und Aktionen beschreiben.
• Enthält ein erweitertes Modell für Stichwörter, das auf der Grundlage von Qwen2.5-7B-Instruct feinabgestimmt wurde, um die Detailgenauigkeit und die Erstellung von Textbeschreibungen zu verbessern.
• Open-Source-Modellgewichte und Inferenzcode zur Unterstützung des lokalen Einsatzes und der kundenspezifischen Entwicklung.
• Unterstützt die professionelle Videoerstellung für Film- und Fernsehproduktionen, Werbung und die Erstellung kreativer Inhalte.
• Unterstützung des FastVideo-Plug-ins zur Optimierung der Videogenerierungsleistung.
• Kompatibel mit PyTorch 2.4.0 und höher, einfach zu integrieren in bestehende Entwicklungsumgebungen.

Hilfe verwenden

Einbauverfahren

Um MoviiGen 1.1 zu verwenden, müssen die Benutzer zunächst die Konfiguration der Umgebung und die Installation des Modells abschließen. Im Folgenden werden die einzelnen Schritte beschrieben:

1. Klon-Lager
   Führen Sie den folgenden Befehl im Terminal aus, um den Quellcode von MoviiGen 1.1 zu erhalten:

   git clone https://github.com/ZulutionAI/MoviiGen1.1.git
   cd MoviiGen1.1
   

2. Installation von Abhängigkeiten
   Stellen Sie sicher, dass Python 3.10 und höher auf Ihrem System installiert ist und dass PyTorch 2.4.0 oder höher installiert ist. Führen Sie den folgenden Befehl aus, um die Abhängigkeiten zu installieren:

   pip install -r requirements.txt
   

   Darüber hinaus muss das FastVideo-Plugin gemäß der offiziellen Anleitung installiert werden, die auf der GitHub-Seite von FastVideo zu finden ist.

3. Modelle herunterladen
   MoviiGen 1.1 Modelle gehostet auf Hugging Face. Verwenden Sie die huggingface-cli Laden Sie die Modelldatei herunter:

   pip install "huggingface_hub[cli]"
   huggingface-cli download ZuluVision/MoviiGen1.1 --local-dir ./MoviiGen1.1
   

   Das Modell unterstützt die T2V-14B-Architektur und wird heruntergeladen und in der ./MoviiGen1.1 Katalog.

4. Überprüfung der Umgebung
   Stellen Sie sicher, dass die GPU-Hardware unterstützt wird (20 GB oder mehr Videospeicher werden für 1080P-Videos empfohlen). Prüfen Sie, ob PyTorch den Grafikprozessor richtig erkennt:

   python -c "import torch; print(torch.cuda.is_available())"
   

   Ausfuhren True Zeigt die erfolgreiche Konfiguration der Umgebung an.

Verwendung

Die Hauptfunktion von MoviiGen 1.1 ist die Generierung von Videos mit Hilfe von Text-Cue-Words. Nachfolgend finden Sie die spezifischen Arbeitsabläufe:

1. grundlegende Videoerstellung

Benutzer können Videos erzeugen, indem sie Inferenzskripte ausführen. Beispiel-Befehl:

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步，背景是繁忙的都市街道，阳光洒在地面，镜头缓慢移动，展现明亮色彩。"

• --ckpt_dir: Gibt den Pfad der Modelldatei an.
• --promptGeben Sie einen Text ein, der die Szene beschreibt, und schlagen Sie 100-200 Wörter vor, die die Szene, das Thema, die Handlung, den ästhetischen Stil und die Kamerabewegung beschreiben.

2. die Erweiterung des Modells mit Hinweisen

MoviiGen 1.1 bietet ein auf Qwen2.5-7B-Instruct basierendes Modell zur Erweiterung von Stichworten, um die Details von Textbeschreibungen zu verbessern. Aktivieren Sie diese Funktion:

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步。" --use_prompt_extend --prompt_extend_model ZuluVision/MoviiGen1.1_Prompt_Rewriter

Die Cue-Word-Erweiterung reichert die Beschreibung automatisch an, z. B. durch Hinzufügen von Szenendetails, Lichteffekten usw., um die Qualität des generierten Videos zu verbessern.

3 Empfohlenes Prompt-Format

Um optimale Ergebnisse zu erzielen, muss die Aufforderung die folgenden Elemente enthalten:

• Beschreibung der SzeneZum Beispiel: "Ein verrauchtes Detektivbüro mit Jalousien, die scharfe Schatten werfen".
• Hauptteilwie in "Der müde Detektiv saß hinter dem Tisch".
• BewegungWie in "eine Zigarette anzünden und einen Zug Rauch ausatmen".
• ästhetischer StilZum Beispiel: "Schwarz-Weiß, kontrastreich, im Stil des Film Noir der 1940er Jahre".
• KameraverschiebungWie in "statische mittlere Aufnahme, die den Detektiv in den Mittelpunkt stellt".
  Beispiel für Prompt-Wörter:

In einem verrauchten Detektivbüro, dessen Jalousien scharfe Schatten werfen, sitzt der müde Detektiv hinter seinem Schreibtisch, zündet sich eine Zigarette an und atmet eine Rauchwolke aus. Das Bild ist in Schwarz-Weiß mit hohem Kontrast im Stil des Film Noir der 1940er Jahre gehalten. Die Kamera ist statisch und konzentriert sich auf den Detektiv, um eine bedrückende Atmosphäre zu schaffen.

4. die Ausgabeeinstellungen

• Auflösung (eines Fotos)720P und 1080P werden standardmäßig unterstützt, und 1080P (1920×832) wird für Ergebnisse in Kinoqualität empfohlen.
• GenerationszeitEs dauert lange, ein 1080P-Video zu generieren, daher wird ein leistungsstarker Grafikprozessor (z. B. RTX 4090, 20 GB RAM) empfohlen.
• AusgabepfadDas erzeugte Video wird standardmäßig in der Datei ./MoviiGen1.1/output Verzeichnis, andere Pfade können im Inferenzskript angegeben werden.

5. die Optimierung der Leistung

• FastVideo-Plugin: Wird installiert, um die Videoerzeugung zu beschleunigen, siehe FastVideo-Dokumentation zur Konfiguration.
• Optimierung des VideospeichersWenn der Videospeicher nicht ausreicht, versuchen Sie, ein 720P-Video zu erstellen, um den Speicherbedarf zu verringern.
• StapeldateiUnterstützt die Stapelgenerierung von mehreren Stichwörtern und die Modifizierung von Inferenzskripten, um mehrere Stichwörter in einer Schleife zu durchlaufen.

caveat

• Stellen Sie eine stabile Internetverbindung sicher, um Modelle und Abhängigkeiten herunterzuladen.
• Die Erzeugung von hochauflösenden Videos stellt hohe Anforderungen an die Hardware, und es wird ein leistungsstarker Grafikprozessor empfohlen.
• Die Qualität der Aufforderungswörter wirkt sich direkt auf die Generierungsergebnisse aus, und es wird empfohlen, mehrere verschiedene Beschreibungsstile auszuprobieren.
• Prüfen Sie das GitHub-Repository regelmäßig auf Updates für die neuesten Modelle und den Code.

Anwendungsszenario

1. Film- und Fernsehproduktion
   MoviiGen 1.1 ist für die Erstellung von Filmtrailern, Kurzfilmen oder Szenenclips geeignet. Die Benutzer können schnell Videos mit professionellen Lichteffekten und detaillierten Textbeschreibungen erstellen und so die herkömmlichen Drehkosten reduzieren.
2. Kreative Werbung
   Werbeteams können MoviiGen 1.1 zur Erstellung von Produktwerbevideos verwenden. Geben Sie zum Beispiel Szenen und Aktionen ein, die ein Markenprodukt beschreiben, um schnell hochwertiges Werbematerial zu erstellen und Produktionszeit zu sparen.
3. Spieleentwicklung
   Spieleentwickler können MoviiGen 1.1 verwenden, um animierte Übergänge oder Umgebungsvideos zu erzeugen, die eine hohe Auflösung und individuelle Stile unterstützen, um den erzählerischen Anforderungen des Spiels gerecht zu werden.
4. Bildung und Ausbildung
   Pädagogen können Lehrvideos erstellen, die bewegte Bilder von historischen Szenen oder wissenschaftlichen Experimenten zeigen, um die Attraktivität und Intuitivität des Inhalts zu erhöhen.

QA

1. Ist MoviiGen 1.1 kostenlos?
   Ja, MoviiGen 1.1 ist ein Open-Source-Tool, und die Modellgewichte und der Inferenzcode sind für die Benutzer frei verfügbar und können von GitHub und Hugging Face heruntergeladen und verwendet werden.
2. Welche Hardware ist für die Erstellung von 1080P-Videos erforderlich?
   Eine GPU mit mindestens 20 GB Videospeicher (z. B. NVIDIA RTX 4090) wird empfohlen. Niedrigere Konfigurationen können verwendet werden, um 720P-Videos zu erzeugen, aber GPU-Unterstützung ist immer noch erforderlich.
3. Wie lässt sich die Qualität des erzeugten Videos optimieren?
   Verwenden Sie detaillierte Stichwörter mit Beschreibungen von Szene, Thema, Handlung und Stil. Aktivieren Sie das Cue Expansion Model, um die Detailgenauigkeit zu erhöhen. Stellen Sie sicher, dass die Hardware die 1080P-Generierung unterstützt, um optimale Ergebnisse zu erzielen.
4. Werden Windows und Linux unterstützt?
   Ja, MoviiGen 1.1 wird unter Windows und Linux unterstützt und läuft mit installiertem Python 3.10+ und PyTorch 2.4.0+.
5. Wie lange dauert es, ein Video zu erstellen?
   Je nach Hardware und Auflösung kann ein 1080p-Video Minuten bis Stunden dauern, 720p ist schneller. Verwenden Sie einen leistungsstarken Grafikprozessor und das FastVideo-Plug-in, um die Zeit zu verkürzen.