ToonComposer: AI-Generierungstool zur Vereinfachung der Trickfilmproduktion

ToonComposer ist ein vom ARC Lab von Tencent entwickeltes Tool, das generative KI-Techniken einsetzt, um den traditionellen Produktionsprozess von Zeichentrickfilmen und Animationen zu rationalisieren. ToonComposer zielt darauf ab, die sich wiederholende manuelle Arbeit des Zeichnens von Übergängen zwischen Schlüsselbildern (ein Prozess, der als "Zwischenbild"-Generierung bekannt ist) und das Einfärben der einzelnen Bilder zu automatisieren, was sowohl zeit- als auch arbeitsintensiv ist. Der Benutzer muss nur einige wenige farbige Schlüsselbilder und einige einfache Skizzen als Leitfaden zur Verfügung stellen, und das KI-Modell generiert automatisch alle Übergangsanimationen zwischen diesen Bildern, komplett mit Farbgebung, was zu einem reibungslosen Zeichentrickvideo führt. Dieses Tool verkürzt den Zyklus der Trickfilmproduktion erheblich, so dass die Kreativen mehr Energie in den kreativen Kern und das Storytelling-Design stecken können, als in die langwierige Nachbearbeitung. Das gesamte Projekt ist quelloffen, der Code und die trainierten Modelle wurden öffentlich zugänglich gemacht, und eine webbasierte interaktive Schnittstelle steht den Nutzern zur Verfügung, um sie direkt zu erleben und zu verwenden.

Funktionsliste

• Automatische Erzeugung von ZwischenbildernDer Benutzer muss nur Start- und End-Keyframe-Bilder oder Skizzen zur Verfügung stellen, und das Modell kann automatisch Zwischenübergangsanimationen erzeugen.
• Automatische EinfärbungDas Modell kann automatisch für die gesamte Animationssequenz eingefärbt werden, basierend auf den vom Benutzer eingegebenen farbigen Keyframes.
• Text-Tipp-LeitfädenUnterstützt die Verwendung von Text in natürlicher Sprache (Prompt), um den gewünschten Animationsinhalt oder -stil zu beschreiben.
• Steuerung der SkizzenführungSkizzen: Ermöglicht das Einfügen von Skizzen an bestimmten Frame-Positionen für eine präzisere Kontrolle der Bewegung und Form der Figur.
• Dynamische BereichskontrolleBenutzer können festlegen, welche Bereiche des Rahmens dynamischere Änderungen erfordern, indem sie "Bewegungsmasken" zeichnen, die es dem Modell ermöglichen, in diesen Bereichen freiere Bewegungen zu erzeugen.
• Unterstützung mehrerer AuflösungenDas Modell unterstützt die Erstellung von Videos mit verschiedenen Auflösungen, wie z. B.480pim Gesang antworten608p.
• Parametrische AnpassungVerschiedene Optionen zur Parametereinstellung, wie CFG-Skala (Classifier Free Guidance Scale) und Residual Scale, ermöglichen dem Benutzer eine Feinabstimmung der Details des erzeugten Videos.
• Örtlicher EinsatzEine vollständige Installationsanleitung unterstützt Sie bei der Einrichtung und Inbetriebnahme auf Ihrem Computer.
• Interaktive WebschnittstelleEine benutzerfreundliche Webschnittstelle wurde mit der Gradio-Bibliothek erstellt, die es den Benutzern ermöglicht, Clips hochzuladen und Videos direkt von ihrem Browser aus zu erstellen.

Hilfe verwenden

ToonComposer bietet eine lokal installierte Webanwendung, die es den Benutzern ermöglicht, sie auf ihren eigenen Computern auszuführen. Nachfolgend finden Sie eine detaillierte Beschreibung der Installation und Verwendung.

Einbauverfahren

1. Code-Repository klonen
   Als Erstes müssen Sie den Quellcode von ToonComposer lokal von GitHub klonen. Öffnen Sie ein Terminal (Befehlszeilentool) und geben Sie den folgenden Befehl ein:

   git clone https://github.com/TencentARC/ToonComposer
   

   Wechseln Sie dann in das Projektverzeichnis:

   cd ToonComposer
   

2. Erstellen und Aktivieren der Conda-Umgebung
   Um Abhängigkeitskonflikte mit anderen Python-Projekten auf Ihrem Computer zu vermeiden, empfiehlt es sich, mit Conda eine separate Umgebung zu erstellen.

   conda create -n tooncomposer python=3.10 -y
   

   Nachdem die Umgebung erfolgreich erstellt wurde, aktivieren Sie diese neue Umgebung:

   conda activate tooncomposer
   

3. Installation von abhängigen Bibliotheken
   Die für das Projekt erforderlichen Bibliotheken sind in der Dateirequirements.txtDatei. Verwenden Sie diepipBefehl, um die Installation durchzuführen. Darüber hinaus ist eine separate Installation desflash-attnBibliothek.

   pip install -r requirements.txt
   pip install flash-attn==2.8.2 --no-build-isolation
   

   zur Kenntnis nehmenLaut der offiziellen Dokumentation wird diese Konfiguration derzeit nur unter Linux getestet.

4. Download Modellgewichte
   ToonComposer stützt sich auf zwei Kernmodelle: Das eine ist das BasismodellWan2.1 I2VDas andere istToonComposerEigene Modellgewichte. Wenn Sie die App zum ersten Mal starten, prüft das Programm automatisch den lokalen Cache. Wenn das Modell nicht vorhanden ist, wird es automatisch vom Hugging Face Hub heruntergeladen. Dieser Vorgang kann einige Zeit dauern, da die Modelldateien recht groß sind.

Starten der Webanwendung

Nach Abschluss der Installation führen Sie den folgenden Befehl im Terminal aus, um die Webanwendung zu starten:

python app.py

Nach erfolgreichem Start sehen Sie im Terminal eine Ausgabe ähnlich der folgenden, die anzeigt, dass die Anwendung lokal im Verzeichnis7860die auf dem Anschluss laufen:

Running on local URL:  http://127.0.0.1:7860

Öffnen Sie nun Ihren Browser und besuchen Sie diese Adresse (http://localhost:7860), um die ToonComposer-Oberfläche zu sehen.

Funktion Betriebsablauf

Sobald Sie die Weboberfläche betreten, sehen Sie mehrere Haupteingabebereiche. Hier sind die genauen Schritte zur Erstellung eines animierten Videos:

1. Einstellung der Grundparameter
   • Text-Eingabeaufforderung: Geben Sie in das Textfeld oben einen Text ein, der beschreibt, was Sie animieren möchten. Zum Beispiel: "Ein Junge, der im Wind läuft".
   • Anzahl der AusgangsrahmenLegen Sie fest, wie viele Bilder das generierte Video insgesamt haben soll. Je mehr Bilder, desto länger wird das Video sein.
   • AuflösungWählen Sie die Auflösung des Videos, die Standardeinstellung ist480p.
2. Hochladen von Keyframe-Farbbildern
   Dies ist der wichtigste Schritt. Sie müssen mindestens ein Farbbild als Ausgangspunkt für die Animation bereitstellen.
   • Diese Karte befindet sich in der Regel in der ersten0Rahmen.
   • Klicken Sie auf den Upload-Bereich und wählen Sie Ihre Farbbilddatei aus. Dieses Bild gibt den Ton für den Stil, den Charakter und den Hintergrund der gesamten Animation an.
3. Hochladen von Keyframe-Skizzen
   Um die Bewegung in der Mitte der Animation zu steuern, können Sie Skizzen an verschiedenen Bildpositionen hinzufügen.
   • Wenn Sie zum Beispiel möchten, dass eine Figur eine bestimmte Aktion bei Bild 10 ausführt, können Sie eine Skizze dieser Aktion zeichnen und eine Bezeichnung hochladen, die im ersten Bild verwendet wird.10Rahmen.
   • Sie können mehrere Skizzen hochladen, um verschiedene Knotenpunkte der Animation zu steuern.
4. (Optional) Bewegungsmaske zeichnen
   Wenn Sie eine Skizze hochladen, können Sie mit dem in der Benutzeroberfläche enthaltenen Pinselwerkzeug schwarze Bereiche auf die Skizze malen. Diese schwarzen Bereiche werden als "Bewegungsmasken" bezeichnet und teilen dem Modell mit, dass "diese Bereiche sich freier und übertriebener bewegen können". Dies ist sehr nützlich, um Effekte wie fließendes Haar, schwingende Kleidung usw. zu erzeugen.
5. Einstellen der erweiterten Parameter
   • CFG-SkalaDieser Parameter steuert, wie gut der generierte Inhalt mit Ihren textlichen Hinweisen übereinstimmt. Je höher der Wert, desto genauer wird die KI Ihre Textbeschreibungen generieren, allerdings möglicherweise auf Kosten einer gewissen Kreativität.
   • Positionsabhängige RestskalaMit diesem Parameter können Sie die Detailgenauigkeit und Stabilität des erzeugten Videos einstellen. Sie können verschiedene Werte ausprobieren, um die Wirkung zu sehen.
6. Video generieren
   Sobald alle Einstellungen abgeschlossen sind, klicken Sie auf die Schaltfläche "Generieren". Das Modell beginnt mit der Verarbeitung Ihrer Eingaben und erstellt ein Video. Der Verarbeitungsstatus wird in der unteren rechten Ecke der Benutzeroberfläche angezeigt. Wenn die Verarbeitung abgeschlossen ist, wird das generierte Video abgespielt und steht hier zum Download bereit.

Anwendungsszenario

1. Animation
   Für professionelle Animationsstudios oder einzelne Animatoren kann der ToonComposer ein effizientes Werkzeug in der Produktionspipeline sein. Er kann schnell Zwischenbilder für die Animation erzeugen und befreit die Animatoren von schweren, sich wiederholenden Arbeiten, sodass sie mehr Zeit für kreativere Aufgaben wie Storyboarding, Charakterdesign und Keyframing haben.
2. Spieleentwicklung
   Bei der Entwicklung von 2D-Spielen wird eine große Anzahl von Animationsframes für Charakterbewegungen wie Gehen, Angreifen und Zaubern benötigt. Mit ToonComposer können Entwickler schnell komplette Aktionssequenzen mit einer geringen Anzahl von Keyframes generieren und so die Kosten und den Zeitaufwand für die Produktion von Kunstressourcen effektiv reduzieren.
3. Bildung und Ausbildung
   Studenten oder Anfängern, die die Animationsproduktion erlernen, bietet ToonComposer eine intuitive Möglichkeit, das Konzept der Keyframes und Zwischenbilder zu verstehen. Sie können schnell den endgültigen Animationseffekt sehen, indem sie mit verschiedenen Kombinationen von Keyframes experimentieren, was den Lernprozess beschleunigt.
4. Erstellung von Inhalten
   Ersteller von Inhalten für soziale Medien, VTuber oder Video-Blogger können mit ToonComposer schnell kurze animierte Clips oder animierte Emoji-Pakete erstellen, um das Format ihrer Inhalte zu bereichern und den Spaß und die Attraktivität ihrer Videos zu erhöhen.

QA

1. Welche Betriebssysteme werden von ToonComposer unterstützt?
   Laut der offiziellen GitHub-Seite wurde die aktuelle Installationskonfiguration hauptsächlich unter Linux getestet. Sie kann zwar auch unter Windows oder macOS funktionieren, es können jedoch unbekannte Kompatibilitätsprobleme mit der Bibliothek auftreten.
2. Wie gut muss meine Grafikkarte sein, um ToonComposer auszuführen?
   ToonComposer basiert auf großen generativen KI-Modellen, die hohe Rechenressourcen erfordern. Es gibt zwar keine offizielle Mindestkonfiguration, aber die Ausführung solcher Modelle erfordert in der Regel eine NVIDIA-Grafikkarte mit großem Videospeicher (z. B. RTX 30er oder 40er Serie), um eine gute Leistung und Erfahrung zu erzielen.
3. Was sollte ich tun, wenn das erzeugte Video nicht zufriedenstellend ist?
   Da es sich um ein generatives Modell handelt, können die Ergebnisse bei jeder Generierung anders ausfallen. Wenn Sie mit den Ergebnissen nicht zufrieden sind, versuchen Sie eine der folgenden Anpassungsmethoden: Ändern Sie den zufälligen Seed (Seed), passen Sie Parameter wie die CFG-Skalierung an, fügen Sie Keyframe-Skizzen hinzu oder ändern Sie sie, um eine klarere Bewegungsführung zu erhalten, oder optimieren Sie Ihre Textaufforderungen.
4. Ist dieses Tool kostenlos?
   Ja, ToonComposer ist ein Open-Source-Projekt, dessen Quellcode und Modellgewichte frei verfügbar und nutzbar sind, vorbehaltlich der Bestimmungen in der mit dem Projekt gelieferten LICENSE-Datei.