Story2Board: Generierung kohärenter Split-Screen-Skripte aus natürlichsprachlichen Geschichten

Story2Board ist ein KI-Framework, das eine in natürlicher Sprache verfasste Textgeschichte automatisch in eine Reihe von kohärenten und ausdrucksstarken visuellen Storyboards umwandelt. Story2Board löst das Problem, dass herkömmliche KI-Zeichentools oft Schwierigkeiten haben, die Konsistenz von Charakterbildern und Szenenstilen bei der Generierung aufeinanderfolgender Bilder aufrechtzuerhalten, indem es sicherstellt, dass der Protagonist in verschiedenen Bildern das gleiche Aussehen hat, und dabei auch Komposition, Hintergrundwechsel und Erzähltempo berücksichtigt, um eine filmische visuelle Geschichte zu generieren. Das Tool verwendet eine Technik namens "Latent Panel Anchoring", um Charaktereigenschaften zu berücksichtigen, und "Mutual Attention Value Blending", um visuelle Elemente über verschiedene Frames hinweg zu mischen, um das Storytelling und die erzählerische Kohärenz deutlich zu verbessern, ohne das zugrunde liegende KI-Modell zu verändern. Dies verbessert die Kohärenz und den erzählerischen Effekt des Storyboards erheblich, ohne das zugrunde liegende KI-Modell zu verändern. Für Filmemacher, Drehbuchautoren und Autoren von Inhalten ist dies ein nützliches Tool zur schnellen Visualisierung von Textideen.

Funktionsliste

• Text in Partitur Skript KonvertierungDie vom Benutzer eingegebene natürlichsprachliche Geschichte wird von einem groß angelegten Sprachmodell (LLM) automatisch in spezifische, für jeden Frame geeignete Prompts (Aufforderungen) zerlegt.
• Beibehaltung der RollenkonsistenzLatent Panel Anchoring wird verwendet, um sicherzustellen, dass dieselbe Figur in einer Geschichte über alle aufeinanderfolgenden Frames hinweg ein konsistentes Erscheinungsbild und eine einheitliche Identität beibehält.
• Erhöhte Kohärenz der SzeneMit der RAVM-Technik (Reciprocal Attention Value Mixing) werden die visuellen Merkmale der verschiedenen Bilder sanft vermischt, was zu natürlicheren Szenenübergängen und einer kohärenteren Erzählung führt.
• Keine Modellschulung erforderlichAls "Train-as-you-go"-Framework müssen die Benutzer kein KI-Modell neu trainieren oder fein abstimmen und können direkt auf bestehenden, hochmodernen Vincennes-Modellen aufbauen, wie z. B. FLUX.1-dev) verwendet.
• Flexible SzenariobeschreibungDurch die Unterstützung unabhängiger Beschreibungen des Referenzbildes und der nachfolgenden Bilder hat der Benutzer genaue Kontrolle über den Inhalt jedes Bildes des geteilten Bildes, einschließlich der Bewegungen der Figur, der Mimik und der Hintergrundumgebung.
• Reproduzierbare ErgebnisseDie generierten Bilder und die spezifischen Stichworte, die zu ihrer Erzeugung verwendet wurden, werden zusammen im Ausgabeverzeichnis gespeichert, so dass der Benutzer leicht auf die Ergebnisse zugreifen und sie reproduzieren kann.

Hilfe verwenden

Story2Board ist ein Kommandozeilenprogramm, das eine Reihe von Split-Screen-Bildern erzeugt, indem es einen Text eingibt, der eine Geschichte beschreibt. Im Folgenden finden Sie eine detaillierte Beschreibung der Installation und Verwendung.

Vorbereitung der Umwelt

Bevor Sie es verwenden können, müssen Sie Ihre Laufzeitumgebung konfigurieren. Die offizielle Empfehlung lautet, mit Conda eine separate Python-Umgebung zu erstellen, um Konflikte mit abhängigen Bibliotheken aus anderen Projekten zu vermeiden.

1. Installation von Conda
   Wenn Sie Conda noch nicht installiert haben, können Sie es auf der offiziellen Anaconda-Website herunterladen und installieren.
2. Projektlager klonen
   Öffnen Sie Ihr Terminal und verwenden Sie den Befehl git Befehl, um den Code von Story2Board lokal zu klonen.

   git clone https://github.com/DavidDinkevich/Story2Board.git
   

3. Wechseln Sie in das Projektverzeichnis

   cd Story2Board
   

4. Erstellen und Aktivieren einer Conda-Umgebung
   Verwenden Sie den folgenden Befehl, um eine Datei namens story2board und geben Sie Python Version 3.12 an.

   conda create -n story2board python=3.12
   

   Nachdem die Umgebung erfolgreich erstellt wurde, aktivieren Sie die Umgebung:

   conda activate story2board
   

5. Installation von abhängigen Bibliotheken
   Die für das Projekt erforderlichen Bibliotheken sind in der Datei requirements.txt Datei. Verwenden Sie die pip um es zu installieren.

   pip install -r requirements.txt
   

   auf etw. aufmerksam machenWenn Sie eine NVIDIA-Grafikkarte haben und CUDA für die Beschleunigung verwenden möchten, wird empfohlen, die Anweisungen auf der PyTorch-Website zu befolgen und eine Version von PyTorch zu installieren, die die Treiberversion Ihrer Grafikkarte unterstützt, und dann den obigen Befehl auszuführen pip install Befehl. Dadurch wird sichergestellt, dass die CUDA-Version von PyTorch korrekt übereinstimmt.

Wie zu verwenden

Das Herzstück von Story2Board ist ein System namens main.py Python-Skript. Sie müssen es von der Kommandozeile aus mit einigen notwendigen Argumenten ausführen, die die zu erstellende Geschichte beschreiben.

Beschreibung der wichtigsten Parameter

• --subjectBezeichnen Sie die Hauptfigur der Geschichte. Diese Beschreibung ist von entscheidender Bedeutung, denn sie wird verwendet, um sicherzustellen, dass die Figur über alle Nebenhandlungen hinweg einheitlich ist. Zum Beispiel: "ein lächelnder Junge" oder "ein Fuchs mit glänzendem Fell und funkelnden Augen".
• --ref_panel_promptEine Beschreibung des Referenzbildschirms. Dies ist der Startbildschirm für die Geschichte und ist der Bezugspunkt für die Charakterisierung in allen folgenden Bildschirmen. Die Beschreibung muss die Szene und die Handlungen der Figur enthalten.
• --panel_promptsBeschreibung: Eine Beschreibung anderer, nachfolgender Splitscreens. Sie können eine oder mehrere Beschreibungen erstellen, die jeweils einer neuen Szene der Nebenhandlung entsprechen. In diesen Beschreibungen müssen Sie die detaillierten Eigenschaften des Protagonisten nicht wiederholt erwähnen, sondern nur seine neuen Handlungen und neuen Szenen beschreiben.
• --output_dirGibt den Pfad an, in dem die erzeugten Bilder und Protokolle gespeichert werden.

Verwendungsschritte

1. Konzeptualisierung Ihrer Geschichte
   Überlegen Sie sich zunächst eine einfache Geschichte und bestimmen Sie das Bild Ihrer Hauptfigur. Zerlegen Sie die Geschichte in einige wenige Schlüsselbilder.
2. Schreiben einer Befehlszeile
   Öffnen Sie das Terminal und stellen Sie sicher, dass Sie die story2board Umgebung. Schreiben Sie dann den Befehl in folgendem Format:

   python main.py --subject "你的主角描述" \
   --ref_panel_prompt "参考画面的描述" \
   --panel_prompts "第1个后续画面的描述" "第2个后续画面的描述" "第3个后续画面的描述" \
   --output_dir "保存结果的文件夹路径"
   

konkretes Beispiel

Schauen wir uns ein konkretes Beispiel für eine offizielle Geschichte an, in der ein magischer Fuchs vorkommt.

Protagonisten::fox with shimmering fur and glowing eyes (Ein Fuchs mit glitzerndem Fell und glotzenden Augen.)

Storyboards:

1. BezugsrahmenDer Fuchs ging in einen dämmrigen Wald und betrat einen moosbewachsenen Steinweg.
2. Bildschirm 2Der Fuchs sprang über einen umgestürzten Baum, unter dem eine wolkenverhangene Schlucht lag.
3. Bildschirm 3:: Der Fuchs sitzt auf einem zerbrochenen Torbogen aus altem Stein, der von Ranken und silbernem Moos umwuchert ist, mit Twilight im Hintergrund.
4. Bildschirm 4:: Fox beobachtet einen Meteoritenschauer vom Rand eines glühenden Sees aus, in dem sich die Sterne perfekt spiegeln.

Auf der Grundlage dieser Bildschirme können Sie die folgenden Befehle schreiben:

python main.py \
--subject "fox with shimmering fur and glowing eyes" \
--ref_panel_prompt "stepping onto a mossy stone path under twilight trees" \
--panel_prompts "bounding across a fallen tree over a mist-covered ravine glowing faintly with constellations" "perched atop a broken archway of ancient stone, vines and silver moss hanging down, the twilight sky glowing behind him" "watching a meteor shower from the edge of a luminous lake that reflects the stars perfectly" \
--output_dir outputs/magical_fox_story

3. Ergebnisse anzeigen
   Nach dem Ausführen des Befehls lädt das Programm automatisch die erforderlichen KI-Modelle herunter und beginnt mit der Bilderstellung. Dieser Vorgang kann je nach der Leistung Ihrer Hardware einige Zeit dauern.
   Sobald Sie das getan haben, können Sie die outputs/magical_fox_story Die erzeugten Split-Screen-Bilder befinden sich im Ordner. Das erste von ihnen ist ein Referenzbild, während die folgenden Bilder das Bild der Hauptfigur fortsetzen, aber verschiedene Szenen und Aktionen zeigen. Ebenfalls im Ordner gespeichert ist ein Protokoll mit den detaillierten Stichworten, die für die Erstellung jedes Bildes verwendet wurden, so dass Sie es leicht analysieren und reproduzieren können.

Mit diesem Verfahren können Sie mit Story2Board jede geschriebene Geschichte schnell visualisieren und ein kohärentes und ausdrucksstarkes Split-Screen-Skript erstellen.

Anwendungsszenario

1. Vorproduktion von Filmen und Animationen
   Regisseure und Drehbuchautoren können mit Story2Board Schlüsselszenen in ihren Drehbüchern schnell in visuelle Subplots umwandeln. Dies hilft den Teams, ihr Verständnis für die Komposition, die Atmosphäre und die Bewegung der Charaktere in der Szene im Voraus zu vereinheitlichen, was die Zeit und die Kosten für herkömmliche, von Hand gezeichnete Subplots erheblich reduziert.
2. Erstellung von Inhalten für Werbung und Marketing
   Werbetexter können mit diesem Tool schnell eine Reihe visueller Bilder aus einem Werbeskript oder einer Marketinggeschichte für interne Vorschläge oder Kundenkommunikation generieren, was eine intuitivere Darstellung des kreativen Effekts ermöglicht.
3. Roman- und Spielkonzeptdesign
   Romanautoren oder Spieledesigner können eine textliche Beschreibung der Handlung eingeben, um Konzeptzeichnungen für Charaktere oder Illustrationen von Schlüsselszenen zu erstellen, die den Lesern oder Entwicklungsteams helfen, sich die Welt in der Geschichte besser vorzustellen.
4. Bildung & Präsentation
   Lehrer oder Referenten können komplexe erzählerische Inhalte oder historische Geschichten mit Hilfe von anschaulich gestalteten Skripten visuell darstellen und so die Lehr- oder Präsentationsinhalte anschaulicher und leichter verständlich machen.

QA

1. Welche Arten von KI-Modellen verwendet Story2Board?
   Es handelt sich um ein Framework ohne Training, das mit fortgeschrittenen Text-to-Image-Modellen verwendet werden kann. Laut der offiziellen Dokumentation wird derzeit standardmäßig das folgende Basismodell verwendet FLUX.1-dev.
2. Fallen für die Nutzung dieses Tools zusätzliche Kosten an?
   Das Story2Board-Projekt selbst ist quelloffen und kostenlos. Es stützt sich jedoch auf ein leistungsfähiges Vincentian-Grafikmodell, das bei lokaler Ausführung leistungsstarke Computerhardware (insbesondere Grafikkarten und Speicher) erfordert. Wenn es auf einer Cloud-basierten Plattform ausgeführt wird, können entsprechende Kosten für Rechenressourcen anfallen.
3. Ist die Zeichenkonsistenz der erzeugten Bilder immer garantiert 100%?
   Das Tool verbessert die Zeichenkonsistenz durch Techniken wie die "latente Panelverankerung", die weitaus effektiver ist als herkömmliche Text-zu-Grafik-Tools. In sehr komplexen oder sich drastisch verändernden Szenarien können jedoch gelegentlich noch kleinere Unstimmigkeiten auftreten. Die Bereitstellung einer klaren, konkreten --subject Beschreibungen sind der Schlüssel zur Gewährleistung der Konsistenz.
4. Brauche ich Programmierkenntnisse, um es zu benutzen?
   Sie benötigen einige Grundkenntnisse der Befehlszeilenoperationen, um es zum Laufen zu bringen. Der Prozess umfasst das Klonen des Code-Repositorys, die Installation von Abhängigkeiten und die Ausführung von Python-Skripten. Aber Sie müssen den Code oder die Algorithmen dahinter nicht verstehen, folgen Sie einfach den Schritten in der Hilfe.
5. Wie lange dauert es ungefähr, ein geteiltes Bild zu erstellen?
   Die Generierungszeit hängt von Ihrer Hardwarekonfiguration (vor allem der GPU-Leistung), der Bildauflösung und der Komplexität der Geschichte ab. Auf einer gut konfigurierten Consumer-Grafikkarte kann die Erstellung eines Split-Skripts mit 4-5 Bildern einige Minuten dauern.