ShortGPT: ein KI-Framework für die automatische Erstellung von Kurzvideos

ShortGPT ist ein Open-Source-Framework für künstliche Intelligenz zur Automatisierung der Erstellung von Videoinhalten. Seine Hauptfunktion ist die Rationalisierung des gesamten Prozesses der Videoproduktion, einschließlich des Schreibens von Drehbüchern, des Sammelns von Filmmaterial, der Sprachsynthese, der Erzeugung von Untertiteln und des Videoschnitts. Das Framework versteht und führt Schnittbefehle durch groß angelegte Sprachmodellierung (LLM) aus, kann automatisch Bilder und Videoclips aus dem Internet finden und integriert ähnliche ElevenLabs oder die Microsoft EdgeTTS-Technologie, um natürlich klingende Kommentare zu erzeugen. ShortGPT wurde entwickelt, um Erstellern von Inhalten, insbesondere solchen, die automatisierte Kanäle auf Plattformen wie YouTube und TikTok betreiben, zu helfen, Videos in großen Mengen schnell und effizient zu produzieren. Es bietet verschiedene Arbeitsmodule für kurze und lange Videos sowie ein Funktionsmodul für die Übersetzung und Synchronisierung bestehender Videos.

Funktionsliste

• Rahmen für automatisierte BearbeitungRationalisierung des Videoerstellungsprozesses mit einer Videobearbeitungssprache, die sich am Large Language Model (LLM) orientiert.
• mehrsprachige VertonungIntegration mit ElevenLabs und Microsoft EdgeTTS unterstützt die Sprachsynthese in mehr als 30 Sprachen, um natürlich klingende Texte zu erzeugen.
• Online-Zugang zum MaterialKann automatisch Videomaterial von Websites wie Pexels abrufen oder bei Bing Images nach Bildern suchen, um visuelles Material für Videoinhalte bereitzustellen.
• Automatische Generierung von Untertiteln:: Automatisches Erstellen und Hinzufügen von Untertiteln zu produzierten Videos.
• Videoübersetzung und -synchronisation: bietet eine spezialisierte Übersetzungsmaschine, die den Inhalt eines Videos (per Datei oder YouTube-Link) transkribiert, übersetzt, in der Zielsprache neu synchronisiert und schließlich eine komplett neue mehrsprachige Version des Videos erstellt.
• Skripte und StichwörterDas Framework verfügt über eine breite Palette integrierter Skripte und Cues, die direkt für verschiedene automatisierte Videobearbeitungsaufgaben verwendet werden können.
• AnpassungsmöglichkeitenBenutzer können es an ihre Bedürfnisse anpassen, z. B. eine Sprache für die Sprachausgabe wählen oder ein eigenes Wasserzeichen in das Video einfügen.
• Persistenz der DatenTinyDB: Verwenden Sie TinyDB, um sicherzustellen, dass Variablen und Einstellungen aus dem automatischen Bearbeitungsprozess über die Zeit erhalten bleiben.

Hilfe verwenden

ShortGPT ist ein leistungsfähiges KI-Framework zur Videoautomatisierung, das Sie auf zwei Arten nutzen können: Sie können es auf Google Colab oder lokal über eine Docker-Umgebung ausführen. Google Colab wird offiziell für Anfänger oder Benutzer empfohlen, die keine komplexe Umgebung auf ihrem eigenen Computer konfigurieren möchten.

Methode 1: Google Colab verwenden (empfohlen)

Dies ist der einfachste und schnellste Weg, ohne dass irgendwelche Abhängigkeiten lokal installiert werden müssen.

1. Öffnen Sie das Colab-Notizbuch.Erstens benötigen Sie ein Google-Konto. Dann besuchen Sie direkt den offiziellen Google Colab-Link:https://colab.research.google.com/drive/1_2UKdpFqxCqWaAcZb3rwMVQqtbisdE?usp=sharing.
2. Sequentielle Ausführung von CodeeinheitenWenn Sie die Seite öffnen, sehen Sie eine Reihe von Codezellen. Sie müssen nur jede Zelle der Reihe nach von oben nach unten durchlaufen. Klicken Sie auf die Schaltfläche "Abspielen" links neben jeder Zelle, oder wählen Sie die Zelle aus und verwenden Sie die Tastenkombinationen Shift+Enter durchzuführen.
3. Konfigurieren des API-SchlüsselsWährend der Ausführung wird das Programm Sie auffordern, einige API-Schlüssel einzugeben, z. B. OpenAI, ElevenLabs usw. Sie müssen das Konto dieser Dienste registrieren und den Schlüssel im Voraus erhalten, dann füllen Sie das entsprechende Eingabefeld aus.
4. Starten der WebschnittstelleWenn alle Zellen erfolgreich ausgeführt worden sind, wird ein öffentlicher Link zur Gradio-Schnittstelle generiert. Wenn Sie auf diesen Link klicken, können Sie die grafische Benutzeroberfläche von ShortGPT in Ihrem Browser verwenden.

Methode 2: Lokale Ausführung mit Docker

Wenn Sie ShortGPT auf Ihrem eigenen Computer mit einem höheren Maß an Kontrolle ausführen möchten, können Sie Docker verwenden, was ein grundlegendes Verständnis der Kommandozeile und von Docker voraussetzt.

1. Installation von DockerStellen Sie zunächst sicher, dass Sie Docker auf Ihrem Computer installiert haben. Sie können eine Version für Ihr Betriebssystem (Windows, macOS oder Linux) von der Docker-Website herunterladen und die Installation abschließen.
2. ShortGPT-Projektdatei herunterladen:
   • Öffnen Sie das Kommandozeilenprogramm (Terminal).
   • Klonen Sie das Projekt-Repository mit git:

     git clone https://github.com/RayVentura/ShortGPT.git
     

   • Rufen Sie den Projektkatalog auf:

     cd ShortGPT
     

3. Umgebungsvariablen konfigurieren:
   • Im Stammverzeichnis des Projekts finden Sie eine Datei namens .env.example des Dokuments.
   • Erstellen Sie eine Kopie dieser Datei und benennen Sie sie um .env.
   • zeigen (eine Eintrittskarte) .env Datei mit Ihrem eigenen API-Schlüssel, zum Beispiel OPENAI_API_KEY im Gesang antworten ELEVENLABS_API_KEY.
4. Aufbau und Betrieb von Docker-Containern:
   • Führen Sie im Stammverzeichnis des Projekts den folgenden Befehl aus, um das Docker-Image zu erstellen. Dieser Vorgang kann einige Zeit in Anspruch nehmen, da er das Herunterladen und Installieren aller Abhängigkeiten erfordert.

     docker build -t short_gpt_docker:latest .
     

   • Sobald der Build abgeschlossen ist, verwenden Sie den folgenden Befehl, um den Container zu starten:

     docker run -p 31415:31415 --env-file .env short_gpt_docker:latest
     

5. Zugriff auf die WebschnittstelleNachdem der Container erfolgreich ausgeführt wurde, öffnen Sie Ihren Browser und besuchen Sie die Seite http://localhost:31415. Sie sehen dann die gleiche Gradio-Oberfläche wie die Colab-Version und können mit der Erstellung von Videos beginnen.

Kernfunktion Betriebsablauf

ShortGPT unterteilt die verschiedenen Aufgaben der Videoerstellung in drei Hauptmodule:

• ContentShortEngine (Kurzes Video Motor)Entwickelt für die Erstellung kurzer YouTube-Kurzfilme oder Videos im TikTok-Stil. Der Arbeitsablauf ist in der Regel wie folgt: Empfangen Sie ein Thema oder Skript -> Generieren Sie einen Audiokommentar -> Suchen Sie automatisch nach passenden Hintergrundvideoclips oder -bildern -> Fügen Sie das Filmmaterial und den Ton zu einem kurzen Video zusammen -> Fügen Sie automatisch Untertitel hinzu -> Abschließend können Sie sogar Metadaten wie den Titel und die Beschreibung des Videos generieren.
• ContentVideoEngine (Langer Videomotor):: Dient zur Erstellung von Videos in Standardlänge. Der Prozess ist ähnlich wie bei der Kurzvideo-Engine, konzentriert sich aber mehr auf die Bearbeitung längerer Skripte, die Erzeugung längerer Audios und die Ausrichtung von Videomaterial und Untertiteln über eine längere Zeitspanne.
• ContentTranslationEngine (Video Translation Engine)Dies ist eine ganz besondere Funktion. Sie können eine vorhandene Videodatei oder einen YouTube-Link zur Verfügung stellen und das Programm erkennt automatisch den Sprachinhalt im Video, wandelt ihn in Text um, übersetzt den Text in eine Zielsprache Ihrer Wahl, erstellt eine neue Synchronisation in dieser Sprache und generiert schließlich eine Version des Videos mit der neuen Synchronisation und den übersetzten Untertiteln.

In der Weboberfläche können Sie je nach Bedarf die zu verwendende Engine auswählen und die entsprechenden Informationen (z. B. Videothema, Sprache, Synchronisationsstil usw.) entsprechend den Aufforderungen eingeben, dann die Aufgabe starten und warten, bis die KI das Video fertiggestellt hat.

Anwendungsszenario

1. Automatisierung von Inhalten in sozialen Medien
   Nutzer, die kontinuierlich Kurzvideos auf Plattformen wie YouTube Shorts, TikTok oder Instagram Reels veröffentlichen müssen, können mit ShortGPT ein Thema einrichten und den gesamten Prozess der Skripterstellung, Materialsammlung, Vertonung und Bearbeitung automatisieren, um die Produktion der Inhalte zu automatisieren und so viel Zeit und Arbeitskraft zu sparen.
2. Verteilung mehrsprachiger Inhalte
   Wenn ein Videoersteller seine Inhalte in verschiedenen Sprachen veröffentlichen möchte, kann er die ContentTranslationEngine verwenden. Geben Sie einfach einen Link zum Originalvideo an, und ShortGPT generiert das Video automatisch in mehreren Sprachen, z. B. Spanisch, Französisch oder Japanisch, mit den entsprechenden Voice-Overs und Untertiteln, um das Publikum schnell zu erweitern.
3. Schnelles Erstellen informativer Videos
   Für Szenarien, die die Produktion einer großen Anzahl von Wissenserklärungen, Produkteinführungen oder Nachrichtenvideos erfordern, können die Ersteller nur das Transkript bereitstellen und ShortGPT verwenden, um es automatisch mit visuellem Material abzugleichen und einen Kommentar zu generieren, wodurch der Textinhalt schnell in ein informationsreiches Video verwandelt wird.
4. Lokalisierung von Videoinhalten
   Unternehmen oder Bildungseinrichtungen müssen häufig Schulungsmaterialien oder Werbevideos lokalisieren, wenn sie weltweit werben wollen. ShortGPT kann als effizientes Tool zur Übersetzung und Anpassung dieser Videomaterialien an die Sprache des Zielmarktes eingesetzt werden, wodurch die Kosten und die Komplexität der Lokalisierung reduziert werden.

QA

1. Ist ShortGPT kostenlos?
   ShortGPT selbst ist ein Open-Source-Framework, die Nutzung der Software ist also kostenlos. Allerdings muss es während des Betriebs einige API-Dienste von Drittanbietern aufrufen, z. B. OpenAI (GPT-Modell) für die Skripterzeugung und ElevenLabs für die Sprachsynthese, die möglicherweise kostenpflichtig sind. Es unterstützt jedoch auch die Verwendung des kostenlosen Sprachdienstes EdgeTTS von Microsoft.
2. Muss ich programmieren können, um ShortGPT zu benutzen?
   Nicht unbedingt. Wenn Sie die offiziell empfohlene Google Colab-Methode verwenden, brauchen Sie im Grunde keinen Code zu schreiben, sondern müssen nur auf Ausführen klicken und einige notwendige Informationen eingeben. Wenn Sie sich für eine lokale Installation über Docker entscheiden, sind einige Grundkenntnisse der Befehlszeilenoperationen erforderlich.
3. Welche Sprachen werden von ShortGPT unterstützt?
   Es unterstützt eine sehr breite Palette von Sprachen. Mithilfe von Sprachsynthesediensten wie ElevenLabs und EdgeTTS unterstützt ShortGPT Voiceover und die Erstellung von Inhalten in mehr als 30 Sprachen, darunter Englisch, Spanisch, Französisch, Deutsch, Chinesisch, Japanisch, Koreanisch, Hindi und mehr.
4. Gibt es urheberrechtliche Probleme mit dem erzeugten Videomaterial?
   ShortGPT bezieht seine Videos und Bilder hauptsächlich von Websites, die kostenloses Filmmaterial anbieten, wie z. B. Pexels. Die Inhalte auf diesen Plattformen erlauben in der Regel sowohl die kommerzielle als auch die nicht-kommerzielle Nutzung. Dennoch wird den Nutzern empfohlen, die Lizenzvereinbarungen für das jeweilige Bildmaterial vor der Verwendung selbst zu prüfen, um mögliche urheberrechtliche Risiken zu vermeiden.