CyberSmart: Umwandlung von Text in Sprache und Digital Human Video

Xunfei Zhizuo ist eine von Xunfei entwickelte Plattform, die Dienste zur Erstellung von Inhalten mit künstlicher Intelligenz anbietet. Ihre Kernfunktion besteht darin, vom Benutzer eingegebenen Text in Sprache umzuwandeln, ein Prozess, der oft als "KI-Synchronisation" oder "Sprachsynthese" bezeichnet wird. Die Benutzer können aus einer Vielzahl vorprogrammierter virtueller Stimmen (d. h. "Moderatoren") mit verschiedenen Stilen wählen, wie z. B. Nachrichtensendungen, Film- und Fernsehkommentare oder witzige Beiträge, um verschiedene Anwendungsszenarien abzudecken.

Neben der reinen Audiogenerierung kann die Xunfei Intelligent Work Platform auch Text und Voiceover kombinieren, um Videos zu generieren, die von "AI digital people" ausgestrahlt werden. Die Nutzer müssen nur den Text bereitstellen und können schnell ein virtuelles Sprechervideo erstellen, ohne dass eine reale Person vor der Kamera erscheinen muss. Die Plattform integriert den gesamten Prozess von der Texterstellung über die Vertonung bis hin zum Video und bietet damit ein Tool, das die Kosten senken und die Effizienz von Nutzern verbessern kann, die Werbevideos, Lehrvideos, Kurzvideos und andere Inhalte in Massenproduktion herstellen müssen. Sie nutzt die Technologie von KDDI in den Bereichen Spracherkennung, Verarbeitung natürlicher Sprache und Bilderzeugung.

Funktionsliste

• AI-SynchronisationText eingeben, Lieblingsstimme und Hintergrundmusik auswählen, um schnell eine Synchronisation zu erstellen. Es unterstützt die Anpassung der Geschwindigkeit, Ton und Lautstärke der Sprache, und kann mehrstimmige Wörter und die korrekte Aussprache der englischen Wörter einfügen.
• Digimon-VideoEingabe von Text, Auswahl eines virtuellen KI-Ankerbildes, das System generiert automatisch das Ankervideo. Unterstützung der Anpassung der Anker Bild, Kleidung und Hintergrund.
• TonwiedergabeBenutzer können ihre eigenen Stimmproben hochladen, und die Plattform ist in der Lage, eine exklusive Stimme zu klonen, die dem Timbre des Benutzers ähnelt, um sie anschließend zu synchronisieren.
• SynchronisationEs unterstützt die Zuweisung verschiedener AI-Anker zur Vertonung verschiedener Absätze in derselben Datei, was die Erstellung von Audio in Form von Dialogen erleichtert.
• Video-VorlagenBietet eine Vielzahl von voreingestellten Videovorlagen, die der Benutzer schnell auf das generierte digitale menschliche Video anwenden kann, um ein komplettes Video mit grafischer Verpackung zu erstellen.
• intelligente UntertitelungUntertitel können automatisch generiert und an den Videoinhalt angepasst werden, während das Video generiert wird.
• AIGC-WerkzeugkastenIntegration anderer KI-Tools zur Unterstützung der Benutzer bei der Erstellung von Inhalten.

Hilfe verwenden

Cyberoam ist ohne Installation verfügbar und kann direkt über einen Browser auf der offiziellen Website verwendet werden. Der Hauptbetrieb konzentriert sich auf zwei Kernfunktionen: "AI Voiceover" und "Digital Human Video".

Arbeitsablauf der AI-Kopierfunktion

Ziel der KI-Vertonung ist es, Texttranskripte direkt in qualitativ hochwertige Audiodateien umzuwandeln.

1. Erstellen eines Voiceover-Projekts
   • Besuchen Sie die Website von Xunfei Intelligent Work und klicken Sie auf die Schaltfläche "AI Dubbing" oder "Create Now" in der Hauptschnittstelle.
   • Wenn Sie die Voiceover Workbench aufrufen, werden Sie aufgefordert, ein neues Projekt zu erstellen.
2. Eingeben oder Importieren von Text
   • Im Textbearbeitungsbereich in der Mitte der Werkbank können Sie die zu übersetzende Abschrift direkt eingeben oder einfügen.
   • Wenn der Text lang ist, können Sie die Funktion导入文档Funktionen zur Unterstützung.txtund.docxund andere Formate.
3. Auswahl eines AI-Ankers
   • Auf der rechten Seite der Workbench befindet sich das Panel "Ankerauswahl". Hier werden Hunderte von verschiedenen KI-Stimmen, sogenannte "Anker", angezeigt.
   • Sie können Moderatoren nach Tags wie Sprache (Mandarin, Dialekt, Fremdsprache), Stil (z. B. Nachrichten, Werbung, Fiktion, Kundendienst) oder Geschlecht filtern.
   • Klicken Sie auf den Avatar eines Sprechers, um den Ton dieses Sprechers zu hören. Wählen Sie einen Moderator, der Ihrer Meinung nach am besten zum Stil des Manuskriptinhalts passt.
4. Feinabstimmung
   • Multi-Anker-VoiceoverWenn Ihr Text die Form eines Dialogs hat, können Sie einen Absatz auswählen und ihm einen bestimmten Anker zuweisen. Auf diese Weise kann ein Textabschnitt mehrere "Personen" im Dialog haben.
   • Pause (in der Rede)Wenn eine Pause erforderlich ist, klicken Sie auf das Symbol in der Symbolleiste插入停顿können Sie die Dauer der Stummschaltung von 0,1 bis zu mehreren Sekunden einstellen, um einen natürlicheren Sprechrhythmus zu erreichen.
   • Anpassung der AusspracheBei mehrstimmigen Zeichen kann das System diese in der Regel automatisch anhand des Kontexts bestimmen, sie können aber auch manuell korrigiert werden. Wählen Sie ein chinesisches Zeichen und verwenden Sie多音字um das richtige Pinyin auszuwählen. Für Zahlen oder Englisch ist es auch möglich, das richtige Pinyin im Menü数字/英文Funktion, um festzulegen, wie sie gelesen wird (z. B. ob sie als numerischer Wert oder als Zahlenfolge gelesen wird).
   • Einstellen der Geschwindigkeit/des Tons der StimmeIm rechten Bereich können Sie die Gesamtgeschwindigkeit (Sprechgeschwindigkeit) und das Niveau (Intonation) der erzeugten Sprache einstellen.
5. Hintergrundmusik hinzufügen
   • Klicken Sie unten im Bereich "Hintergrundmusik" auf "Musik hinzufügen", um aus der Musikbibliothek der Plattform auszuwählen oder Ihre eigenen Musikdateien hochzuladen.
   • Die Lautstärke der Hintergrundmusik kann so eingestellt werden, dass sie den Gesang nicht überdeckt.
6. Generieren und Exportieren
   • Nachdem Sie alle Einstellungen vorgenommen haben, klicken Sie auf die Schaltfläche "Start Synthesis" oder "Audition", und das System erzeugt schnell ein kleines Stück Audio zur Vorschau.
   • Nachdem Sie bestätigt haben, dass Sie mit dem Ergebnis zufrieden sind, klicken Sie auf "Vollständiges Audio generieren". Nach der Generierung finden Sie das Audio in Ihrem persönlichen Arbeitsbereich und können es exportieren als.mp3oder andere Formate.

II. die Arbeitsweise der digitalen menschlichen Videofunktion

Die Funktion fügt der KI-Synchronisation Avatare hinzu, um direkt Videos zu erzeugen.

1. Auswählen des Videoproduktionsmodus
   • Wählen Sie "Digital People Video" oder das entsprechende Portal auf der Startseite der offiziellen Website.
   • Die Plattformen bieten in der Regel zwei Modi an: zum einen die Verwendung der voreingestellten Vorlagen der Plattform (für Einsteiger empfohlen) und zum anderen die freie Gestaltung.
2. Auswahl der digitalen Persona und Szenarien
   • Um auf die Video-Workbench zuzugreifen, wählen Sie zunächst ein Bild einer "digitalen Person" auf der rechten Seite aus. Die Plattform bietet eine große Auswahl an Avataren mit verschiedenen Stilen, Berufen und Altersgruppen.
   • Als nächstes wählen Sie einen Hintergrund für Ihre digitale Person. Es kann ein einfarbiger Hintergrund, ein Bildhintergrund oder eine voreingestellte Szene wie ein Studio oder ein Büro sein. Sie können auch Ihr eigenes Bild oder Video als Hintergrund hochladen.
3. Eingabe Treiber Text
   • Wie beim AI-Voiceover geben Sie Ihren Videotext in das Textfeld ein. Der Text wird sowohl für die Erstellung des Voiceovers als auch für die Steuerung des Mundstücks des Digitalisierers verwendet.
   • An diesem Punkt müssen Sie ebenfalls eine geeignete KI-Ankerstimme für diesen Text auswählen. Diese Stimme wird die Stimme Ihrer digitalen Person sein.
4. Anordnen des Videobildschirms
   • CyberSmartWorks bietet eine Zeitleistenschnittstelle, die einer Videobearbeitungssoftware ähnelt.
   • Sie können "Aufkleber", "Text" und andere Elemente auf dem Bildschirm hinzufügen und die Zeit für ihr Erscheinen und Verschwinden festlegen.
   • Wenn Sie möchten, können Sie auch Ihre eigenen Bilder oder Videoclips hochladen und sie in das Filmmaterial der Digital Man-Sendung einstreuen, um den Videoinhalt zu bereichern.
5. Vorschau und Erzeugung
   • Wenn Sie die Bearbeitung abgeschlossen haben, klicken Sie auf die Schaltfläche "Vorschau" und das System zeigt eine kleine Vorschau des Videos an. Überprüfen Sie die Genauigkeit von Mund, Stimme und Bildschirmelementen der digitalen Person.
   • Nachdem Sie bestätigt haben, dass keine Fehler vorliegen, klicken Sie auf "Vollständiges Video generieren". Das Rendern des Videos wird je nach Komplexität und Länge des Videos einige Zeit in Anspruch nehmen.
   • Sobald Sie fertig sind, können Sie die endgültige Fassung in Ihr persönliches Kunstwerk herunterladen.mp4Video-Datei.

Anwendungsszenario

1. Erstellung kurzer Videoinhalte
   Einzelne Blogger oder Marketingteams können schnell eine große Anzahl von Videos mit gesprochenen Worten erstellen, z. B. Wissenswissen, Produkteinführungen, Filmkommentare usw. Es genügt, den Text vorzubereiten und die reale Person durch eine digitale KI zu ersetzen, die in dem Film auftritt.
2. Unternehmenskommunikation und Ausbildung
   Unternehmen können damit internes Schulungsmaterial, Videos zur Präsentation von Richtlinien oder Unternehmensnachrichten für die externe Veröffentlichung produzieren. Die Verwendung einer einheitlichen digitalen Persona und Stimme hilft, ein standardisiertes Markenimage zu entwickeln und gleichzeitig die Kosten für die Einstellung von Schauspielern und Filmteams zu senken.
3. Produktion von Lernsoftware
   Lehrkräfte oder Bildungseinrichtungen können die Plattform nutzen, um schriftliche Unterrichtspläne schnell in Hörbücher oder Lehrvideos umzuwandeln. Dies ist besonders nützlich für das Erlernen von Sprachen, das Erzählen historischer Geschichten und andere Szenarien, bei denen anschauliche Audio- und Videoformate für die Schüler attraktiver sind als einfacher Text.
4. Ausstrahlung und Benachrichtigung von Anzeigen
   Einkaufszentren, U-Bahnen, Online-Shops und andere Orte können schnell Audio-Werbung oder Service-Benachrichtigungen für Werbeaktionen erzeugen. Die kostengünstigen und hocheffizienten Vorteile der KI-Synchronisation sind offensichtlich, wenn es um Szenarien geht, die häufige Inhaltsänderungen erfordern.

QA

1. Ist Cyberwisdom kostenlos?
   Die Plattform bietet eine kostenlose Testversion an, mit der die Nutzer die grundlegenden Synchronisations- und Videoerstellungsfunktionen ausprobieren können. Die kostenlose Version ist jedoch in Bezug auf die Anzahl der verfügbaren Anker, die Qualität und Länge der exportierten Dateien begrenzt und kann mit einem Wasserzeichen versehen sein. Für den Zugriff auf mehr Premium-Anker, hochwertigere Audio- und Videoausgaben und längere Produktionsdauern ist eine Mitgliedschaft erforderlich.
2. Sind die erzeugten Sounds und Videos im Handel erhältlich?
   Das hängt davon ab, welches Mitgliedschaftspaket Sie erwerben. In der Regel sind die Audio- und Videoinhalte, die mit der kostenpflichtigen kommerziellen Version der Mitgliedschaft erstellt werden, für die kommerzielle Nutzung zugelassen. Bei der kommerziellen Nutzung von Inhalten, die mit der kostenlosen oder persönlichen Version erstellt wurden, besteht die Gefahr, dass das Urheberrecht verletzt wird, und Sie müssen die Dienstvereinbarung der Plattform sorgfältig lesen, bevor Sie sie nutzen.
3. Kann ich meine eigene Stimme nachsingen?
   Sie können. Xunfei Zhizuo bietet eine "Sprachreplikationsfunktion". Sie müssen den Aufforderungen folgen und einen bestimmten Text aufnehmen (in der Regel sind Dutzende bis Hunderte von Sätzen erforderlich). Die Plattform verwendet diese Aufnahmen, um ein KI-Stimmenmodell zu trainieren, das Ihr Timbre nachahmt. Anschließend können Sie diese "geklonte" Stimme beim Synchronisieren auswählen.
4. Stimmen Mund und Stimme des Digimon-Videos genau überein?
   In den meisten Fällen ist die Synchronisation zwischen Mundform und Stimme relativ genau. Eine der Kerntechnologien der Plattform ist die Lippenvorhersage, die die Mundbewegungen des Avatars auf der Grundlage der Aussprache steuert. Bei einigen schnellen oder komplexen Wortkombinationen kann es jedoch gelegentlich zu geringfügigen Abweichungen kommen, die durch Anpassung der Pausen und der Geschwindigkeit des Textes optimiert werden können.