ERNIE 4.5

ERNIE 4.5 ist eine Open-Source-Familie großer Modelle, die von Baidu auf der Grundlage des PaddlePaddle-Frameworks entwickelt wurde und eine breite Palette von Modellen mit 0,3B bis 424B Parametern umfasst, die Textverarbeitung, Bilderzeugung und multimodale Aufgaben unterstützen. Das Projekt wird auf GitHub gehostet, wobei Hugging Face Modelldownloads und Community-Support bereitstellt und AIStudio Entwicklern eine Online-Schulungs- und Einsatzplattform bietet. ERNIE 4.5 nutzt die Mixed Expertise (MoE)-Architektur, um die Berechnungseffizienz für eine Vielzahl von Szenarien zu optimieren, von mobilen Geräten bis hin zu Hochleistungsservern. Das Modell übertrifft ähnliche Modelle bei Aufgaben wie mathematisches Denken, Befolgen von Anweisungen und Speichern von Weltwissen. PaddlePaddle bietet das ERNIEKit-Toolkit zur Unterstützung von Modelltraining, -komprimierung und -bereitstellung und senkt damit die Entwicklungsschwelle.

Funktionsliste

• Unterstützt multimodale Aufgaben und verarbeitet gemischte Text-, Bild- und visuell-verbale Eingaben.
• Es gibt eine breite Palette von Modellen mit Parametern von 0,3B bis 424B, die für unterschiedliche Hardware geeignet sind.
• Integration des ERNIEKit-Toolkits zur Unterstützung von Modelltraining, Feinabstimmung und Kompression.
• Bietet FastDeploy-Tools zur Optimierung der Inferenz und Bereitstellung großer Modelle.
• Unterstützt 8K langes Sequenztraining, geeignet für die Verarbeitung komplexer Aufgaben.
• Kompatibel mit Hugging Face Modell-Downloads zur Vereinfachung des Modellerwerbs.
• Über AIStudio steht eine Online-Entwicklungsumgebung zur Verfügung, die ein schnelles Experimentieren und einen schnellen Einsatz ermöglicht.

Hilfe verwenden

Installation und Konfiguration der Umgebung

Um ERNIE 4.5-Modelle zu verwenden, müssen Sie zunächst das PaddlePaddle-Framework und das ERNIEKit-Toolkit installieren. Im Folgenden finden Sie die detaillierten Installationsschritte:

1. Installieren von PaddlePaddle
   Wählen Sie die GPU- oder CPU-Version je nach Ihrer Hardwareumgebung. Führen Sie den folgenden Befehl zur Installation aus:

   # GPU 版本
   pip install --upgrade paddlepaddle-gpu
   # CPU 版本
   pip install --upgrade paddlepaddle
   

   Python 3.8 oder höher wird empfohlen, und stellen Sie sicher, dass Sie die neueste Version von pip auf Ihrem System installiert haben.

2. Installation des ERNIEKit
   Klonen Sie das ERNIE-Repository von GitHub und installieren Sie ERNIEKit:

   git clone https://github.com/PaddlePaddle/ERNIE.git
   cd ERNIE
   pip install -r requirements.txt
   

   ERNIEKit bietet Modelltraining und Kompression und kann nach der Installation direkt mit vorkonfigurierten Skripten verwendet werden.

3. Modelle herunterladen
   Das Modell ERNIE 4.5 kann von Hugging Face heruntergeladen werden. Das Modell 0.3B wird als Beispiel verwendet:

   huggingface-cli download baidu/ERNIE-4.5-0.3B-Paddle --local-dir baidu/ERNIE-4.5-0.3B-Paddle
   

   Nach dem Herunterladen werden die Modelldateien in einem bestimmten Verzeichnis für lokales Training oder Inferenz gespeichert.

4. Konfigurieren Sie die AIStudio-Umgebung (optional)
   Interviews AIStudioAIStudio bietet Cloud-Computing-Leistung mit vorinstalliertem PaddlePaddle für schnelle Tests und Bereitstellung.

Hauptfunktionen

1. die Modellausbildung

ERNIE 4.5 unterstützt die überwachte Feinabstimmung (SFT) für sehr lange Sequenzen (8K). Nehmen Sie das Modell 0.3B als Beispiel und führen Sie den folgenden Befehl aus:

erniekit train examples/configs/ERNIE-4.5-0.3B/sft/run_sft_8k.yaml

Konfigurationsdatei run_sft_8k.yaml Enthält Modellparameter und Trainingseinstellungen und befindet sich im GitHub-Repository unter examples/configs Katalog. Die Benutzer können die Lernrate, die Stapelgröße und andere Parameter nach Bedarf ändern. Für das Training ist ein Grafikprozessor mit mindestens 16 GB Videospeicher erforderlich, empfohlen wird NVIDIA A100 oder höher.

2. multimodale Aufgabenstellung

ERNIE 4.5 unterstützt gemischte Text- und Bildeingaben, die sich für die Generierung grafischer Inhalte eignen. Verwenden Sie z. B. das Modul ERNIE-ViLG für die Generierung von Text in Bild:

import paddlehub as hub
module = hub.Module(name="ernie_vilg")
results = module.generate_image(text_prompt=["一片宁静的湖泊"], style="landscape")

Die Benutzer müssen PaddleHub zuerst installieren:

pip install --upgrade paddlehub

Das erzeugte Ergebnis wird als Bilddatei gespeichert, die sich für kreative Werbung, Kunstdesign und andere Szenarien eignet.

3. modellhafte Schlussfolgerungen und Einsatz

Das FastDeploy-Tool optimiert die Leistung der Modellinferenz und unterstützt die 4-Bit/2-Bit-Quantisierung. Führen Sie den folgenden Befehl aus, um das Modell einzusetzen:

fastdeploy --model baidu/ERNIE-4.5-0.3B-Paddle --device gpu --quantize q4

Nach der Bereitstellung kann das Modell auf Geräten mit geringen Ressourcen wie einem Raspberry Pi ausgeführt werden, die sich für Edge-Computing-Szenarien eignen.

4. online Entwicklung mit AIStudio

Auf der AIStudio-Plattform können Entwickler ERNIE 4.5-Modelle direkt laden, Datensätze hochladen und Trainingsaufgaben durchführen. Die Plattform bietet eine visuelle Schnittstelle, um die Abstimmung der Hyperparameter und die Modellbewertung zu vereinfachen. Die Benutzer können die nachstehenden Schritte befolgen:

• Melden Sie sich bei AIStudio an und erstellen Sie ein neues Projekt.
• Wählen Sie das Modell ERNIE 4.5 und importieren Sie den Datensatz.
• Führen Sie eine Trainings- oder Inferenzaufgabe mithilfe einer vorgefertigten Vorlage aus, um Echtzeitprotokolle und Ergebnisse anzuzeigen.

Ausgewählte Funktionen

• Architektur der gemischten Kompetenz (MoE)Die MoE-Modelle von ERNIE 4.5 (z. B. 300B-A47B) verbessern die Leistung bei multimodalen Aufgaben durch eine Kombination aus gemeinsam genutzten und dedizierten Parametern. Im Vergleich zu herkömmlichen dichten Modellen reduziert die MoE-Architektur die Rechenkosten, indem nur einige der Parameter während der Inferenz aktiviert werden.
• Unterstützung langer Sequenzen8K Sequenzlänge zur Unterstützung der Verarbeitung komplexer Dokumente und des Dialogs in mehreren Runden, geeignet für Aufgaben wie die Analyse juristischer Dokumente und die Erstellung langer Geschichten.
• Effizienter EinsatzFastDeploy bietet parallele Zusammenarbeit mehrerer Experten und Quantifizierungstechniken, um sicherzustellen, dass die Modelle auch auf einfacher Hardware effizient laufen. So kann beispielsweise ein 0,3B-Modell auf einem Raspberry Pi mit 16 GB RAM ausgeführt werden.

caveat

• Stellen Sie sicher, dass die Hardware die Mindestanforderungen erfüllt (Details finden Sie in der Dokumentation im GitHub-Repository).
• Schauen Sie regelmäßig nach Updates auf Hugging Face und GitHub, um die neuesten Modelle und Tools zu erhalten.
• AIStudio bietet kostenloses Rechnen an, aber Aufgaben mit hoher Belastung erfordern möglicherweise ein kostenpflichtiges Upgrade.

Anwendungsszenario

1. akademische Forschung
   Forscher können ERNIE 4.5 verwenden, um wissenschaftliche Arbeiten zu bearbeiten, Zusammenfassungen zu erstellen oder fachliche Fragen zu beantworten. Das Modell unterstützt lange sequentielle Eingaben und kann komplexe Dokumente analysieren, um die Forschungseffizienz zu verbessern.
2. Erstellung von Inhalten
   Ersteller von Inhalten können die multimodale Funktion nutzen, um Werbematerial oder Inhalte für soziale Medien zu erstellen, die Grafiken und Text kombinieren. Geben Sie z. B. eine Textbeschreibung ein, um ein Bild zu generieren, das dem Stil einer Marke entspricht.
3. Einsatz von Edge-Geräten
   Entwickler können das 0.3B-Modell auf mobilen oder IoT-Geräten einsetzen, um Offline-Sprachassistenten oder Textverarbeitungsfunktionen für netzlose Umgebungen zu implementieren.
4. Unternehmensanwendungen
   Unternehmen können mit AIStudio schnell maßgeschneiderte KI-Lösungen wie Chatbots für den Kundenservice oder Datenanalysetools erstellen und so die Entwicklungskosten senken.

QA

1. Welche Hardware wird von ERNIE 4.5 unterstützt?
   ERNIE 4.5 bietet eine breite Palette von Modellgrößen, von 0,3B-Modellen, die auf Low-End-Geräten wie dem Raspberry Pi laufen, bis hin zu großen Modellen (z. B. 424B), die leistungsstarke GPUs (z. B. NVIDIA A100) erfordern.
2. Wie erhalte ich die neuesten Modelle?
   Laden Sie die neuesten Modelle über Hugging Face herunter, oder laden Sie bereits trainierte Modelle direkt von der AIStudio-Plattform. Prüfen Sie regelmäßig das GitHub-Repository auf Aktualisierungsprotokolle.
3. Ist AIStudio kostenlos?
   AIStudio bietet kostenlose Grundrechenarten für kleine Experimente. Leistungsstarke Aufgaben erfordern den Kauf zusätzlicher Arithmetik, für Preise siehe AIStudio Offizielle Website.
4. Was sind die Vorteile des ERNIE 4.5 gegenüber anderen Modellen?
   ERNIE 4.5 zeichnet sich bei multimodalen Aufgaben und mathematischen Schlussfolgerungen aus und übertrifft in einigen Benchmarks DeepSeek und Qwen3. Die MoE-Architektur verbessert die Effizienz in verschiedenen Szenarien.