Ruyi-Modelle: Generieren Sie Open-Source-Modelle für Bild und Video, die Objektivsteuerung und Bewegungsamplitudensteuerung unterstützen.

Ruyi-Models ist ein Open-Source-Projekt zur Erzeugung von Videos in hoher Qualität aus Bildern. Das vom IamCreateAI-Team entwickelte Projekt unterstützt die Generierung von Videos in Kinoqualität mit einer Auflösung von 768 und 24 Bildern pro Sekunde für insgesamt 5 Sekunden und 120 Bilder. Ruyi-Models unterstützt Shot-Control und Motion-Control und kann mit RTX 3090- oder RTX 4090-Grafikkarten verlustfreie Videos mit einer Auflösung von 512 und 120 Bildern (oder 768 und etwa 72 Bildern) generieren. Das Projekt bietet detaillierte Installations- und Das Projekt bietet detaillierte Installations- und Nutzungsanweisungen für verschiedene Benutzeranforderungen.

Offizielle Website: https://www.iamcreate.ai/

Funktionsliste

• Bild-zu-Video-Generierung: Generieren Sie hochwertige Videos in Kinoqualität.
• Objektivsteuerung: Unterstützung von Links/Rechts, Oben/Unten und statischer Steuerung des Objektivs.
• Bewegungsamplitudensteuerung: Unterstützt verschiedene Amplituden der Bewegungssteuerung.
• GPU-Speicheroptimierung: Bietet eine Vielzahl von GPU-Speicheroptimierungsoptionen, um den Anforderungen verschiedener Benutzer gerecht zu werden.
• Mehrere Montageoptionen: Unterstützung für die Installation über ComfyUI Manager und manuelle Installation.
• Modell-Download: Unterstützt automatischen und manuellen Modell-Download.

Hilfe verwenden

Einbauverfahren

1. Klonen Sie das Repository und installieren Sie die erforderlichen Abhängigkeiten:

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd Ruyi-Models
   pip install -r requirements.txt
   

2. Für ComfyUI-Benutzer:
   • Methode 1: Installation über den ComfyUI Manager.

Starten Sie ComfyUI und öffnen Sie den Manager, wählen Sie Custom Nodes Manager und suchen Sie nach "Ruyi". Wählen Sie ComfyUI-Ruyi im Suchergebnis (wie im Screenshot unten gezeigt) und klicken Sie auf "Installieren", um es zu installieren.

Suchen Sie schließlich nach "ComfyUI-VideoHelperSuite" und installieren Sie es.

1. • Methode 2: Manuelle Installation:

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r Ruyi-Models/requirements.txt
     

2. Installieren Sie ComfyUI-VideoHelperSuite, um die Videoausgabe anzuzeigen:

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. Für Windows-Benutzer:
   • Verwenden Sie die Distribution ComfyUI_windows_portable_nvidia:

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ..\..\python_embeded\python.exe -m pip install -r Ruyi-Models/requirements.txt
     

Verwendung

1. Laden Sie das Modell herunter und speichern Sie es unter dem angegebenen Pfad:
   • Laden Sie zum Beispiel das Modell Ruyi-Mini-7B herunter und speichern Sie es im Verzeichnis Ruyi-Models/models Ordner.
   • Für ComfyUI-Benutzer sollte der Pfad lauten ComfyUI/models/Ruyi.
2. Führen Sie das Modell aus:
   • Direkt mit Python-Code ausführen:

     python3 predict_i2v.py
     

   • Das Skript lädt das Modell in die Datei Ruyi-Models/models und verwenden Sie den Ordner assets Die Bilder im Ordner werden als Start- und Endbilder für die Videoinferenz verwendet. Die Variablen im Skript können geändert werden, um die Eingabebilder zu ersetzen und Parameter wie Videolänge und -auflösung festzulegen.
3. GPU-Speicheroptimierung:
   • Angebot GPU_memory_mode im Gesang antworten GPU_offload_steps Option zur Reduzierung des GPU-Speicherverbrauchs, um den Anforderungen verschiedener Benutzer gerecht zu werden. Die Verwendung von weniger GPU-Speicher erfordert mehr RAM und längere Generierungszeiten.