Durchbrüche bei der Leistung in Edge-Computing-Szenarien
Die Quantisierungs-Engine von Nunchaku betritt Neuland, indem sie es 4-GB-RAM-Grafikprozessoren ermöglicht, komplexe Diffusionsmodelle wie FLUX.1-dev auszuführen. Im Test auf einer RTX 3060-Grafikkarte dauerte die Text-zu-Bild-Generierung nur 30 Sekunden, und der Grafikspeicherbedarf wurde von 16 GB auf 4,3 GB reduziert. Die Vorteile dieser Technologie kommen aus drei Hauptbereichen:
- SVDQuant nutzt die Matrixzerlegung, um die wichtigsten Eigenwerte zu erhalten und den Verlust von geringer Bitbreite auszugleichen
- Der Algorithmus zur Zuweisung des dynamischen Bereichs optimiert die Quantisierungsparameter für jede Ebene
- Hybride Präzisionsplanungsmechanismen sorgen für ein Gleichgewicht zwischen Recheneffizienz und Qualität
Diese Funktion eignet sich besonders für ressourcenbeschränkte Szenarien, wie z. B. Forschungsexperimente in Bildungseinrichtungen und Prototyping durch einzelne Entwickler, und wurde für die stabile Ausführung von Bilderzeugungsaufgaben mit einer Auflösung von 768×768 auf Laptop-GPUs gemessen.
Diese Antwort stammt aus dem ArtikelNunchaku: ein Inferenzwerkzeug zur effizienten Ausführung von FLUX.1 und SANA 4-Bit quantisierten ModellenDie
