Ko-Optimierung von Hardware und KI
Die tiefe Adaption von On-Device AI mit den Chips der M-Serie von Apple setzt neue Maßstäbe für die Ausführung großer Modelle auf mobilen Geräten. Seine Leistungsvorteile werden konkret demonstriert:
- Neuronale Netzwerk-Engine Proprietäre OptimierungLlama 8B: Befehlssatzoptimierung für die 16-Kern-NPU von Apple Silicon ermöglicht Llama 8B-Modellinferenz mit 23 Token/s
- Geräteübergreifende arithmetische IntegrationDer M1 Max Chip liefert dem iPhone über die Mac Remote Connection Funktion zusätzliche 40 TOPS an Rechenleistung und unterstützt die Ausführung von Modellen mit 16B Parametern.
- Beschleunigung der Sprachtranskription in EchtzeitM2-Chip erreicht eine Transkription mit extrem niedriger Latenzzeit von 98 ms und ist damit dreimal schneller als die herkömmliche x86-Architektur
Leistungstests zeigen, dass das MacBook Pro mit M3-Chip für die Analyse von Dokumenten nur 1/5 der Zeit benötigt, die das Intel-Modell benötigt, sodass auch Consumer-Geräte in der Lage sind, professionelle KI-Arbeitslasten zu bewältigen.
Diese Antwort stammt aus dem ArtikelOn Device AI: AI-Sprachtranskription und Chat-Tool für iPhone Native RunningDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Apple Silicon Chip liefert deutliche Leistungssteigerung für On-Device AI
Deutsch 
简体中文 
English 
日本語 
Português do Brasil