Die Neural Engine des iPhone 16 Pro hat 35 TOPS erreicht, was in Verbindung mit der Expert Hybrid Architecture von OLMoE die Ausführung von 7B parametrischen Modellen auf mobilen Geräten möglich macht. Leistungstests zeigen, dass das iPad Pro mit dem M2-Chip bei der Bewältigung komplexer logischer Schlussfolgerungen fast die Leistung von 2023 Cloud-basierten Llama2-13B-Modellen erreicht. Diese Hardware-Entwicklung senkt direkt die Einstiegshürde für geräteseitige KI und erweitert die Zielgruppe von OLMoE von der Geek-Community auf den durchschnittlichen Entwickler.
Marktdaten bestätigen diesen Trend: Im dritten Quartal 2024 stieg der Download von <7B-Parameter-Modellen, die geräteseitig eingesetzt werden können, im Vergleich zum Vorjahr um 4.70%. Das OLMoE-Projekt erfasst den technologischen Wendepunkt genau, und seine empfohlene Core ML-Konvertierungs-Toolchain konvertiert das PyTorch-Modell in das Apple-Chip-spezifische Format, was den Inferenz-Energieverbrauch um 60% reduziert. die ersten Integrationsfälle zeigen, dass Die ersten Integrationsfälle zeigen, dass sich die Verweildauer des Benutzers um 22% erhöht hat, nachdem eine Wertpapier-APP die lokale Analyse von Finanzberichten durch die Einbettung von OLMoE implementiert hat, was die Machbarkeit des Geschäftsszenarios bestätigt.
Diese Antwort stammt aus dem ArtikelAi2 OLMoE: eine quelloffene iOS-KI-App, die auf OLMoE-Modellen basiert und offline läuftDie
