Der lokale Verarbeitungsmechanismus der OLMoE-Anwendung bietet eine doppelte Garantie für die Datensicherheit: Einerseits werden die Benutzereingaben und die Modellausgaben vollständig im Speicher des Geräts verarbeitet, wodurch das Risiko eines Lecks in der Übertragungsverbindung, das bei der herkömmlichen Cloud-KI besteht, eliminiert wird; andererseits ist das System tief in den iOS-Sandboxing-Mechanismus integriert, und sogar die Modellparameter werden mithilfe der Laufzeit-Entschlüsselungstechnologie entschlüsselt. Dieses Design eignet sich besonders für datenschutzsensible Szenarien wie Rechtsberatung und die Abfrage persönlicher Gesundheitsdaten, und selbst Gerätehersteller haben keinen Zugriff auf die interaktiven Inhalte.
Vergleichstests zeigen, dass lokale Bereitstellungen das Risiko von Netzschwankungen ausschließen, obwohl sie bei derselben 7B-Parameter-Skala eine 15-20% höhere Latenz aufweisen als Cloud-basierte Dienste. In der offiziellen AI2-Discord-Community gibt es bereits Entwickler, die auf der Grundlage dieser Funktion Lösungen für vertikale Szenarien wie die Analyse von Finanzdaten, die Interpretation vertraulicher Dokumente usw. entwickelt haben.
Diese Antwort stammt aus dem ArtikelAi2 OLMoE: eine quelloffene iOS-KI-App, die auf OLMoE-Modellen basiert und offline läuftDie
