Optimierung der Energieeffizienz von Sprachübertragungen auf dem Handy
Die MLX-Implementierung von Kyutai bietet die folgenden Optimierungen für die speziellen Anforderungen von Mobilgeräten wie dem iPhone:
- Hardware-beschleunigte NutzungMLX-Framework ist tief in die Apple Neural Engine (ANE) integriert und spart 60% Energie im Vergleich zum CPU-Modus, empfohlen für iPhone 12 und höhere Modelle.
- Modellierung von Quantifizierungstechniken: Verwendung
--quantizeParametergeladenes 8-Bit-Quantisierungsmodell mit 501 TP3T Speicherplatzreduzierung und <21 TP3T Genauigkeitsverlust - Dynamische Anpassung der Leistungsaufnahme: Einstellungen
--power-saveModus reduziert automatisch die Abtastrate (16kHz → 8kHz) inaktive Periode - Empfehlungen für die Praxiskonfiguration::
Kontinuierliche Transkription:python -m moshi_mlx.run_inference --hf-repo kyutai/stt-1b-en_fr-mlx --mic --quantize --batch-size 4
Einzelne Transkription:--single-utteranceModus gibt sofort Ressourcen frei
Tests haben gezeigt, dass das iPhone 15 Pro bis zu 5 Stunden mit einer vollen Ladung durchhält, wobei dieAVAudioSession(in Form eines Nominalausdrucks).ambientModus kann das Angebot des 20% noch erweitern.
Diese Antwort stammt aus dem ArtikelKyutai: Werkzeug zur Umwandlung von Sprache in Text in EchtzeitDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich eine stromsparende Echtzeit-Sprachtranskription auf mobilen Geräten realisieren?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil