Hibikiは、モデル圧縮技術と専用ランタイムにより、優れたエンドサイド展開能力を実現しています。このシステムは、1Bパラメータを持つ簡素化されたバージョンで利用可能であり、iPhone 16 Proのようなモバイルデバイス上でMLXフレームワークとスムーズに動作します。デプロイオプションを含む
- MLX-Swiftモバイル最適化フレームワーク
- メタル/CUDAハードウェアアクセラレーションのサポート
- 8ビット量子化技術で計算量を削減
実証テストによると、1BモデルではA17 Proチップの消費電力はわずか1.2Wで、継続的なリアルタイム翻訳を実現しています。このエッジコンピューティング機能により、ネットワークがない環境での現場作業や機密性の高い会議など、従来のクラウドベースの翻訳ではカバーできなかったシナリオにも対応し、プロフェッショナルグレードの音声翻訳の使い勝手を新たな高みへと引き上げる。
この答えは記事から得たものである。Hibiki：リアルタイム音声翻訳モデル、元の音声の特徴を保持したストリーミング翻訳について
無断転載を禁じます：AI生産性ツール " 響のデバイスサイド展開能力がリアルタイム翻訳アプリケーションの境界を広げる
