Hibiki通过模型压缩技术和专用运行时实现了卓越的端侧部署能力。系统提供1B参数的精简版本,配合MLX框架可在iPhone 16 Pro等移动设备上流畅运行。部署方案包含:
- MLX-Swift移动端优化框架
- Metal/CUDA硬件加速支持
- 8-bit量化技术降低计算需求
实测显示1B模型在A17 Pro芯片上仅消耗1.2W功耗,实现持续实时翻译。这种边缘计算能力使系统能应用于无网络环境的野外作业、保密会议等传统云端翻译无法覆盖的场景,将专业级语音翻译的可用性提升到新高度。
Essa resposta foi extraída do artigoHibiki: um modelo de tradução de fala em tempo real, tradução de fluxo contínuo que preserva as características da voz originalO