部署方式矩阵
Usage Scenarios | Recommended Programs | Key Configurations |
---|---|---|
research and development (R&D) | PyTorch实现 |
|
production environment | Rust server |
|
苹果设备 | MLX框架 |
|
典型部署流程示例
PyTorch研究环境部署:
- 克隆GitHub仓库并安装依赖
- 下载kyutai/stt-1b-en_fr预训练模型
- fulfillment
python -m moshi_mlx.run_inference
启动推理
Rust生产部署要点:
- pass (a bill or inspection etc)
cargo install
安装服务器组件 - 编辑config.toml调整批处理参数
- start using
--release
模式保证性能
This answer comes from the articleKyutai: Speech to text real-time conversion toolThe