Recursos de processamento de alta simultaneidade implementados em Rust
A implementação Rust da Kyutai é otimizada para ambientes de produção e apresenta excelente desempenho de simultaneidade. Em servidores equipados com GPUs L40S, a implementação pode lidar de forma estável com 64 fluxos de áudio em tempo real convertidos em paralelo. Os testes de desempenho mostram que, usando o modelo em inglês com 2,6 bilhões de parâmetros, cada fluxo ocupa apenas cerca de 1,5 GB de memória da GPU, e o sistema inteiro mantém uma eficiência de rendimento de mais de 90%.
O segredo do alto desempenho está em três projetos: primeiro, o processamento de E/S sem bloqueio baseado em um tempo de execução assíncrono (tokio); segundo, um algoritmo inteligente de agendamento de lotes que mescla dinamicamente vários fluxos de áudio em lotes de computação otimizados; e, por fim, uma técnica de pooling de memória que multiplexa o espaço de memória para resultados de computação intermediários. O servidor usa o protocolo WebSocket para fornecer uma interface de fluxo contínuo que suporta milhares de conexões simultâneas de clientes.
De acordo com os benchmarks oficiais, o desempenho pode ser aumentado ainda mais na GPU H100 para suportar o processamento simultâneo de até 400 fluxos de áudio. Esse recurso já excede o limite de simultaneidade da maioria das APIs de voz comerciais, o que o torna particularmente adequado para implementações de aplicativos de voz em grande escala.
Essa resposta foi extraída do artigoKyutai: ferramenta de conversão de fala em texto em tempo realO
