KittenTTS: um modelo leve de conversão de texto em fala

O KittenTTS é um modelo de conversão de texto em fala (TTS) de código aberto focado em leveza e eficiência. Desenvolvido pela equipe KittenML, o KittenTTS oferece uma ampla gama de opções de fala de alta qualidade, com velocidades de geração rápidas, adequadas para dispositivos incorporados e cenários off-line. Os usuários podem integrar e implementar rapidamente com um simples código Python. O modelo é lançado sob a licença Apache-2.0, que permite o uso comercial e é adequado para desenvolvedores que criam aplicativos de fala em ambientes com recursos limitados. Comparado a outros modelos TTS, o KittenTTS oferece alto desempenho e, ao mesmo tempo, mantém um tamanho reduzido, o que o torna ideal para síntese de fala leve.

Lista de funções

• Oferece uma variedade de vozes predefinidas de alta qualidade para atender às necessidades de diferentes cenários.
• Suporta conversão rápida de texto em fala para gerar arquivos de áudio.
• O tamanho do modelo é inferior a 25 MB, o que é adequado para dispositivos de baixo custo e computação de ponta.
• Funciona com eficiência apenas na CPU, sem necessidade de GPU.
• Fornece uma API Python para simplificar a integração e a invocação do modelo.
• Oferece suporte à implementação off-line para proteger a privacidade dos dados.
• Código aberto e sob a licença Apache-2.0, o uso comercial é permitido.

Usando a Ajuda

Processo de instalação

O KittenTTS é fácil de instalar e é adequado para que os desenvolvedores de Python comecem a trabalhar rapidamente. Veja a seguir as etapas detalhadas de instalação e uso:

1. Criação de um ambiente virtual
   Para evitar conflitos de dependência, é recomendável criar um ambiente virtual Python primeiro. Abra um terminal e execute o seguinte comando:

   python -m venv kitten_env
   source kitten_env/bin/activate  # 在 Windows 上使用 kitten_env\Scripts\activate
   

2. Instalação do KittenTTS
   O KittenTTS fornece arquivos de roda pré-compilados e é muito fácil de instalar. Execute o seguinte comando para fazer o download e instalá-lo a partir da página de lançamento do GitHub:

   pip install https://github.com/KittenML/KittenTTS/releases/download/0.1/kittentts-0.1.0-py3-none-any.whl
   

   O processo de instalação faz o download automático das dependências do modelo, e a primeira execução faz o download dos pesos do modelo do Hugging Face (KittenML/kitten-tts-nano-0.1).

3. Verificar a instalação
   Após a conclusão da instalação, você pode verificar se o modelo foi carregado corretamente usando o código a seguir:

   from kittentts import KittenTTS
   import soundfile as sf
   # 初始化模型
   tts = KittenTTS()
   print("KittenTTS model loaded successfully!")
   

Funções principais

A função principal do KittenTTS é converter texto em fala. Abaixo está o procedimento de operação detalhado:

1. geração de arquivos de áudio

O KittenTTS suporta a conversão rápida de texto de entrada em arquivos de áudio. Aqui está um exemplo simples em Python:

from kittentts import KittenTTS
import soundfile as sf
# 初始化模型
tts = KittenTTS()
# 输入文本
text = "你好，欢迎使用 KittenTTS，这是一个轻量级的文本转语音模型。"
# 生成语音
audio, sample_rate = tts.generate(text)
# 保存音频文件
sf.write("output.wav", audio, sample_rate)
print("音频文件已保存为 output.wav")

Após a execução, o programa gera um output.wav arquivo que contém o conteúdo de fala do texto de entrada.

2. seleção de vozes predefinidas

O KittenTTS oferece uma ampla variedade de vozes predefinidas com parâmetros que permitem aos usuários selecionar diferentes estilos de voz. Por exemplo:

tts = KittenTTS(voice="male_clear")  # 选择清晰的男声
audio, sample_rate = tts.generate("这是一个测试文本。")
sf.write("male_output.wav", audio, sample_rate)

As opções de voz atualmente suportadas podem ser visualizadas na documentação oficial ou na página Hugging Face Models, especificamente vozes masculinas e femininas, diferentes entonações e muito mais.

3. ajuste dos parâmetros de voz

Embora o KittenTTS não ofereça suporte ao controle sofisticado de entonação (como no Coqui XTTS-v2), os usuários podem ajustar a velocidade da fala e as pausas indiretamente por meio da pontuação e da segmentação do texto. Por exemplo:

text = "这是一个测试！我们希望，语音听起来更自然。"
audio, sample_rate = tts.generate(text)
sf.write("styled_output.wav", audio, sample_rate)

A pontuação (por exemplo, vírgulas, pontos de exclamação) afeta o ritmo e o tom da fala.

4. operação off-line

O KittenTTS suporta operação totalmente off-line, o que é adequado para ambientes sem rede. Na primeira execução, o modelo baixa os pesos e os armazena em cache localmente e, posteriormente, gera a fala sem a necessidade de uma conexão com a Internet. Isso é útil para dispositivos incorporados ou cenários sensíveis à privacidade.

Operação da função em destaque

Implementação leve

O KittenTTS tem um tamanho de modelo de apenas 25 MB e uma contagem de referência de cerca de 15 milhões, o que é muito menor do que os modelos tradicionais de TTS, como o Piper ou o XTTS-v2. Isso o torna adequado para execução em dispositivos de baixo custo, como o Raspberry Pi. Ao implantar, basta garantir que o dispositivo seja compatível com Python 3 e dependências básicas, como NumPy e PyTorch. Não são necessárias GPUs adicionais ou configurações complexas.

Geração rápida

O KittenTTS é extremamente rápido. Os testes da comunidade mostraram que leva cerca de 19 segundos para gerar 26 segundos de áudio em um Mac M1. Os usuários podem testar a velocidade de geração com o seguinte código:

import time
from kittentts import KittenTTS
tts = KittenTTS()
text = "这是一段测试文本，用于测量生成速度。"
start_time = time.time()
audio, sample_rate = tts.generate(text)
print(f"生成耗时: {time.time() - start_time} 秒")

Código aberto e amigável aos negócios

O KittenTTS usa a licença Apache-2.0, que permite que os desenvolvedores o utilizem livremente em projetos comerciais. Os usuários podem fazer download do KittenTTS diretamente do repositório do GitHub (https://github.com/KittenML/KittenTTS) Acesso ao código-fonte para modificar ou otimizar o modelo para atender a necessidades específicas.

advertência

• Certifique-se de que a versão do Python seja 3.6 ou superior.
• A primeira execução requer uma conexão com a Internet para baixar os pesos do modelo, que podem ser usados posteriormente off-line.
• Atualmente, o KittenTTS se concentra na geração de fala em inglês, com suporte limitado a outros idiomas. Para suporte a vários idiomas, considere o Piper ou o XTTS-v2.

cenário do aplicativo

1. Interação por voz para dispositivos incorporados
   O tamanho pequeno e a operação da CPU do KittenTTS o tornam adequado para dispositivos domésticos inteligentes, robôs ou dispositivos de IoT. Os desenvolvedores podem integrar o modelo em dispositivos para fornecer aos usuários avisos de voz ou diálogos.
2. Educação e auxílios
   Em cenários educacionais, o KittenTTS gera leituras de voz para aplicativos de aprendizado. Por exemplo, a conversão de conteúdo de livros didáticos em áudio para ajudar alunos com deficiência visual ou para aprimorar a experiência de leitura.
3. Aplicativos de voz off-line
   Em ambientes sem rede (por exemplo, áreas remotas ou cenários sensíveis à segurança), o KittenTTS pode fornecer síntese de fala para aplicativos locais, como avisos de navegação ou assistentes de voz.
4. Prototipagem rápida
   Os desenvolvedores podem usar o KittenTTS para criar rapidamente protótipos de aplicativos de voz, testar interações de voz e economizar tempo e recursos de desenvolvimento.

QA

1. Quais idiomas são suportados pelo KittenTTS?
   No momento, ele suporta principalmente a geração de fala em inglês com os melhores resultados. O suporte a outros idiomas é limitado. Os desenvolvedores podem prestar atenção à atualização oficial ou experimentar o Piper e outros modelos.
2. Precisa de uma GPU para executá-lo?
   Não. O KittenTTS foi projetado para CPUs e é adequado para execução em dispositivos de baixo custo.
3. Como faço para escolher diferentes estilos de voz?
   Inicialize o modelo com o voice especifica uma voz predefinida, como male_clear talvez female_soft. Consulte a documentação oficial para obter opções específicas.
4. Os modelos estão disponíveis comercialmente?
   Sim. O KittenTTS usa a licença Apache-2.0, que permite o uso gratuito em projetos comerciais.
5. Como otimizar a velocidade de geração?
   Usar texto curto, evitar pontuação complexa ou executar em uma CPU de alto desempenho pode aumentar ainda mais a velocidade. O armazenamento em cache dos pesos do modelo também pode reduzir o tempo de carregamento inicial.