Voxtral: um modelo de IA desenvolvido pela Mistral AI para transcrição e compreensão de fala

O Voxtral é seu primeiro modelo de áudio aberto lançado em 15 de julho de 2025 pela startup francesa de IA Mistral AI. O objetivo do Voxtral é fornecer recursos de compreensão de fala prontos para uso no ambiente de produção para aplicativos comerciais a um preço de mercado altamente competitivo. O modelo Voxtral está disponível em duas versões, uma versão de 24B parâmetros para aplicativos em escala de produção e uma versão "Mini" de 3B parâmetros para implantações locais e de borda. Ambas as versões são lançadas sob a licença Apache 2.0 e podem ser baixadas da Hugging Face e executadas localmente ou integradas a aplicativos por meio de uma API. O Voxtral faz mais do que apenas transcrever a fala; ele também fornece uma compreensão profunda do conteúdo de áudio, oferecendo suporte a perguntas diretas, gerando resumos e executando tarefas no conteúdo de áudio. O modelo é compatível com vários idiomas, incluindo inglês, espanhol, francês e hindi, e pode lidar com até 30 minutos de áudio para transcrição ou até 40 minutos de áudio para compreensão.

Lista de funções

• modelo de versão dupla:: dois tamanhos de modelos estão disponíveis, uma versão de 24B parâmetros para aplicativos de produção em larga escala e uma versão "Mini" de 3B parâmetros para implementações de computação local e de borda.
• Código aberto e acesso à APIAmbos os modelos seguem a licença de código aberto Apache 2.0 e podem ser baixados da Hugging Face. Além disso, a Mistral AI fornece uma interface de API que permite aos desenvolvedores integrar a inteligência de voz da Voxtral em seus aplicativos por meio de simples chamadas de API.
• alta relação qualidade-preçoO preço da API começa em US$ 0,001 por minuto e foi projetado para permitir que a transcrição e a compreensão de fala de alta qualidade sejam usadas em escala.
• Processamento de áudio longoTem um comprimento de contexto de 32k tokens e pode lidar com até 30 minutos de áudio para transcrição ou até 40 minutos de áudio para tarefas de compreensão.
• Funções integradas de perguntas e respostas e resumoNão há necessidade de reunir vários modelos para fazer perguntas ou gerar resumos estruturados de conteúdo de áudio diretamente.
• Suporte a vários idiomasComo verificado por vários benchmarks, como o FLEURS e o Mozilla Common Voice, o Voxtral se destaca em vários idiomas, atingindo especialmente o nível mais alto em idiomas europeus, com suporte para inglês, francês, alemão, espanhol, italiano, português, holandês e hindi, entre outros.
• Implementação local e personalização: fornece aos clientes corporativos opções de implantação local, bem como soluções para ajuste fino e ampliação da funcionalidade para domínios específicos, como reconhecimento de alto-falantes, detecção de emoções e separação de diálogos.
• Retenção de recursos de processamento de textoO Voxtral mantém os recursos de processamento de texto de seu backbone de modelagem de linguagem (Mistral Small 3.1) e pode alternar perfeitamente entre tarefas de fala e linguagem.

Usando a Ajuda

O Voxtral foi projetado para fornecer aos desenvolvedores e às empresas recursos flexíveis e poderosos de compreensão de fala. Dependendo das necessidades, há diferentes opções de uso do Voxtral.

1. integração rápida por meio de APIs

Usar as APIs fornecidas pela Mistral AI é a maneira mais direta para os desenvolvedores que desejam integrar rapidamente a inteligência de voz aos aplicativos existentes.

Procedimento operacional.

1. Obter chave de API: Em primeiro lugar, você precisa se registrar na plataforma oficial da Mistral AI e obter a chave da API.
2. Leia a documentação da APIDocumentação oficial da Mistral AI: Visite a documentação oficial da Mistral AI para encontrar a seção sobre a API da Voxtral. A documentação explicará em detalhes como chamar a API, incluindo o formato da solicitação, os parâmetros necessários e a estrutura dos dados retornados.
3. Iniciando solicitações de API:
   • ponto final de transcriçãoSe sua necessidade é simplesmente converter a fala em texto, você pode usar o endpoint altamente otimizado somente para transcrição fornecido pela Mistral AI. Geralmente, essa é a opção mais econômica. Você precisará enviar o arquivo de áudio para o URL especificado como parte da solicitação.
   • Entendimento e perguntas e respostasSe você precisar de uma funcionalidade mais avançada, como fazer perguntas ou gerar resumos do conteúdo de áudio, precisará chamar os pontos de extremidade da API que oferecem suporte a esses recursos. Na solicitação, além de fornecer o arquivo de áudio, talvez seja necessário fornecer parâmetros adicionais, como a pergunta que deseja fazer ou o comando que exige a geração de um resumo.
4. Processamento de resultados de retornoDescrição: A API retorna dados em formato JSON contendo texto transcrito, respostas a perguntas ou resumos gerados. Seu aplicativo precisa analisar esses dados JSON para extrair as informações necessárias.

cenário de amostraUm aplicativo de atendimento ao cliente pode usar a API da Voxtral para transcrever a mensagem de voz de um cliente em texto em tempo real e, em seguida, usar a função de resumo para gerar rapidamente um tíquete de serviço, melhorando muito a eficiência do processamento.

2. implantação e operação local

Para empresas e pesquisadores que precisam de privacidade de dados, para execução off-line ou para personalização profunda, os modelos de código aberto da Voxtral podem ser baixados diretamente para execução em servidores locais ou dispositivos de borda.

Processo de instalação e implantação.

1. Preparação ambiental:
   • Você precisará de um servidor ou computador com recursos de computação suficientes (especialmente GPUs). Os requisitos exatos de hardware dependem da versão do modelo que você escolher (a versão 24B requer uma configuração superior).
   • Instale o ambiente Python e tenha prontas as bibliotecas de aprendizado de máquina necessárias, como PyTorch, Transformers, etc.
2. Modelos para download:
   • Visite o site da Hugging Face (huggingface.co).
   • Pesquise por "Voxtral" ou "Mistral AI".
   • Selecione a versão do modelo de que você precisa (Voxtral 24B ou Voxtral Mini 3B) e faça o download do arquivo de pesos do modelo.
3. Escrever código de carregamento e raciocínio:
   • Usando Hugging Face'sTransformersbiblioteca, você pode carregar facilmente os modelos baixados.
   • Você precisa escrever scripts Python para carregar arquivos de áudio, pré-processá-los e, em seguida, alimentá-los no modelo para inferência.
   • O resultado do raciocínio será o texto transcrito ou o resultado da compreensão do conteúdo de áudio.

fluxo de trabalho:

1. Carregar áudio: Usolibrosaetc. para carregar seus arquivos de áudio.
2. pré-processamentoConversão da taxa de amostragem e formatação dos dados de áudio de acordo com os requisitos do modelo.
3. raciocínio modeladoChamada do modelo Voxtral carregado para propagação direta para obter a saída.
4. reprocessarDecodificação: Decodifique a saída do modelo em um texto legível por humanos.

cenário de amostraO Voxtral pode ser implantado em seus servidores internos para transcrição rápida de entrevistas gravadas, permitindo que os jornalistas façam seu trabalho diretamente no local, sem precisar fazer upload de entrevistas confidenciais para a nuvem.

3. experiência no Le Chat

Para usuários comuns, a maneira mais fácil de experimentar isso é por meio do aplicativo de bate-papo da Mistral AI, o Le Chat.

Procedimento operacional.

1. Visite a versão web do Le Chat ou faça o download do aplicativo móvel.
2. Mudar para o modo de voz.
3. Você pode gravar sua voz diretamente ou carregar um arquivo de áudio existente.
4. O Le Chat usará o Voxtral para transcrever sua voz em texto e exibi-la. Além disso, você pode fazer com que ele resuma o conteúdo ou responda a perguntas sobre esse áudio.

Essa abordagem é ideal para testar rapidamente os recursos de um modelo ou para realizar tarefas pessoais leves, como registrar pontos de reunião ou organizar anotações de aula.

cenário do aplicativo

1. Automação do atendimento ao cliente
   Transcreva chamadas de atendimento ao cliente ou mensagens de voz e gere automaticamente resumos ou ordens de serviço para melhorar a velocidade e a eficiência da resposta do atendimento ao cliente.
2. Criação de conteúdo e mídia
   Transcreva rapidamente o conteúdo de áudio de entrevistas, podcasts ou conferências em transcrições para pós-processamento e distribuição de conteúdo por repórteres, editores e criadores de conteúdo.
3. Procedimentos e análises
   Transcrição em tempo real de reuniões com a capacidade de gerar atas, extrair pontos-chave de decisão e listas de tarefas com base em instruções.
4. Computação de borda e dispositivos de IoT
   Implemente os modelos Voxtral Mini em residências inteligentes, sistemas veiculares ou dispositivos industriais de IoT para permitir o controle e a interação de voz localizados sem depender da conectividade com a nuvem.
5. Processamento de conteúdo multilíngue
   Processamento e análise de dados de áudio de diferentes países e regiões, por exemplo, análise de feedback de usuários multilíngues em pesquisas de mercado internacionais.

QA

1. Como o Voxtral é diferente de outras ferramentas de reconhecimento de fala do mercado?
   A maior diferença do Voxtral é que ele não só faz uma transcrição de voz altamente precisa, mas também oferece suporte nativo à compreensão semântica profunda do conteúdo de áudio. Isso significa que os usuários podem fazer perguntas diretamente ao áudio ou fazer com que ele gere resumos sem a necessidade de transcrever e depois inserir o texto em outro modelo de linguagem. Além disso, ele oferece desempenho superior em um código aberto e preço altamente competitivo, reduzindo a barreira para a adoção de inteligência de fala de alta qualidade.
2. É necessário ter conhecimentos sólidos de programação para usar a Voxtral?
   Não necessariamente. Para usuários não técnicos, o Voxtral pode ser experimentado diretamente por meio do aplicativo Le Chat da Mistral AI. Para os desenvolvedores, também é relativamente fácil usar a interface da API, basta seguir a documentação da API. A implantação do modelo de código aberto localmente, por outro lado, requer algum conhecimento de programação e aprendizado de máquina.
3. Quais são os idiomas suportados pela Voxtral?
   O Voxtral é compatível com vários idiomas, incluindo inglês, francês, alemão, espanhol, italiano, português, holandês e hindi. De acordo com os resultados de benchmark publicados pela Mistral AI, ele tem um desempenho muito bom em vários idiomas, especialmente nos idiomas europeus.
4. É caro usar a API da Voxtral?
   A estratégia de preços da Mistral AI é muito competitiva, com sua API de transcrição começando em US$ 0,001 por minuto, bem abaixo de algumas das principais APIs de código fechado do mercado, o que torna economicamente viável aplicar transcrição e compreensão de fala de alta qualidade em escala.