As etapas para criar um agente de áudio/vídeo em tempo real são as seguintes:
- Inicializar dispositivos de entrada de áudio (por exemplo, PyAudio) e fontes de entrada de vídeo (por exemplo, câmera)
- Módulo de entrada combinada:
VideoIn() + PyAudioIn()Processamento de entradas de áudio e vídeo - Configurar o LiveProcessor: especifique a chave da API e o nome do modelo (por exemplo, gemini-2.5-flash-preview-native-audio-dialog)
- Adicionar um módulo de saída: por exemplo.
PyAudioOutPara saída de áudio - Os módulos são conectados por meio de tubulações:
input_processor + live_processor + play_output - fazer uso de
async forProcessamento cíclico de dados de streaming em tempo real
Essa solução é adequada para o desenvolvimento de agentes de conversação em tempo real que podem processar entradas de microfone e câmera simultaneamente e emitir áudio após gerar uma resposta por meio da API Gemini. A implementação deve estar ciente do impacto da latência da rede e do desempenho do hardware no desempenho em tempo real.
Essa resposta foi extraída do artigoProcessadores GenAI: biblioteca Python leve oferece suporte ao processamento paralelo eficiente de conteúdo multimodalO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como criar um agente de áudio/vídeo em tempo real usando os processadores GenAI?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch