Inovações que preservam a privacidade para IA localizada
O modelo de execução totalmente off-line estabelecido pelo Projeto G-Assist elimina os riscos de segurança de dados dos assistentes de IA tradicionais. Sua implementação técnica se baseia em três componentes principais: em primeiro lugar, o Small Language Model (SLM) quantificado, que é otimizado para inferência eficiente em GPUs RTX; em segundo lugar, a base de conhecimento local, que contém mais de 100.000 peças de dados estruturados relacionados ao hardware; e, o mais importante, o módulo de reconhecimento de fala, que adota o algoritmo RNN-T desenvolvido pela própria NVIDIA para obter um processamento off-line de ponta a ponta.
Os testes de comparação mostram que a versão off-line do G-Assist é 200 a 300 ms mais rápida do que a solução baseada em nuvem ao lidar com consultas como "como reduzir o consumo de energia da placa de vídeo" e evita o risco de vazamento de dados de voz. O sistema adota um design fisicamente isolado: os dados do microfone são armazenados apenas no buffer de memória e apagados imediatamente após a conclusão do comando; os dados de desempenho da GPU são criptografados e armazenados no disco rígido NVMe local.
Essa arquitetura é particularmente adequada para usuários corporativos, pois os estúdios de jogos podem usá-la para monitorar várias estações de trabalho de renderização sem se preocupar com o upload de informações de configuração para a nuvem. As organizações da área de imagens médicas já testaram uma tecnologia semelhante para uso em dispositivos médicos, confirmando o valor exclusivo da IA localizada em cenários profissionais.
Essa resposta foi extraída do artigoProjeto G-Assist: um assistente de IA que usa voz e texto para otimizar o desempenho do PCO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch