O mais recente chatbot de IA da Nvidia funciona de forma independente em seu PC e é totalmente gratuito.

Nvidia’s GeForce RTX 40 series GPU.

如果你拥有一张GeForce RTX 30系列或更新款GPU，这款名为”与RTX聊天”的演示应用能够实现不需要互联网连接的个性化内容服务。

A Nvidia lançou o Chat with RTX, um chatbot de IA capaz de ser executado em qualquer PC equipado com uma placa de vídeo da série RTX 30 ou 40 com pelo menos 8 GB de VRAM.

Também há suporte para recuperação e resumo de documentos locais ou vídeos do YouTube.

Leitura recomendada:[Os melhores chatbots de IA do mundo: ChatGPT e outras alternativas]

Com a tecnologia do software TensorRT-LLM da Nvidia, o aplicativo não apenas gera conteúdo, mas também aprende com o material fornecido pelo usuário, com suporte para tipos de arquivos, incluindo .txt, .pdf, .doc/.docx, .xml e a capacidade de vincular o URL de um vídeo do YouTube.

Depois de selecionar o conteúdo usado para treinar o robô, os usuários podem fazer perguntas personalizadas sobre esse conteúdo. Por exemplo, o robô pode delinear instruções passo a passo de um vídeo instrutivo do YouTube ou informar ao usuário qual bateria está registrada em sua lista de compras.

机器人基于用户喜好的内容进行训练，让整个体验变得更为私人定制。而数据的本地化处理则确保了用户信息的私密性。”与RTX聊天”由于不依赖于云服务，即便在无网环境下也能快速响应，保障了用户数据的安全。

Veja também:[ChatGPT vs Copilot: qual chatbot de IA é melhor para você?]

要运行这款聊天机器人，你需要Nvidia的GeForce RTX 30系列或更高配置的GPU，并至少拥有8GB显存。”与RTX聊天”还要求安装Windows 10或11操作系统以及最新的Nvidia GPU驱动。

Nvidia 表明，其 TensorRT-LLM 软件结合检索增强式生成技术（RAG）和RTX加速功能，允许”与RTX聊天”在不依赖网络的情况下，通过使用本地文件作为知识库并结合诸如 Mistral e modelos de linguagem grandes (LLMs) de código aberto, como o Llama 2, para fornecer respostas precisas.

Bate-papo com a RTX Review

A Nvidia apresentou hoje seu [Bate-papo com RTXUma versão inicial do ] - um aplicativo de demonstração que permite que você execute seu próprio chatbot de IA no seu PC. Seja um vídeo do YouTube ou um documento pessoal, ele pode ser usado para gerar resumos ou obter respostas relevantes com base em dados pessoais. Todo o processo ocorre inteiramente em seu computador local, e tudo o que você precisa é de uma placa de vídeo da série RTX 30 ou 40 com pelo menos 8 GB de VRAM.

Experimentei brevemente o Chat com o RTX no último dia e, embora o aplicativo ainda seja rudimentar, já posso ver o potencial para que ele se torne uma ferramenta valiosa para pesquisa de dados, tanto para jornalistas quanto para qualquer usuário que precise analisar vários documentos.

O Chat with RTX tem suporte para lidar com vídeos do YouTube. Basta inserir o URL do vídeo e ele permite que você pesquise legendas específicas ou resuma o vídeo inteiro. Isso é particularmente útil para mim ao pesquisar podcasts de vídeo, especialmente ao procurar conteúdo específico da semana recente de rumores sobre a nova mudança de estratégia do Xbox da Microsoft.

No entanto, ele não é perfeito quando se trata de pesquisar vídeos do YouTube. Ao tentar pesquisar legendas para um vídeo do YouTube do _Verge_, o Chat with RTX baixa legendas para um vídeo completamente diferente, o que aparentemente é um bug das versões anteriores.

Figura 1: O Chat com RTX é excelente na pesquisa de documentos locais.

Quando funciona corretamente, consegui encontrar conteúdo relevante no vídeo em segundos. Também usei o Chat com RTX para analisar o conjunto de documentos do caso _FTC v. Microsoft_. Durante a reportagem sobre esse caso no ano passado, a navegação rápida em um grande número de

A documentação é um grande desafio, mas o Chat com RTX me permite concluir as consultas quase instantaneamente.

Por exemplo, o chatbot foi capaz de resumir com precisão a estratégia do Xbox Game Pass da Microsoft a partir de documentos internos tornados públicos pelo julgamento:

De acordo com as informações fornecidas, o Xbox Game Pass é um serviço de assinatura de conteúdo de jogos que fornece acesso a uma biblioteca de jogos mediante o pagamento de uma única taxa mensal. O objetivo é ser uma plataforma que permita que os jogadores joguem seus jogos em qualquer lugar, ao mesmo tempo em que permite que os editores alcancem jogadores de todo o mundo. O serviço conta com o suporte do Project xCloud e do Xbox Series X e tem como objetivo oferecer aos editores um ambiente favorável para a realização de seus jogos. O principal objetivo estratégico do Gaming CSA é ampliar o Xbox Game Pass, com um mercado global de até 750 milhões de assinantes em potencial. O serviço enfrenta três desafios principais de conteúdo: demanda por conteúdo diferenciado, expansão para plataformas além dos consoles e disponibilidade limitada de conteúdo.

Também achei a ferramenta útil para digitalizar rapidamente documentos PDF e verificar dados. Embora o próprio sistema Copilot da Microsoft não lide muito bem com arquivos PDF no Word, o Chat com RTX da Nvidia conseguiu extrair facilmente todas as informações importantes e foi tão responsivo que quase não houve latência perceptível, o que é uma experiência muito diferente da que ocorre quando se usa os chatbots ChatGPT ou Copilot baseados na nuvem.

A principal falha do Chat with RTX é que ele realmente parece uma demonstração inicial para desenvolvedores. Na realidade, o Chat with RTX instala um servidor da Web e uma instância do Python em seu PC, processa os dados recebidos por meio do modelo Mistral ou Llama 2 e, em seguida, usa o núcleo Tensor da Nvidia para acelerar o processo de consulta por meio das GPUs RTX.

Figura 2: A precisão do bate-papo com RTX às vezes é distorcida.

Em meu PC com um processador Intel Core i9-14900K e GPU RTX 4090, a instalação do Chat with RTX levou cerca de 30 minutos. O aplicativo tem quase 40 GB de tamanho, com a instância do Python ocupando cerca de 3 GB de RAM de um total de 64 GB de RAM no meu sistema. Depois de instalado e em execução, você pode acessar o Chat with RTX por meio de um navegador, com o plano de fundo exibindo o processo e quaisquer códigos de erro por meio de um prompt de comando.

A Nvidia não o lançou como um aplicativo completo que todos os usuários do RTX devem baixar e instalar imediatamente. Há alguns problemas e limitações conhecidos no aplicativo, incluindo o fato de que a atribuição da fonte nem sempre é precisa. Inicialmente, tentei fazer com que ele indexasse 25.000 documentos, mas isso fez com que o aplicativo travasse e as preferências tiveram que ser limpas para reiniciar.

Além disso, o Chat com RTX não se lembra do contexto anterior, portanto, os problemas subsequentes não podem se basear no contexto do problema anterior. Ele também cria arquivos JSON dentro da pasta de índice, portanto, não recomendo usar esse recurso de modo geral na pasta Documentos no Windows.

No entanto, ainda estou extremamente interessado em demonstrações tecnológicas como essa, e a Nvidia realmente demonstrou potencial nessa área. Isso é um bom presságio para o futuro dos chatbots de IA executados localmente em PCs, especialmente para aqueles que não querem assinar serviços como o Copilot Pro ou o ChatGPT Plus para analisar arquivos pessoais.

Bate-papo com RTX Download

Clique para fazer o download