Llama 3.2 Reasoning WebGPU: executando o Llama-3.2 em um navegador

Transformers.js 是 Hugging Face 提供的一个 JavaScript 库，旨在将最先进的机器学习模型直接在浏览器中运行，无需服务器支持。该库与 Hugging Face 的 Python 版 transformers 库功能相当，支持多种预训练模型和任务，包括自然语言处理、计算机视觉和音频处理等。该项目中的 “llama-3.2-reasoning-webgpu” 示例旨在演示 LLama-3.2 模型在 WebGPU 上的推理能力，允许用户在浏览器中直接体验高效的语言模型推理。这个示例不仅展示了技术的先进性，还提供了如何利用现代浏览器的计算能力来处理复杂的 AI 任务。

Lista de funções

• Execução do modelo LLama-3.2 em um navegador: Aproveitamento da tecnologia WebGPU para inferência eficiente de modelos.
• Demonstração do desempenho da WebGPUDestaque a superioridade das WebGPUs comparando o desempenho em diferentes dispositivos.
• Proporcionar uma experiência interativa ao usuárioOs usuários podem interagir com o modelo por meio de uma interface simples, inserindo texto e obtendo os resultados de inferência do modelo.
• Amostras de código e tutoriaisInclui exemplos completos de código e instruções sobre como configurar e executar o modelo LLama-3.2.

Usando a Ajuda

Ambiente de instalação e configuração

Como este exemplo é executado em um ambiente de navegador, não são necessárias etapas especiais de instalação, mas você precisa se certificar de que o navegador é compatível com WebGPU:

1. Verificação do suporte do navegador::
   • Quando você abre a página de amostra, o navegador verifica automaticamente se o WebGPU é compatível e, se não for, a página exibe um prompt apropriado.
   • Atualmente, a WebGPU é compatível com as versões mais recentes do Chrome, Edge e Firefox. Para usuários do Safari, talvez seja necessário ativar recursos experimentais específicos.
2. Visite a página de amostra::
   • Acessado diretamente por meio de um link no GitHub llama-3.2-reasoning-webgpu A página de exemplo do

exemplo de uso

1. Modelos de carregamento::
   • Quando a página for carregada, ela começará a carregar automaticamente o modelo LLama-3.2. O processo de carregamento pode levar alguns minutos, dependendo da velocidade da Internet e do desempenho do dispositivo.
2. texto de entrada::
   • Depois que a página for carregada, você verá uma caixa de entrada de texto. Digite o texto sobre o qual você deseja argumentar nessa caixa.
3. processo de raciocínio::
   • Clique no botão "Reasoning" (Raciocínio) e o modelo começará a processar sua entrada. Observe que o processo de raciocínio pode levar algum tempo, dependendo do tamanho e da complexidade do texto.
4. Exibir resultados::
   • Os resultados são exibidos em outra caixa de texto na página. O modelo LLama-3.2 gera resultados de inferência com base em sua entrada, que pode ser uma resposta a uma pergunta, uma tradução ou alguma forma de processamento do texto.
5. Depuração e monitoramento de desempenho::
   • Durante o raciocínio, a página pode exibir estatísticas de desempenho, como a velocidade do raciocínio (tokens por segundo, TPS). Isso ajuda você a entender os recursos da WebGPU e o desempenho do dispositivo atual.

Estudo e exploração adicionais

• Estudo do código-fonteVocê pode ter uma boa ideia do que está acontecendo examinando o código-fonte no GitHub (especialmente o worker.js ) para ter uma ideia de como o modelo funciona no navegador.
• Modificações e contribuiçõesSe estiver interessado, você pode clonar este projeto para fazer alterações ou contribuir com novos recursos. O projeto usa o Reagir e Vite, e se você estiver familiarizado com essas ferramentas, poderá desenvolver com relativa facilidade.

advertência

• Compatibilidade do navegadorVerifique se seu navegador está atualizado para obter a melhor experiência.
• dependência de desempenhoComo a inferência ocorre no lado do cliente, o desempenho é afetado pelo hardware do dispositivo (especialmente a GPU).
• negócios privadosProcessamento de dados: Todo o processamento de dados é feito localmente e não é carregado em um servidor, protegendo assim a privacidade dos dados do usuário.

Com essas etapas e instruções, você pode explorar e utilizar totalmente esse projeto de amostra para experimentar o avanço da tecnologia de IA em seu navegador.