Metodologia de otimização de desempenho
A capacidade de resposta do modelo depende do desempenho da GPU do dispositivo e da alocação de recursos do navegador, e pode ser aprimorada das seguintes maneiras:
Guia de operação
- Configuração da aceleração de hardwareConfigurações do Chrome→Sistema→Ativar "Usar aceleração de hardware".
- Definição de prioridades de recursosProcesso WebGPU: defina o processo WebGPU como de alta prioridade no gerenciador de tarefas do navegador (Shift+Esc)
- Otimização dos parâmetros de cálculoReduzir o valor do parâmetro max_new_tokens (pode ser aberto em versões futuras)
- Programa de isolamento ambientalFechar outras páginas da Web/plug-ins que consomem recursos da GPU
Programa Avançado
Os desenvolvedores podem forçar a especificação de um dispositivo de GPU modificando o devicePreference na configuração do transformers.js ou usar o OffscreenCanvas para renderização em segundo plano.
Essa resposta foi extraída do artigoDeepSeek-R1 WebGPU: Execute o DeepSeek R1 1.5B localmente em seu navegador!O
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como otimizar a velocidade de inferência do DeepSeek-R1 WebGPU localmente?
