Soluções leves para implantação de dispositivos de borda
Para dispositivos de borda, como o Raspberry Pi, a implementação com poucos recursos pode ser obtida com o seguinte esquema:
- Quantificação do modelo:Use o torch.quantisation do PyTorch para converter o modelo FP32 para o formato INT8; o tamanho do modelo pode ser reduzido em 4 vezes
- Estratégia de adaptação:A redução da resolução de entrada de 416 x 416 para 320 x 320 reduz 351 cálculos de TP3T
- Alternativas:Se o dispositivo não for compatível com o ViT, tente reescrever o decodificador para usar um backbone leve, como o MobileNetV3.
- Otimização da memória:Habilitando o mecanismo de checkpointing do PyTorch para reter seletivamente os resultados intermediários durante a propagação direta
Dados do mundo real: o espaço de memória do modelo ViT-B quantificado foi reduzido de 1,2 GB para 380 MB no Jetson Xavier NX. Recomenda-se otimização adicional com o TensorRT, que pode aumentar a taxa de quadros de 3 FPS para 8 FPS. Para dispositivos de perfil muito baixo, considere equilibrar o desempenho processando apenas quadros críticos (2 a 3 quadros por segundo).
Essa resposta foi extraída do artigoGaze-LLE: ferramenta de previsão de alvos para o olhar de pessoas em vídeosO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como implementar o Gaze-LLE em dispositivos de borda com recursos limitados?
