Análise de gargalos de desempenho
O YOLOE tem como padrão 102,5 FPS em GPUs T4, mas apenas 27,2 FPS no iPhone 12:
Etapas principais de otimização:
- Modelo leve:
- fazer uso de
export.pyAdicionar ao converter para o formato CoreML--halfAtivar a quantificação do FP16 - aprovar (um projeto de lei ou inspeção etc.)
onnxslimOperador de redundância de poda de ferramentas (pode reduzir o tamanho do 30%)
- fazer uso de
- Adaptação do dispositivo:
- A aceleração do ANE (Apple Neural Engine) é chamada no lado do iOS:
python export.py --checkpoint yoloe-s.pt --include coreml --ios - Desativar a segmentação em tempo real (
--task detect) Aumento de velocidade de 2x
- A aceleração do ANE (Apple Neural Engine) é chamada no lado do iOS:
Opções:
- Mudar para miniaturas YOLOE-S (1,8 vezes mais rápido, 51 TP3T menos preciso)
- Implementação do mecanismo TensorRT (dispositivo NVIDIA Jetson)
- Habilitação do raciocínio multithread (modificado)
predict.pyem torch.set_num_threads(4))
Essa resposta foi extraída do artigoYOLOE: uma ferramenta de código aberto para detecção de vídeo em tempo real e segmentação de objetosO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como posso otimizar a velocidade do YOLOE em dispositivos de ponta, como o iPhone?
