O caminho tecnológico completo para a implantação off-line em dispositivos móveis
Para obter um aplicativo móvel totalmente off-line, é necessária a seguinte solução técnica:
- transformação de modelos::
- fazer uso de
transformers.onnxExportar formato ONNX (precisa ser adicionado)opset_version=13(Parâmetros) - Otimização adicional de gráficos computacionais via TensorRT ou MNN
- fazer uso de
- integração de aplicativos::
- A inferência TFLite é recomendada para a plataforma Android (é necessário fazer a quantificação de peso de 32 bits para 8 bits)
- Implantações do Core ML disponíveis para plataformas iOS (observe a adição do
--quantize int8(Opções)
- balanceamento de desempenho::
- Limitar a duração da geração (
max_length=50) Garantia de tempo real - Ativar o mecanismo de cache para armazenar pares de perguntas frequentes
- Limitar a duração da geração (
Os testes mostram que o modelo Bonsai convertido ocupa apenas 180 MB de espaço de armazenamento no iPhone 12, e uma única inferência leva menos de 300 ms. Recomenda-se desenvolver aplicativos multiplataforma com a estrutura React Native.
Essa resposta foi extraída do artigoBonsai: um modelo de linguagem ponderada de três valores adequado para operação em dispositivos de bordaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como posso implementar os modelos do Bonsai para serem executados sem rede no celular?
