A IA no dispositivo tem três vantagens principais em relação às ferramentas de IA baseadas na nuvem:
- Privacidade e segurançaTodo o processamento de dados é feito localmente no dispositivo, e informações confidenciais, como registros médicos e contratos legais, não precisam ser carregadas na nuvem, evitando completamente o risco de vazamento de dados.
- Disponibilidade off-lineTodas as funções principais ainda podem ser usadas em ambientes sem rede (por exemplo, aviões, áreas remotas), superando as limitações da dependência de rede da IA tradicional.
- capacidade de respostaLatência de processamento local mais baixa (por exemplo, os chips M2 são 2 a 3 vezes mais rápidos do que as transferências na nuvem) graças ao mecanismo de rede neural dos chips Apple Silicon.
- integração ecológicaOtimização profunda da capacidade de colaboração entre dispositivos Apple, como o aumento da aritmética do iPhone com um Mac ou a experiência interativa imersiva do Vision Pro.
Observe que alguns modelos complexos (por exemplo, parâmetros 16B) exigem suporte de equipamentos de alto desempenho, e a função de pesquisa na Web ainda exige uma breve inicialização na Internet (mas o processo de análise é totalmente localizado).
Essa resposta foi extraída do artigoOn Device AI: ferramenta de transcrição de voz e bate-papo com IA para execução nativa do iPhoneO