O mecanismo de processamento local do aplicativo OLMoE constrói uma garantia dupla de segurança de dados: por um lado, os prompts de entrada do usuário e as saídas do modelo são feitos inteiramente na memória do dispositivo, eliminando o risco de vazamento do link de transmissão pelo qual a IA tradicional em nuvem deve passar; por outro lado, o sistema integra profundamente o mecanismo de sandboxing do iOS, e até mesmo os parâmetros do modelo são descriptografados usando a tecnologia de descriptografia em tempo de execução. Esse design é especialmente adequado para cenários sensíveis à privacidade, como aconselhamento jurídico e consultas de dados pessoais de saúde, e nem mesmo os fabricantes de dispositivos podem acessar o conteúdo interativo.
Os testes de comparação mostram que as implantações localizadas eliminam o risco de volatilidade da rede, embora tenham uma latência 15-20% maior do que os serviços baseados em nuvem na mesma escala de parâmetros 7B. Os casos práticos de aplicação incluem: os médicos não precisam se preocupar com a conformidade com a HIPAA ao usá-la para analisar os sintomas de pacientes off-line, e os jornalistas ainda podem realizar a verificação de fatos em áreas com restrição de sinal. Na comunidade oficial do AI2 Discord, já existem desenvolvedores que desenvolveram soluções de cenários verticais com base nesse recurso, como análise de dados financeiros, interpretação de documentos confidenciais e assim por diante.
Essa resposta foi extraída do artigoAi2 OLMoE: um aplicativo de IA para iOS de código aberto baseado em modelos OLMoE executados off-lineO
