Desenvolvido pelo Allen Institute for Artificial Intelligence (AI2), o Ai2 OLMoE marca um importante avanço na tecnologia de IA do lado do dispositivo. Como o primeiro aplicativo para iOS a abrir totalmente o modelo de código aberto completo (OLMoE) com o código do aplicativo, ele realiza de forma inovadora a computação off-line pura sem o suporte da nuvem. Seu modelo OLMoE principal adota a técnica de quantificação Q4_K_M, que pode atingir uma velocidade de processamento de 41 Tokens/s no iPhone 16 Pro com apenas uma queda de 2,8 pontos na pontuação IFeval, verificando a alta eficiência da operação no lado do dispositivo. Em comparação com as soluções baseadas em nuvem que exigem conectividade de rede, o aplicativo elimina completamente o risco de vazamento de dados por meio do processamento localizado, oferecendo uma solução ideal para cenários sensíveis, como consultas médicas e segredos comerciais.
Em termos de implementação técnica, o aplicativo é baseado no modelo quantitativo de formato GGUF com a estrutura de código aberto Swift-Llama.cpp profundamente otimizada para suportar modelos iPhone 15 Pro e superiores. A estratégia de código-fonte aberto não inclui apenas os pesos do modelo, mas também abrange os materiais completos de P&D, como o conjunto de dados de treinamento e a cadeia de ferramentas de avaliação, que é um modo aberto de pilha completa muito além da prática comum do setor de divulgar apenas os pesos do modelo. Os pesquisadores podem acessar o código-fonte por meio do GitHub e ajustar livremente o modelo ou incorporá-lo a aplicativos iOS de terceiros, e essa abertura torna o OLMoE uma plataforma experimental padrão para pesquisa e desenvolvimento de IA móvel.
Essa resposta foi extraída do artigoAi2 OLMoE: um aplicativo de IA para iOS de código aberto baseado em modelos OLMoE executados off-lineO
