Ai2 OLMoE由艾伦人工智能研究所（AI2）开发，标志着设备端AI技术的重要突破。作为首个将完整开源模型（OLMoE）与应用代码全面开放的iOS应用，它创新性地实现了无需云端支持的纯离线运算。其核心OLMoE模型采用Q4_K_M量化技术，在iPhone 16 Pro上能达到41 Tokens/s的处理速度，且IFeval评分仅下降2.8分，验证了设备端运行的高效性。相比需要网络连接的云端方案，该应用通过本地化处理彻底杜绝了数据外泄风险，为医疗咨询、商业机密等敏感场景提供了理想解决方案。
技术实现上，应用基于GGUF格式量化模型与Swift-Llama.cpp开源框架深度优化，支持iPhone 15 Pro及以上机型。开源策略不仅包含模型权重，更覆盖训练数据集、评估工具链等完整研发材料，这种全栈开放模式远超行业普遍仅公开模型权重的做法。研究者可通过GitHub获取源代码，自由进行模型微调或嵌入第三方iOS应用，这种开放性使OLMoE成为移动AI研发的标准实验平台。
Essa resposta foi extraída do artigoAi2 OLMoE: um aplicativo de IA para iOS de código aberto baseado em modelos OLMoE executados off-lineO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Ai2 OLMoE是首个完全开源且支持离线运行的iOS端AI应用
Português do Brasil 
简体中文 
English 
日本語 
Deutsch