A estratégia de código aberto de link completo da OLMoE, do modelo ao aplicativo, redefine o padrão aberto de IA. Ao contrário da maioria dos projetos que só divulgam pesos, o AI2 abre simultaneamente o conjunto de dados Dolma, que contém 1,8 TB de dados de treinamento, o conjunto de ferramentas de avaliação do código de treinamento Harness e até mesmo a estrutura de desenvolvimento Swift do aplicativo iOS. Essa transparência permite que os pesquisadores reproduzam totalmente o caminho da evolução do modelo, por exemplo, verificando o histórico de confirmações para rastrear os detalhes específicos da implementação da estratégia Dolmino.
No nível da pilha de tecnologia, o projeto agrega componentes de código aberto de estrelas, como a estrutura de inferência vLLM e as ferramentas de gerenciamento local Ollama, para formar um ciclo fechado da cadeia de ferramentas de IA do lado do dispositivo. Os desenvolvedores podem reutilizar diretamente seus esquemas de quantificação e módulos de gerenciamento de memória para acelerar seus próprios projetos. Por exemplo, a comunidade tem uma equipe que criou um aplicativo de bate-papo localizado compatível com a linguagem Macaque em três dias, com base no código base OLMoE.swift. Esse efeito ecológico está aumentando a eficiência da P&D de IA móvel de 3 a 5 vezes.
Essa resposta foi extraída do artigoAi2 OLMoE: um aplicativo de IA para iOS de código aberto baseado em modelos OLMoE executados off-lineO
