A implementação do MNN-LLM em dispositivos Android pode ser feita de duas maneiras:
- Instalação do APK pré-compilado
- Faça o download do aplicativo oficial do MNN-LLM para Android a partir das versões do GitHub
- O Qwen, o Llama e outros modelos com suporte integrado estão disponíveis após a instalação do APK.
- Compilação e implantação de código-fonte
- Clonar o repositório do projeto: git clone https://github.com/alibaba/MNN.git
- Abra o diretório android/apps/MnnLlmApp usando o Android Studio
- Configure o caminho do NDK (é necessário o r17 e superior)
- Execute Build > Build APK para gerar o pacote de instalação.
Principais etapas ao usar:
- Faça o download do modelo de destino (por exemplo, Qwen-7B) no aplicativo; o arquivo do modelo será armazenado localmente
- Gerar respostas off-line após a digitação de prompts de texto, suportar várias rodadas de diálogo
- A funcionalidade multimodal requer upload de imagem/áudio por meio do seletor de arquivos
Observação: a versão atual exige uma recompilação do aplicativo para carregar o modelo personalizado, e há uma promessa oficial de que o recurso de importação direta será aberto no futuro.
Essa resposta foi extraída do artigoMNN: uma estrutura de inferência de aprendizagem profunda leve e eficienteO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como implementar o modelo de linguagem MNN-LLM em dispositivos Android?
