Implantação local de ferramentas de modelo grande de código aberto

O LMCache é uma ferramenta de otimização de cache de valor-chave (KV) de código aberto projetada para melhorar a eficiência do raciocínio em modelos de linguagem grande (LLMs). Ela reduz significativamente o tempo de inferência e o consumo de recursos da GPU armazenando em cache e reutilizando os resultados de computação intermediários (cache de valor-chave) do modelo, o que é especialmente adequado para cenários de contexto longo.

O FastDeploy é uma ferramenta de código aberto desenvolvida pela equipe do PaddlePaddle que se concentra na implantação rápida de modelos de aprendizagem profunda. Ela oferece suporte a uma ampla variedade de hardware e estruturas, abrangendo mais de 20 cenários, como imagem, vídeo, texto e fala, e contém mais de 150 modelos convencionais. O FastDeploy oferece um ambiente de produção pronto para uso ....

O Web é um projeto de navegador de código aberto para macOS desenvolvido pela nuance-dev e hospedado no GitHub. Ele se baseia no mecanismo WebKit da Apple, usando as estruturas SwiftUI e Combine, e segue a arquitetura MVVM. O principal recurso do Web é o conjunto de ...

O Transformers é uma estrutura de aprendizado de máquina de código aberto desenvolvida pela Hugging Face que se concentra em fornecer definições avançadas de modelos para dar suporte à inferência e ao treinamento para tarefas de texto, imagem, áudio e multimodais. Ele simplifica o processo de uso de modelos e é compatível com muitas estruturas de aprendizagem profunda convencionais, como PyTorch, Tens .....

O Local LLM Notepad é um aplicativo off-line de código aberto que permite aos usuários executar Modelos Locais de Grandes Linguagens em qualquer computador Windows por meio de um dispositivo USB, sem conexão com a Internet e sem instalação. Os usuários simplesmente copiam um único arquivo executável (EXE) e um arquivo de modelo (por exemplo, formato GGUF) para um pendrive USB...

O llm.pdf é um projeto de código aberto que permite aos usuários executar modelos de linguagem grandes (LLMs) diretamente em arquivos PDF. Desenvolvido por EvanZhouDev e hospedado no GitHub, esse projeto demonstra uma abordagem inovadora: compilar llama.cpp via Emscripten como ...

O Aana SDK é uma estrutura de código aberto desenvolvida pela Mobius Labs, cujo nome vem da palavra malaiala ആന (elefante). Ele ajuda os desenvolvedores a implantar e gerenciar rapidamente modelos de IA multimodais, oferecendo suporte ao processamento de texto, imagens, áudio e vídeo e outros dados.

O BrowserAI é uma ferramenta de código aberto que permite aos usuários executar modelos de IA nativos diretamente no navegador. Ela foi desenvolvida pela equipe Cloud-Code-AI e oferece suporte a modelos de linguagem como Llama, DeepSeek e Kokoro. Os usuários podem fazer a geração de texto por meio do navegador sem um servidor ou uma configuração complexa...

O LitServe é um mecanismo de serviço de modelo de IA de código aberto da Lightning AI, desenvolvido com base na FastAPI e focado na implantação rápida de serviços de inferência para modelos de IA de uso geral. Ele oferece suporte a uma ampla variedade de cenários, desde modelos de linguagem grandes (LLMs), modelos visuais, modelos de áudio até modelos clássicos de aprendizado de máquina, fornecendo...

A Nexa AI é uma plataforma focada em soluções multimodais de IA executadas localmente. Ela oferece uma ampla variedade de modelos de IA, incluindo processamento de linguagem natural (NLP), visão computacional, reconhecimento e geração de fala (ASR e TTS), que podem ser executados em dispositivos locais sem depender de serviços em nuvem. Isso ...

O vLLM é um mecanismo de serviço e raciocínio de alto rendimento e eficiente em termos de memória, projetado para Modelagem de Linguagem Grande (LLM). Originalmente desenvolvido pelo Sky Computing Lab da Universidade da Califórnia em Berkeley, tornou-se um projeto comunitário conduzido pelo setor acadêmico e pelo setor.

Transformers.js é uma biblioteca JavaScript fornecida pela Hugging Face projetada para executar modelos de aprendizado de máquina de última geração diretamente no navegador, sem suporte de servidor. A biblioteca é compatível com a versão Python do transformador da Hugging Face...

O Harbor é um revolucionário conjunto de ferramentas LLM em contêineres voltado para a simplificação da implantação e do gerenciamento de ambientes locais de desenvolvimento de IA. Ele permite que os desenvolvedores iniciem e gerenciem todos os componentes do serviço de IA, incluindo o back-end do LLM, as interfaces de API e as interfaces de front-end com um único clique por meio de uma interface de linha de comando (CLI) limpa e um aplicativo complementar....

O Xorbits Inference (Xinference, para abreviar) é uma biblioteca avançada e versátil voltada para a implantação distribuída e o fornecimento de modelos de linguagem, modelos de reconhecimento de fala e modelos multimodais. Com o Xorbits Inference, os usuários podem facilmente implantar e servir seus próprios modelos ou modelos avançados incorporados,...

O AI Dev Gallery é um aplicativo de ferramentas de desenvolvimento de IA da Microsoft (atualmente em visualização pública) projetado para desenvolvedores do Windows. Ele fornece uma plataforma abrangente para ajudar os desenvolvedores a integrar facilmente os recursos de IA em seus aplicativos do Windows. O recurso mais notável da ferramenta é que ela fornece...

O LightLLM é uma estrutura de serviço e inferência de Modelo de Linguagem Grande (LLM) baseada em Python, conhecida por seu design leve, facilidade de extensão e desempenho eficiente. A estrutura aproveita uma variedade de implementações de código aberto bem conhecidas, incluindo FasterTransformer, TGI, vLLM e FlashAtten...

Transformers.js é uma biblioteca JavaScript desenvolvida pela Hugging Face para permitir que os usuários executem modelos de aprendizado de máquina de última geração diretamente no navegador sem suporte de servidor. A biblioteca é compatível com os transformadores Python da Hugging Face...

O GLM-Edge é uma série de modelos de linguagem ampla e modelos de compreensão multimodal projetados para dispositivos finais da Universidade de Tsinghua (Smart Spectrum Light Language). Esses modelos incluem GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B e GLM-Edge-V-5...

O Exo é um projeto de código aberto que tem como objetivo executar seu próprio cluster de IA usando dispositivos cotidianos (por exemplo, iPhone, iPad, Android, Mac, Linux etc.). Por meio do particionamento dinâmico de modelos e da descoberta automatizada de dispositivos, o Exo é capaz de unificar vários dispositivos em uma única GPU avançada, com suporte a vários modelos, como LLaMA, Mistral...