Implantação local de ferramentas de modelo grande de código aberto

O LMCache é uma ferramenta de otimização de cache de valor-chave (KV) de código aberto projetada para melhorar a eficiência do raciocínio em modelos de linguagem grande (LLM). Ela reduz significativamente o tempo de inferência e o consumo de recursos da GPU armazenando em cache e reutilizando os resultados de computação intermediários (cache de valor-chave) do modelo, o que é especialmente adequado para cenários de contexto longo.

O FastDeploy é uma ferramenta de código aberto desenvolvida pela equipe do PaddlePaddle com foco na implantação rápida de modelos de aprendizagem profunda. Ela oferece suporte a uma variedade de hardware e estruturas, abrangendo imagem, vídeo, texto e fala e mais de 20 cenários, incluindo mais de 150 modelos convencionais.

O Web é um projeto de navegador de código aberto para macOS desenvolvido pela nuance-dev e hospedado no GitHub. Ele se baseia no mecanismo WebKit da Apple, usando as estruturas SwiftUI e Combine, e segue a arquitetura MVVM. O principal recurso do Web é o conjunto de ...

O Transformers é uma estrutura de aprendizado de máquina de código aberto desenvolvida pela Hugging Face com o objetivo de fornecer definições avançadas de modelos para dar suporte à inferência e ao treinamento para tarefas de texto, imagem, áudio e multimodais. Ele simplifica o processo de uso de modelos e é compatível com muitas estruturas de aprendizagem profunda convencionais, como PyTorch, Tensor...

Local LLM Notepad 是一个开源的离线应用程序，允许用户在无需联网、无需安装的情况下，通过USB设备在任何Windows电脑上运行本地大语言模型。用户只需将单个可执行文件（EXE）和模型文件（如GGUF格式）拷贝到U盘，即可随...

O llm.pdf é um projeto de código aberto que permite aos usuários executar modelos de linguagem grandes (LLMs) diretamente em arquivos PDF. Desenvolvido por EvanZhouDev e hospedado no GitHub, esse projeto demonstra uma abordagem inovadora: compilar llama.cpp via Emscripten como ...

O Aana SDK é uma estrutura de código aberto desenvolvida pela Mobius Labs, cujo nome vem da palavra malaiala ആന (elefante). Ele ajuda os desenvolvedores a implantar e gerenciar rapidamente modelos de IA multimodais, oferecendo suporte ao processamento de texto, imagens, áudio e vídeo e outros dados.

O BrowserAI é uma ferramenta de código aberto que permite aos usuários executar modelos de IA nativos diretamente no navegador. Ela foi desenvolvida pela equipe Cloud-Code-AI e oferece suporte a modelos de linguagem como Llama, DeepSeek e Kokoro. Os usuários podem fazer a geração de texto por meio do navegador sem um servidor ou uma configuração complexa...

O LitServe é um mecanismo de serviço de modelo de IA de código aberto da Lightning AI, desenvolvido com base na FastAPI e focado na implantação rápida de serviços de inferência para modelos de IA de uso geral. Ele oferece suporte a uma ampla variedade de cenários, desde modelos de linguagem grandes (LLMs), modelos visuais, modelos de áudio até modelos clássicos de aprendizado de máquina, fornecendo...

Nexa AI 是一个专注于本地运行的多模态AI解决方案的平台。它提供了多种AI模型，包括自然语言处理（NLP）、计算机视觉、语音识别和生成（ASR和TTS）等，所有这些模型都可以在本地设备上运行，无需依赖云端服务。这不仅提高了数据隐私和安...

vLLM是一个高吞吐量和内存高效的推理和服务引擎，专为大语言模型（LLM）设计。该项目最初由加州大学伯克利分校的Sky Computing Lab开发，现已成为一个由学术界和工业界共同驱动的社区项目。vLLM旨在提供快速、易用且成本低廉的L...

Transformers.js é uma biblioteca JavaScript fornecida pela Hugging Face projetada para executar modelos de aprendizado de máquina de última geração diretamente no navegador, sem suporte de servidor. A biblioteca é compatível com a versão Python do transformador da Hugging Face...

Harbor是一个革新性的容器化LLM工具集，专注于简化本地AI开发环境的部署和管理。它通过简洁的命令行界面(CLI)和配套应用程序，让开发者能够一键启动和管理包括LLM后端、API接口、前端界面在内的所有AI服务组件。作为一个开源项目，H...

O Xorbits Inference (Xinference, para abreviar) é uma biblioteca avançada e versátil voltada para a implantação distribuída e o fornecimento de modelos de linguagem, modelos de reconhecimento de fala e modelos multimodais. Com o Xorbits Inference, os usuários podem facilmente implantar e servir seus próprios modelos ou modelos avançados incorporados,...

AI Dev Gallery是微软推出的一款专为Windows开发者设计的AI开发工具应用程序(目前处于公开预览版)。它提供了一个综合性平台，帮助开发者轻松地将AI功能集成到自己的Windows应用程序中。该工具最显著的特点是提供了超过25...

O LightLLM é uma estrutura de serviço e inferência de Modelo de Linguagem Grande (LLM) baseada em Python, conhecida por seu design leve, facilidade de extensão e desempenho eficiente. A estrutura aproveita uma variedade de implementações de código aberto bem conhecidas, incluindo FasterTransformer, TGI, vLLM e FlashAtten...

Transformers.js é uma biblioteca JavaScript desenvolvida pela Hugging Face para permitir que os usuários executem modelos de aprendizado de máquina de última geração diretamente no navegador sem suporte de servidor. A biblioteca é compatível com os transformadores Python da Hugging Face...

O GLM-Edge é uma série de modelos de linguagem ampla e modelos de compreensão multimodal projetados para dispositivos finais da Universidade de Tsinghua (Smart Spectrum Light Language). Esses modelos incluem GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B e GLM-Edge-V-5...

O Exo é um projeto de código aberto que tem como objetivo executar seu próprio cluster de IA usando dispositivos cotidianos (por exemplo, iPhone, iPad, Android, Mac, Linux etc.). Por meio do particionamento dinâmico de modelos e da descoberta automatizada de dispositivos, o Exo é capaz de unificar vários dispositivos em uma única GPU avançada, com suporte a vários modelos, como LLaMA, Mistral...