Lokaler Einsatz von Open Source Big Model Tools

 Website einreichen

llm.pdf: Experimentelles Projekt zur Ausführung eines umfangreichen Sprachmodells in einer PDF-Datei
llm.pdf ist ein Open-Source-Projekt, mit dem Benutzer Large Language Models (LLMs) direkt in PDF-Dateien ausführen können. Entwickelt von EvanZhouDev und gehostet auf GitHub, zeigt dieses Projekt einen innovativen Ansatz: Kompilieren von llama.cpp über Emscripten als ...
05-05 3220Gelobt
Aana SDK: Ein Open-Source-Tool für den einfachen Einsatz von multimodalen KI-Modellen
Aana SDK 是一个开源框架，由 Mobius Labs 开发，名字源于马拉雅拉姆语“ആന”（大象）。它帮助开发者快速部署和管理多模态 AI 模型，支持处理文本、图像、音频和视频等多种数据。Aana SDK 基于 Ray 分布式计算框架...
03-25 5850Gelobt
BrowserAI: Lokale Ausführung von KI-Modellen im Browser mit WebGPUs
BrowserAI 是一个开源工具，让用户直接在浏览器中运行本地 AI 模型。它由 Cloud-Code-AI 团队开发，支持像 Llama、DeepSeek、Kokoro 这样的语言模型。用户无需服务器或复杂设置，就能通过浏览器完成文本生...
03-16 5850Gelobt
LitServe: schnelle Bereitstellung von universellen KI-Modellinferenzdiensten auf Unternehmensebene
LitServe 是 Lightning AI 推出的一款开源 AI 模型服务引擎，基于 FastAPI 构建，专注于快速部署通用 AI 模型的推理服务。它支持从大型语言模型（LLM）、视觉模型、音频模型到经典机器学习模型的广泛场景，提供批...
03-10 5210Gelobt
Nexa: eine kleine multimodale KI-Lösung, die lokal läuft
Nexa AI 是一个专注于本地运行的多模态AI解决方案的平台。它提供了多种AI模型，包括自然语言处理（NLP）、计算机视觉、语音识别和生成（ASR和TTS）等，所有这些模型都可以在本地设备上运行，无需依赖云端服务。这...
02-01 8510Gelobt
vLLM: Eine LLM-Inferenz- und Service-Engine zur effizienten Speichernutzung
vLLM是一个高吞吐量和内存高效的推理和服务引擎，专为大语言模型（LLM）设计。该项目最初由加州大学伯克利分校的Sky Computing Lab开发，现已成为一个由学术界和工业界共同驱动的社区项目。vLLM旨在提供快速、易...
01-17 7740Gelobt
Llama 3.2 Reasoning WebGPU: Ausführen von Llama-3.2 in einem Browser
Transformers.js 是 Hugging Face 提供的一个 JavaScript 库，旨在将最先进的机器学习模型直接在浏览器中运行，无需服务器支持。该库与 Hugging Face 的 Python 版 transformer...
01-15 8300Gelobt
Harbor: ein containerisiertes Toolset zur Bereitstellung lokaler LLM-Entwicklungsumgebungen mit einem Klick und zur einfachen Verwaltung und Ausführung von KI-Diensten
Harbor是一个革新性的容器化LLM工具集，专注于简化本地AI开发环境的部署和管理。它通过简洁的命令行界面(CLI)和配套应用程序，让开发者能够一键启动和管理包括LLM后端、API接口、前端界面在内的所有AI服务组件。...
01-02 1.1 K0Gelobt
Xinference: Einfache verteilte KI-Modellbereitstellung und -wartung
Xorbits Inference（简称Xinference）是一个强大且多功能的库，专注于为语言模型、语音识别模型和多模态模型提供分布式部署和服务。通过Xorbits Inference，用户可以轻松部署和服务自己的模型或内置的先进模型，...
01-02 6070Gelobt
AI Dev Gallery: Windows Native AI Model Development Toolset, End-Side Model Integration in Windows Anwendungen
AI Dev Gallery是微软推出的一款专为Windows开发者设计的AI开发工具应用程序(目前处于公开预览版)。它提供了一个综合性平台，帮助开发者轻松地将AI功能集成到自己的Windows应用程序中。该工具最显著的特点是提供...
12-30 1.1 K0Gelobt
LightLLM: Ein effizientes, leichtgewichtiges Rahmenwerk für Reasoning und Bedienung großer Sprachmodelle
LightLLM 是一个基于 Python 的大语言模型（LLM）推理和服务框架，以其轻量级设计、易于扩展和高效性能而著称。该框架利用了多种知名的开源实现，包括 FasterTransformer、TGI、vLLM 和 FlashAtten...
12-17 7340Gelobt
Transformers.js: fast 700 KI-Makromodelle laufen im lokalen Web
Transformers.js 是由 Hugging Face 开发的一个 JavaScript 库，旨在让用户能够直接在浏览器中运行最先进的机器学习模型，而无需服务器支持。该库与 Hugging Face 的 Python 版 trans...
12-02 1.1 K0Gelobt
GLM Edge: Smart Spectrum veröffentlicht End-Side Big Language Models und Multimodal Understanding Models für Mobile, Car und PC Plattformen
GLM-Edge 是清华大学（智谱轻言）推出的一系列专为端侧设备设计的大语言模型和多模态理解模型。这些模型包括 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B 和 GLM-Edge-V-5...
12-01 1.1 K0Gelobt
EXO: Betrieb verteilter KI-Cluster unter Verwendung ungenutzter Haushaltsgeräte, Unterstützung mehrerer Inferenz-Engines und automatischer Geräteerkennung.
Exo是一个开源项目，旨在利用日常设备（如iPhone、iPad、Android、Mac、Linux等）运行自己的AI集群。通过动态模型分区和自动设备发现，Exo能够将多个设备统一成一个强大的GPU，支持多种模型如LLaMA、Mistral...
11-28 1.9 K0Gelobt
LocalAI: quelloffene Lösungen für den Einsatz von lokaler KI, Unterstützung für mehrere Modellarchitekturen, einheitliche WebUI-Verwaltung von Modellen und APIs
LocalAI 是一个开源的本地AI替代方案，旨在提供与OpenAI、Claude等兼容的API接口。它支持在消费级硬件上运行，不需要GPU，能够进行文本、音频、视频、图像生成和语音克隆等多种任务。LocalAI 由 Ettore Di G...
11-28 1.4 K0Gelobt
llamafile: Verteilen und Ausführen von LLMs mit einer einzigen Datei, Vereinfachung der LLM-Bereitstellung, plattformübergreifende Unterstützung für LLMs
llamafile 是一个由 Mozilla Builders 项目推出的工具，旨在简化大语言模型（LLM）的部署和运行。通过将 llama.cpp 与 Cosmopolitan Libc 结合，llamafile 将复杂的 LLM 部署过...
11-21 1.1 K0Gelobt
Petals: verteilte gemeinsame GPU-Ausführung und Feinabstimmung großer Sprachmodelle, gemeinsame Nutzung von GPU-Ressourcen wie ein BitTorrent-Netzwerk
Petals 是一个由 BigScience Workshop 开发的开源项目，旨在通过分布式计算的方式运行大型语言模型（LLMs）。用户可以在家中使用消费级 GPU 或 Google Colab 运行和微调 LLMs，如 Llama 3....
11-20 1.0 K0Gelobt
Aphrodite Engine: eine effiziente LLM-Inferenzmaschine, die mehrere Quantisierungsformate und verteilte Inferenz unterstützt.
Aphrodite Engine是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并支持Hugging Face兼容模型的快速部署。该引擎利用vLLM的Paged Attention技术，实现了高效的K/...
11-20 1.0 K0Gelobt
llama.cpp: effizientes Inferenzwerkzeug, unterstützt mehrere Hardware, einfach zu implementierende LLM-Inferenz
llama.cpp是一个用纯C/C++实现的库，旨在简化大语言模型（LLM）的推理过程。它支持多种硬件平台，包括Apple Silicon、NVIDIA GPU和AMD GPU，并提供多种量化选项以提高推理速度和减少内存使用。该项目的目标是...
11-20 1.4 K0Gelobt