LMCache ist ein quelloffenes Key-Value (KV) Cache-Optimierungstool, das entwickelt wurde, um die Effizienz der Argumentation in Large Language Models (LLM) zu verbessern. Es reduziert die Inferenzzeit und den GPU-Ressourcenverbrauch durch Zwischenspeicherung und Wiederverwendung der Zwischenberechnungsergebnisse (Key-Value-Caching) des Modells erheblich, was sich besonders für Szenarien mit langem Kontext eignet.LMCache arbeitet mit Inferenzmaschinen wie vLLM...
FastDeploy ist ein Open-Source-Tool, das vom PaddlePaddle-Team entwickelt wurde und sich auf den schnellen Einsatz von Deep-Learning-Modellen konzentriert. Es unterstützt eine Vielzahl von Hardware und Frameworks, die Bild, Video, Text und Sprache und mehr als 20 Szenarien abdecken, einschließlich mehr als 150 Mainstream-Modelle.FastDeploy bietet Produktionsumgebungen out-of-the-box Teil...
Web ist ein Open-Source-Browser-Projekt für macOS, das von nuance-dev entwickelt und auf GitHub gehostet wird. Es basiert auf Apples WebKit-Engine, verwendet die SwiftUI- und Combine-Frameworks und folgt der MVVM-Architektur...
Transformers ist ein Open-Source-Framework für maschinelles Lernen, das von Hugging Face entwickelt wurde und sich darauf konzentriert, fortgeschrittene Modelldefinitionen zur Unterstützung von Inferenz und Training für Text-, Bild-, Audio- und multimodale Aufgaben bereitzustellen. Es vereinfacht den Prozess der Verwendung von Modellen und ist kompatibel mit vielen gängigen Deep-Learning-Frameworks wie PyTorch, Tensor...
Local LLM Notepad ist eine Open-Source-Offline-Anwendung, die es Benutzern ermöglicht, Local Large Language Models (LLMs) auf jedem Windows-Computer über ein USB-Gerät ohne Internetverbindung und ohne Installation auszuführen. Benutzer kopieren einfach eine einzelne ausführbare Datei (EXE) und eine Modelldatei (z. B. im GGUF-Format) auf einen USB-Stick, der mit...
llm.pdf ist ein Open-Source-Projekt, mit dem Benutzer Large Language Models (LLMs) direkt in PDF-Dateien ausführen können. Entwickelt von EvanZhouDev und gehostet auf GitHub, zeigt dieses Projekt einen innovativen Ansatz: Kompilieren von llama.cpp über Emscripten als ...
Aana SDK ist ein von Mobius Labs entwickeltes Open-Source-Framework, benannt nach dem Malayalam-Wort ആന (Elefant). Es hilft Entwicklern, multimodale KI-Modelle schnell bereitzustellen und zu verwalten und unterstützt die Verarbeitung von Text, Bildern, Audio- und Videodaten sowie anderen Daten.Aana SDK basiert auf dem Ray Distributed Computing Framework ...
BrowserAI ist ein Open-Source-Tool, mit dem Benutzer native KI-Modelle direkt im Browser ausführen können. Es wurde von dem Cloud-Code-AI-Team entwickelt und unterstützt Sprachmodelle wie Llama, DeepSeek und Kokoro. Benutzer können über den Browser Text generieren, ohne einen Server oder eine komplexe Einrichtung...
LitServe ist eine Open-Source-KI-Modell-Service-Engine von Lightning AI, die auf FastAPI aufbaut und sich auf die schnelle Bereitstellung von Inferenzdiensten für Allzweck-KI-Modelle konzentriert. Es unterstützt eine breite Palette von Szenarien von großen Sprachmodellen (LLMs), visuellen Modellen, Audiomodellen bis hin zu klassischen maschinellen Lernmodellen und bietet...
Nexa AI ist eine Plattform, die sich auf multimodale KI-Lösungen konzentriert, die lokal ausgeführt werden. Sie bietet eine breite Palette von KI-Modellen, darunter Natural Language Processing (NLP), Computer Vision, Spracherkennung und -erzeugung (ASR und TTS), die alle lokal auf Geräten ausgeführt werden können, ohne auf Cloud-Dienste angewiesen zu sein. Dies verbessert nicht nur den Datenschutz und die Sicherheit...
vLLM ist eine durchsatzstarke und speichereffiziente Argumentations- und Service-Engine, die für Large Language Modelling (LLM) entwickelt wurde. Ursprünglich vom Sky Computing Lab an der UC Berkeley entwickelt, ist es zu einem Gemeinschaftsprojekt geworden, das von Wissenschaft und Industrie vorangetrieben wird. vLLM zielt darauf ab, schnelle, benutzerfreundliche und kosteneffiziente L...
Transformers.js ist eine JavaScript-Bibliothek, die von Hugging Face zur Verfügung gestellt wird, um hochmoderne maschinelle Lernmodelle direkt im Browser ohne Serverunterstützung auszuführen. Die Bibliothek ist kompatibel mit Hugging Face's Python-Version von Transformers...
Harbor ist ein revolutionäres containerisiertes LLM-Toolset, das sich auf die Vereinfachung der Bereitstellung und Verwaltung von lokalen KI-Entwicklungsumgebungen konzentriert. Es ermöglicht Entwicklern, alle KI-Service-Komponenten einschließlich LLM-Backend, API-Schnittstellen und Front-End-Schnittstellen mit einem einzigen Klick über eine übersichtliche Befehlszeilenschnittstelle (CLI) und unterstützende Anwendungen zu starten und zu verwalten. Als Open-Source-Projekt, H...
Xorbits Inference (kurz: Xinference) ist eine leistungsstarke und vielseitige Bibliothek, die sich auf die verteilte Bereitstellung von Sprachmodellen, Spracherkennungsmodellen und multimodalen Modellen konzentriert. Mit Xorbits Inference können Benutzer ihre eigenen Modelle oder integrierte fortgeschrittene Modelle einfach einsetzen und bereitstellen,...
AI Dev Gallery ist eine KI-Entwicklungstool-App von Microsoft (derzeit in der öffentlichen Vorschau), die für Windows-Entwickler konzipiert ist. Sie bietet eine umfassende Plattform, die Entwicklern hilft, KI-Funktionen einfach in ihre Windows-Anwendungen zu integrieren. Das bemerkenswerteste Merkmal des Tools ist, dass es über 25...
LightLLM ist ein Python-basiertes Large Language Model (LLM) Inferenz- und Service-Framework, das für sein schlankes Design, seine einfache Erweiterbarkeit und seine effiziente Leistung bekannt ist. Das Framework nutzt eine Vielzahl von bekannten Open-Source-Implementierungen, darunter FasterTransformer, TGI, vLLM und FlashAtten...
Transformers.js ist eine JavaScript-Bibliothek, die von Hugging Face entwickelt wurde, um Benutzern die Möglichkeit zu geben, modernste maschinelle Lernmodelle direkt im Browser ohne Serverunterstützung auszuführen. Die Bibliothek ist kompatibel mit Hugging Face's Python Transformer...
GLM-Edge ist eine Reihe von großen Sprachmodellen und multimodalen Verständigungsmodellen, die für Endgeräte der Tsinghua-Universität entwickelt wurden (Smart Spectrum Light Language). Diese Modelle umfassen GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B und GLM-Edge-V-5...
Exo ist ein Open-Source-Projekt, das darauf abzielt, einen eigenen KI-Cluster mit Alltagsgeräten (z. B. iPhone, iPad, Android, Mac, Linux usw.) zu betreiben. Durch dynamische Modellpartitionierung und automatische Geräteerkennung ist Exo in der Lage, mehrere Geräte in einer einzigen leistungsstarken GPU zu vereinen und mehrere Modelle wie LLaMA, Mistral...
zurück zum Anfang
