Lokaler Einsatz von Open Source Big Model Tools

LMCache ist ein quelloffenes Key-Value (KV) Cache-Optimierungstool, das entwickelt wurde, um die Effizienz der Argumentation in Large Language Models (LLMs) zu verbessern. Es reduziert die Inferenzzeit und den GPU-Ressourcenverbrauch durch Zwischenspeicherung und Wiederverwendung von Berechnungsergebnissen (Key-Value-Caching) des Modells erheblich, was besonders für Szenarien mit langem Kontext geeignet ist.

FastDeploy ist ein Open-Source-Tool, das vom PaddlePaddle-Team entwickelt wurde und sich auf die schnelle Bereitstellung von Deep-Learning-Modellen konzentriert. Es unterstützt eine breite Palette von Hardware und Frameworks, deckt mehr als 20 Szenarien wie Bild, Video, Text und Sprache ab und enthält mehr als 150 Mainstream-Modelle. FastDeploy bietet eine sofort einsatzbereite Produktionsumgebung ....

Web ist ein Open-Source-Browser-Projekt für macOS, das von nuance-dev entwickelt und auf GitHub gehostet wird. Es basiert auf Apples WebKit-Engine, verwendet die SwiftUI- und Combine-Frameworks und folgt der MVVM-Architektur...

Transformers ist ein Open-Source-Framework für maschinelles Lernen, das von Hugging Face entwickelt wurde. Es konzentriert sich auf die Bereitstellung fortschrittlicher Modelldefinitionen zur Unterstützung von Inferenz und Training für Text-, Bild-, Audio- und multimodale Aufgaben. Es vereinfacht den Prozess der Verwendung von Modellen und ist mit vielen gängigen Deep-Learning-Frameworks wie PyTorch, Tens ..... kompatibel.

Local LLM Notepad ist eine quelloffene Offline-Anwendung, die es Benutzern ermöglicht, Local Large Language Models auf jedem Windows-Computer über ein USB-Gerät ohne Internetverbindung und ohne Installation auszuführen. Benutzer kopieren einfach eine einzelne ausführbare Datei (EXE) und eine Modelldatei (z.B. GGUF-Format) auf einen USB-Stick...

llm.pdf ist ein Open-Source-Projekt, mit dem Benutzer Large Language Models (LLMs) direkt in PDF-Dateien ausführen können. Entwickelt von EvanZhouDev und gehostet auf GitHub, zeigt dieses Projekt einen innovativen Ansatz: Kompilieren von llama.cpp über Emscripten als ...

Aana SDK ist ein von Mobius Labs entwickeltes Open-Source-Framework, benannt nach dem Malayalam-Wort ആന (Elefant). Es hilft Entwicklern, multimodale KI-Modelle schnell bereitzustellen und zu verwalten und unterstützt die Verarbeitung von Text, Bildern, Audio- und Videodaten sowie anderen Daten.Aana SDK basiert auf dem Ray Distributed Computing Framework ...

BrowserAI ist ein Open-Source-Tool, mit dem Benutzer native KI-Modelle direkt im Browser ausführen können. Es wurde von dem Cloud-Code-AI-Team entwickelt und unterstützt Sprachmodelle wie Llama, DeepSeek und Kokoro. Benutzer können über den Browser Text generieren, ohne einen Server oder eine komplexe Einrichtung...

LitServe ist eine Open-Source-KI-Modell-Service-Engine von Lightning AI, die auf FastAPI aufbaut und sich auf die schnelle Bereitstellung von Inferenzdiensten für Allzweck-KI-Modelle konzentriert. Es unterstützt eine breite Palette von Szenarien von großen Sprachmodellen (LLMs), visuellen Modellen, Audiomodellen bis hin zu klassischen maschinellen Lernmodellen und bietet...

Nexa AI ist eine Plattform, die sich auf multimodale KI-Lösungen konzentriert, die lokal ausgeführt werden. Sie bietet eine breite Palette von KI-Modellen, darunter Natural Language Processing (NLP), Computer Vision, Spracherkennung und -erzeugung (ASR und TTS), die alle auf lokalen Geräten ausgeführt werden können, ohne auf Cloud-Dienste angewiesen zu sein. Dies ...

vLLM ist eine durchsatzstarke und speichereffiziente Argumentations- und Service-Engine, die für Large Language Modelling (LLM) entwickelt wurde. Ursprünglich vom Sky Computing Lab an der UC Berkeley entwickelt, ist es zu einem Gemeinschaftsprojekt geworden, das von der Wissenschaft und der Industrie vorangetrieben wird. vLLM zielt darauf ab, schnelle, einfache...

Transformers.js ist eine JavaScript-Bibliothek, die von Hugging Face zur Verfügung gestellt wird, um hochmoderne maschinelle Lernmodelle direkt im Browser ohne Serverunterstützung auszuführen. Die Bibliothek ist kompatibel mit Hugging Face's Python-Version von Transformers...

Harbor ist ein revolutionäres containerisiertes LLM-Toolset, das sich auf die Vereinfachung der Bereitstellung und Verwaltung von lokalen KI-Entwicklungsumgebungen konzentriert. Es ermöglicht Entwicklern den Start und die Verwaltung aller KI-Servicekomponenten, einschließlich LLM-Backend, API-Schnittstellen und Front-End-Schnittstellen, mit einem einzigen Klick über eine übersichtliche Befehlszeilenschnittstelle (CLI) und eine begleitende Anwendung....

Xorbits Inference (kurz: Xinference) ist eine leistungsstarke und vielseitige Bibliothek, die sich auf die verteilte Bereitstellung von Sprachmodellen, Spracherkennungsmodellen und multimodalen Modellen konzentriert. Mit Xorbits Inference können Benutzer ihre eigenen Modelle oder integrierte fortgeschrittene Modelle einfach einsetzen und bereitstellen,...

AI Dev Gallery ist eine KI-Entwicklungstool-App von Microsoft (derzeit in der öffentlichen Vorschau), die für Windows-Entwickler konzipiert ist. Sie bietet eine umfassende Plattform, die Entwicklern hilft, KI-Funktionen einfach in ihre Windows-Anwendungen zu integrieren. Das bemerkenswerteste Merkmal des Tools ist, dass es eine...

LightLLM ist ein Python-basiertes Large Language Model (LLM) Inferenz- und Service-Framework, das für sein schlankes Design, seine einfache Erweiterbarkeit und seine effiziente Leistung bekannt ist. Das Framework nutzt eine Vielzahl von bekannten Open-Source-Implementierungen, darunter FasterTransformer, TGI, vLLM und FlashAtten...

Transformers.js ist eine JavaScript-Bibliothek, die von Hugging Face entwickelt wurde, um Benutzern die Möglichkeit zu geben, modernste maschinelle Lernmodelle direkt im Browser ohne Serverunterstützung auszuführen. Die Bibliothek ist kompatibel mit Hugging Face's Python Transformer...

GLM-Edge ist eine Reihe von großen Sprachmodellen und multimodalen Verständigungsmodellen, die für Endgeräte der Tsinghua-Universität entwickelt wurden (Smart Spectrum Light Language). Diese Modelle umfassen GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B und GLM-Edge-V-5...

Exo ist ein Open-Source-Projekt, das darauf abzielt, einen eigenen KI-Cluster mit Alltagsgeräten (z. B. iPhone, iPad, Android, Mac, Linux usw.) zu betreiben. Durch dynamische Modellpartitionierung und automatische Geräteerkennung ist Exo in der Lage, mehrere Geräte in einer einzigen leistungsstarken GPU zu vereinen und mehrere Modelle wie LLaMA, Mistral...