LMCacheは、大規模言語モデル(LLM)の推論の効率を改善するために設計されたオープンソースのキーバリュー(KV)キャッシュ最適化ツールです。LMCacheは、モデルの中間計算結果（キーバリューキャッシュ）をキャッシュして再利用することで、推論時間とGPUリソースの消費量を大幅に削減します。.
FastDeployは、PaddlePaddleチームによって開発された、ディープラーニングモデルの迅速なデプロイに特化したオープンソースツールです。様々なハードウェアやフレームワークをサポートし、画像、ビデオ、テキスト、音声をカバーし、150以上の主流モデルを含む20以上のシナリオをサポートしています。.
Webはnuance-devによって開発され、GitHubでホストされているオープンソースのmacOSブラウザプロジェクトです。AppleのWebKitエンジンをベースに、SwiftUIとCombineフレームワークを使用し、MVVMアーキテクチャを採用している。
Transformersは、Hugging Faceによって開発されたオープンソースの機械学習フレームワークで、テキスト、画像、音声、マルチモーダルなタスクの推論と学習をサポートする高度なモデル定義を提供することに重点を置いている。モデルの使用プロセスを簡素化し、PyTorch、Tensor...などの多くの主流の深層学習フレームワークと互換性があります。.
Local LLM Notepad 是一个开源的离线应用程序，允许用户在无需联网、无需安装的情况下，通过USB设备在任何Windows电脑上运行本地大语言模型。用户只需将单个可执行文件（EXE）和模型文件（如GGUF格式）拷贝到U盘，即可随...
llm.pdfはLarge Language Models (LLM)をPDFファイルで直接実行できるオープンソースプロジェクトです。EvanZhouDevによって開発され、GitHubでホストされているこのプロジェクトは、Emscriptenを介してllama.cppをコンパイルするという革新的なアプローチを示しています。
Aana SDKはMobius Labsによって開発されたオープンソースのフレームワークで、マラヤーラム語のആന（象）にちなんで名付けられました。Aana SDKは、Ray Distributed Computing Frameworkをベースにしています。
BrowserAIは、ユーザーがブラウザ上でネイティブAIモデルを直接実行できるオープンソースツールである。Cloud-Code-AIチームによって開発され、Llama、DeepSeek、Kokoroなどの言語モデルをサポートしている。ユーザーは、サーバーや複雑なセットアップなしで、ブラウザからテキスト生成を行うことができる。
LitServeは、Lightning AIが提供するオープンソースのAIモデルサービスエンジンであり、FastAPI上に構築され、汎用AIモデル向けの推論サービスを迅速に展開することに重点を置いている。大規模言語モデル（LLM）、視覚モデル、音声モデルから古典的な機械学習モデルまで、幅広いシナリオをサポートし、バッチ...
Nexa AI 是一个专注于本地运行的多模态AI解决方案的平台。它提供了多种AI模型，包括自然语言处理（NLP）、计算机视觉、语音识别和生成（ASR和TTS）等，所有这些模型都可以在本地设备上运行，无需依赖云端服务。这不仅提高了数据隐私和安...
vLLM是一个高吞吐量和内存高效的推理和服务引擎，专为大语言模型（LLM）设计。该项目最初由加州大学伯克利分校的Sky Computing Lab开发，现已成为一个由学术界和工业界共同驱动的社区项目。vLLM旨在提供快速、易用且成本低廉的L...
Transformers.jsはHugging Faceが提供するJavaScriptライブラリで、最先端の機械学習モデルをサーバーのサポートなしにブラウザ上で直接実行できるように設計されている。このライブラリはHugging FaceのPython版トランスフォーマーと互換性があります。
Harbor是一个革新性的容器化LLM工具集，专注于简化本地AI开发环境的部署和管理。它通过简洁的命令行界面(CLI)和配套应用程序，让开发者能够一键启动和管理包括LLM后端、API接口、前端界面在内的所有AI服务组件。作为一个开源项目，H...
Xorbits Inference（略してXinference）は、言語モデル、音声認識モデル、マルチモーダルモデルの分散デプロイと配信に特化した、強力で汎用性の高いライブラリです。Xorbits Inferenceを使用すると、ユーザーは独自のモデルやビルトインの高度なモデルを簡単にデプロイして提供することができます。
AI Dev Gallery是微软推出的一款专为Windows开发者设计的AI开发工具应用程序(目前处于公开预览版)。它提供了一个综合性平台，帮助开发者轻松地将AI功能集成到自己的Windows应用程序中。该工具最显著的特点是提供了超过25...
LightLLMはPythonベースのLarge Language Model（LLM）推論・サービスフレームワークで、軽量設計、拡張の容易さ、効率的なパフォーマンスで知られている。このフレームワークは、FasterTransformer、TGI、vLLM、FlashAtten...などの有名なオープンソースの実装を活用しています。
Transformers.jsは、Hugging Face社によって開発されたJavaScriptライブラリで、最先端の機械学習モデルをサーバーのサポートなしにブラウザ上で直接実行することを可能にする。このライブラリはHugging FaceのPython Transformers.jsと互換性があります。
GLM-Edgeは、清華大学（Smart Spectrum Light Language）のエンドサイドデバイス用に設計された大規模言語モデルとマルチモーダル理解モデルのシリーズです。これらのモデルには、GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B、GLM-Edge-V-5...が含まれます。
Exoは、身近なデバイス（iPhone、iPad、Android、Mac、Linuxなど）を使って独自のAIクラスターを実行することを目的としたオープンソースプロジェクトである。動的なモデル分割とデバイスの自動検出により、Exoは複数のデバイスを単一の強力なGPUに統合することができ、LLaMA、Mistral...などの複数のモデルをサポートしています。
トップに戻る
