人工知能の分野では、大規模言語モデリング（LLM）技術が急速に変化しており、様々なツールライブラリが登場している。本稿では、LLM開発の課題をよりよく解決するために、120以上の有用なLLMライブラリを機能カテゴリごとに分類し、エンジニアがすぐに見つけて適用できるようにツールボックスにまとめた。
クイックナビゲーション
読者が必要なリソースを素早く見つけられるよう、各カテゴリーのツール・ライブラリへのクイックリンクを紹介する：
| LLM 🚀トレーニングと微調整 | 🧱 LLMアプリケーション開発 | LLM検索強化生成(RAG) |
| LLM 推論 | LLM サービスの展開 | LLM データ抽出 |
| LLM 🌠 データ生成 | LLMインテリジェント・ボディ | ⚖️ LLMアセスメント |
| ᔍ LLMの監視と制御 | 📅 LLMプロンプト・ワード・エンジニアリング | LLM 構造化出力 |
| LLMの安全性 | LLM 組み込みモデル | ❇️ その他 |
LLM研修と微調整
| 図書館名 | 説明 | リンク |
|---|---|---|
| unsloth | 少ないメモリでLLMを高速に微調整。 | リンク |
| PEFT | 高度なパラメータ効率に優れた微調整ライブラリ。 | リンク |
| TRL | 強化学習によるトレーニング transformer 言語モデリング。 | リンク |
| Transformers | Transformersは、テキスト、視覚、音声など、さまざまなモダリティのタスクを実行するために、事前に訓練された何千ものモデルを提供します。 | リンク |
| Axolotl | 様々なAIモデルの事後学習を簡素化するために設計されたツール。 | リンク |
| LLMBox | 統一されたトレーニングパイプラインと包括的なモデル評価を含む、包括的なLLMライブラリ。 | リンク |
| LitGPT | LLMを素早く訓練し、微調整する。 | リンク |
| Mergoo | 複数のLLMエキスパートを簡単にマージし、マージしたLLMを効率的にトレーニングするためのライブラリ。 | リンク |
| Llama-Factory | シンプルで効率的なLLM微調整ツール。 | リンク |
| Ludwig | カスタムLLM、ニューラルネットワーク、その他のAIモデルを構築するためのローコードフレームワーク。 | リンク |
| Txtinstruct | インストラクション・チューニング・モデルをトレーニングするためのフレームワーク。 | リンク |
| Lamini | LLM推論とチューニングの統合プラットフォーム。 | リンク |
| XTuring | XTuringは、Mistral、LLaMA、GPT-JなどのオープンソースLLMを高速、効率的、かつシンプルに微調整します。 | リンク |
| RL4LMs | 人間の嗜好に合わせて言語モデルを微調整するためのモジュラーRLライブラリ。 | リンク |
| DeepSpeed | DeepSpeedは、分散学習と推論をシンプル、効率的、効果的に行うディープラーニング最適化ライブラリです。 | リンク |
| torchtune | LLMを微調整するために特別に設計されたPyTorchネイティブライブラリ。 | リンク |
| PyTorch Lightning | LLMの事前学習と微調整のための高レベルインターフェースを提供するライブラリ。 | リンク |
LLMアプリケーション開発
図案
| 図書館名 | 説明 | リンク |
|---|---|---|
| LangChain | LangChainは、Large Language Model（LLM）によって駆動されるアプリケーションを開発するためのフレームワークです。 | リンク |
| Llama Index | LlamaIndexはLLMアプリケーションのためのデータフレームワークです。 | リンク |
| HayStack | Haystackはエンド・ツー・エンドのLLMフレームワークで、ユーザーはLLM、Transformerモデル、ベクトル検索などで駆動するアプリケーションを構築することができる。 | リンク |
| Prompt flow | LLMベースのAIアプリケーションのエンドツーエンドの開発サイクルを簡素化するために設計された開発ツールのセット。 | リンク |
| Griptape | AI駆動型アプリケーション構築のためのモジュール式Pythonフレームワーク。 | リンク |
| Weave | Weaveは生成AIアプリケーションを開発するためのツールキットである。 | リンク |
| Llama Stack | ラマ・アプリを作ろう | リンク |
複数のAPIアクセス
| 図書館名 | 説明 | リンク |
|---|---|---|
| LiteLLM | 100以上のLLM APIコールをOpenAI形式で集めたライブラリ。 | リンク |
| AI Gateway | フェンシングを統合した高速AIゲートウェイ。200以上のLLM、50以上のAIフェンスに1つの高速でフレンドリーなAPIを介してルーティングします。 | リンク |
ルータ
| 図書館名 | 説明 | リンク |
|---|---|---|
| RouteLLM | LLMルータのサービスと評価のためのフレームワーク - 品質を損なうことなくLLMのコストを削減 OpenAIクライアントを直接置き換えることで、より単純なクエリをより安価なモデルにルーティング。 | リンク |
あんき
| 図書館名 | 説明 | リンク |
|---|---|---|
| mem0 | AIアプリケーション用のメモリ層。 | リンク |
| Memoripy | コンテキストを意識したアプリケーションのための、短期・長期記憶、セマンティック・クラスタリング、オプションのメモリ減衰を備えたAIメモリ層。 | リンク |
インターフェース
| 図書館名 | 説明 | リンク |
|---|---|---|
| Streamlit | Streamlitを使えば、Pythonスクリプトを数分でインタラクティブなウェブアプリケーションに変えることができます。 | リンク |
| Gradio | Pythonで楽しい機械学習アプリケーションを構築し、共有しましょう。 | リンク |
| AI SDK UI | チャットとジェネレーティブ・ユーザー・インターフェースの構築 | リンク |
| AI-Gradio | さまざまなAIプロバイダーがサポートするAIアプリケーションを作成する。 | リンク |
| Simpleaichat | 強力な機能と最小限のコードでチャットアプリケーションと簡単にやりとりするためのPythonパッケージ。 | リンク |
| Chainlit | すぐに使える会話型AIアプリを数分で構築。 | リンク |
ローコード
| 図書館名 | 説明 | リンク |
|---|---|---|
| LangFlow | LangFlowはRAGやマルチエージェントAIアプリケーションのためのローコードアプリケーションビルダーです。Pythonをベースとしており、モデルやAPI、データベースとは独立しています。 | リンク |
(キャッシュ
| 図書館名 | 説明 | リンク |
|---|---|---|
| GPTCache | LLMクエリ用のセマンティックキャッシュを作成するためのライブラリ。LLM APIのコストを10倍Ὃ低減し、速度を100倍向上。LangChainおよびLlamaIndexと完全に統合。 | リンク |
LLM RAG
| 図書館名 | 説明 | リンク |
|---|---|---|
| FastGraph RAG | 合理的で迅速なFast GraphRAGフレームワークは、解釈可能で高精度のエージェント駆動型検索ワークフローのために設計されている。 | リンク |
| Chonkie | RAGチャンキング・ライブラリ、軽量、超高速、使いやすい。 | リンク |
| RAGChecker | RAGを診断するためのきめ細かいフレームワーク。 | リンク |
| RAG to Riches | 高度な検索機能付き生成アプリケーションを構築、拡張、展開。 | リンク |
| BeyondLLM | Beyond LLMは、RAG（Retrieval Augmented Generation）システムの実験、評価、展開のためのオールインワンのツールキットを提供する。 | リンク |
| SQLite-Vec | どこでも動作するベクトル検索 SQLite 拡張！ | リンク |
| fastRAG | fastRAGは、高度なLLMと情報検索技術を組み合わせた、効率的で最適化されたエンハンスドジェネレーションパイプラインの検索を行うための研究フレームワークである。 | リンク |
| FlashRAG | 効率的なRAG調査のためのPythonツールキット。 | リンク |
| Llmware | 小規模な専用モデルを使用してエンタープライズRAGパイプラインを構築するための統一フレームワーク。 | リンク |
| Rerankers | 様々な並び替えモデルのための軽量な統一API。 | リンク |
| Vectara | Agentic RAGアプリケーションを構築する。 | リンク |
LLM推論
| 図書館名 | 説明 | リンク |
|---|---|---|
| LLM Compressor | 様々な圧縮アルゴリズムをLLMに適用して展開を最適化するためのTransformers互換ライブラリ。 | リンク |
| LightLLM | PythonベースのLLM推論・サービスフレームワークで、軽量設計、スケーラビリティの容易さ、高速性能で知られている。 | リンク |
| vLLM | LLMのための高スループットでメモリ効率の良い推論・サービスエンジン。 | リンク |
| torchchat | PyTorch LLMをサーバー、デスクトップ、モバイルデバイスでローカルに実行する。 | リンク |
| TensorRT-LLM | TensorRT-LLMは、Large Language Model (LLM)推論を最適化するためのライブラリです。 | リンク |
| WebLLM | 高性能なブラウザ内LLM推論エンジン。 | リンク |
LLMサービス展開
| 図書館名 | 説明 | リンク |
|---|---|---|
| Langcorn | FastAPI を使用して、LangChain LLM アプリケーションとエージェントのサービスを自動化します。 | リンク |
| LitServe | あらゆるサイズのAIモデルに対応する超高速サービスエンジン。バッチ処理、ストリーミング、GPUオートスケールなどの機能でFastAPIを強化します。 | リンク |
LLMデータ抽出
| 図書館名 | 説明 | リンク |
|---|---|---|
| Crawl4AI | オープンソースのLLMフレンドリーなWebクローラーとクローリングツール。 | リンク |
| ScrapeGraphAI | LLMとダイレクトグラフロジックを使って、ウェブサイトやローカルドキュメント（XML、HTML、JSON、Markdownなど）のクローリングパイプラインを作成するウェブクローリングPythonライブラリ。 | リンク |
| Docling | Doclingは、文書を解析し、簡単かつ迅速に希望の形式にエクスポートします。 | リンク |
| Llama Parse | GenAIネイティブドキュメントパーサーは、下流のLLMユースケース（RAG、エージェント）のために複雑なドキュメントデータを解析することができます。 | リンク |
| PyMuPDF4LLM | PyMuPDF4LLMライブラリは、LLMとRAG環境で必要とされる形式でPDFコンテンツを抽出することを容易にします。 | リンク |
| Crawlee | ウェブクローラーとブラウザ自動化ライブラリ。 | リンク |
| MegaParse | 文書タイプごとのパーサー。 | リンク |
| ExtractThinker | LLMのためのドキュメント・インテリジェンス・ライブラリー。 | リンク |
LLMデータ作成
| 図書館名 | 説明 | リンク |
|---|---|---|
| DataDreamer | DataDreamerは、プロンプト、合成データ生成、トレーニングワークフローのための強力なオープンソースのPythonライブラリです。 | リンク |
| fabricator | 大規模言語モデルを使用してデータセットを生成するための柔軟なオープンソースフレームワーク。 | リンク |
| Promptwright | 合成データセット生成ライブラリ。 | リンク |
| EasyInstruct | 大規模な言語モデル命令を処理するための使いやすいフレームワーク。 | リンク |
LLMインテリジェント・ボディ
| 図書館名 | 説明 | リンク |
|---|---|---|
| CrewAI | ロールプレイをする自律型AIエージェントを編成するためのフレームワーク。 | リンク |
| LangGraph | エラスティック言語エージェントをグラフとして構築する。 | リンク |
| Agno | 記憶、知識、ツール、推論機能を持つAIエージェントを構築。美しいエージェントUIを使って、彼らとチャットしましょう。 | リンク |
| AutoGen | AIエージェントシステム構築のためのオープンソースフレームワーク。 | リンク |
| Smolagents | 数行のコードで強力なエージェントを構築するためのライブラリ。 | リンク |
| Pydantic AI | Pythonエージェントフレームワークは、生成AIを使用してプロダクショングレードのアプリケーションを構築するためのものです。 | リンク |
| gradio-tools | LLMベースのエージェントがタスクを完了するために利用できるツールにGradioアプリケーションを変換するためのPythonライブラリ。 | リンク |
| Composio | AIエージェントのための量産可能なツールセット。 | リンク |
| Atomic Agents | AIエージェントをアトミックに構築する。 | リンク |
| Memary | 自律型エージェントのためのオープンソースのメモリ層。 | リンク |
| Browser Use | AIエージェントがアクセスできるサイトにする。 | リンク |
| OpenWebAgent | 大規模言語モデルでウェブプロキシ機能を実現するオープンなツールキット。 | リンク |
| Lagent | LLMベースのエージェントを構築するための軽量フレームワーク。 | リンク |
| LazyLLM | マルチエージェントLLMアプリケーション構築のためのローコード開発ツール。 | リンク |
| Swarms | エンタープライズクラスのプロダクション対応マルチエージェント・オーケストレーションのためのフレームワーク。 | リンク |
| ChatArena | ChatArenaは、マルチエージェント言語ゲーム環境を提供し、自律LLMエージェントとその社会的相互作用の研究を促進するライブラリです。 | リンク |
| Swarm | 人間工学に基づいた、軽量なマルチエージェント・オーケストレーション教育フレームワークの探求。 | リンク |
| AgentStack | 強力なAIエージェントを構築する最速の方法。 | リンク |
| Archgw | インテリジェント・エージェント・ゲートウェイ | リンク |
| Flow | AIエージェントを構築するための軽量タスクエンジン。 | リンク |
| AgentOps | AIエージェント監視のためのPython SDK。 | リンク |
| Langroid | マルチエージェントのフレームワーク。 | リンク |
| Agentarium | AI主導のエージェントを投入するシミュレーションを作成・管理するためのフレームワーク。 | リンク |
| Upsonic | アジュバント MCP 信頼性の高いAIエージェントのためのフレームワーク。 | リンク |
LLMアセスメント
| 図書館名 | 説明 | リンク |
|---|---|---|
| Ragas | Ragasは大規模言語モデル（LLM）アプリケーションの評価と最適化のための究極のツールキットです。 | リンク |
| Giskard | MLとLLMシステムのためのオープンソースの評価とテストツール。 | リンク |
| DeepEval | LLM評価の枠組み | リンク |
| Lighteval | LLMを評価するためのオールインワンのツールキット。 | リンク |
| Trulens | LLM実験の評価・追跡ツール | リンク |
| PromptBench | 大規模言語モデリングのための統一された評価フレームワーク。 | リンク |
| LangTest | 安全で有効な言語モデルを提供精度、バイアス、公平性、ロバスト性などの観点からLLMとNLPモデルを比較するための60以上のテストタイプ。 | リンク |
| EvalPlus | LLM4Codeの厳密な評価フレームワーク。 | リンク |
| FastChat | 大規模な言語モデルに基づくチャットボットのトレーニング、サービス、評価のためのオープンプラットフォーム。 | リンク |
| judges | LLMの審査員は少ない。 | リンク |
| Evals | Evalsは、LLMとLLMシステムを評価し、オープンソースのレジストリをベンチマークするためのフレームワークである。 | リンク |
| AgentEvals | エージェントのパフォーマンスを評価するための評価ツールとユーティリティ。 | リンク |
| LLMBox | 統一されたトレーニングパイプラインと包括的なモデル評価を含む、包括的なLLMライブラリ。 | リンク |
| Opik | オープンソースのエンドツーエンドのLLM開発プラットフォームで、LLM評価も含まれています。 | リンク |
LLMモニタリング
| 図書館名 | 説明 | リンク |
|---|---|---|
| MLflow | LLMアプリケーションを追跡、評価、監視するためのオープンソースのエンドツーエンドMLOps/LLMOpsプラットフォーム。 | リンク |
| Opik | オープンソースのエンドツーエンドのLLM開発プラットフォームで、LLMモニタリングも含まれています。 | リンク |
| LangSmith | LLMアプリケーションの文書化、監視、改善のためのツールを提供します。 | リンク |
| Weights & Biases (W&B) | W&BはLLMのパフォーマンスを追跡する機能を提供している。 | リンク |
| Helicone | 開発者のためのオープンソースLLM観測可能性プラットフォーム。モニタリング、メトリクス、評価、エージェントトラッキング、キュー管理、プレイグラウンドなどを1行で統合できます。 | リンク |
| Evidently | オープンソースのMLおよびLLM観測可能性フレームワーク。 | リンク |
| Phoenix | 実験、評価、トラブルシューティングのために設計されたオープンソースのAI観測可能性プラットフォーム。 | リンク |
| Observers | AI可観測性のための軽量ライブラリ。 | リンク |
LLM キュー・ワード・エンジニアリング
| 図書館名 | 説明 | リンク |
|---|---|---|
| PCToolkit | 大規模言語モデルのための統合プラグアンドプレイヒント圧縮ツールキット。 | リンク |
| Selective Context | 選択的コンテキストは、ユーザーのプロンプトとコンテキストを圧縮し、LLM（ChatGPTなど）が2倍のコンテンツを処理できるようにします。 | リンク |
| LLMLingua | LLM推論を高速化するためにヒントを圧縮するライブラリ。 | リンク |
| betterprompt | LLMプロンプトを本番環境にプッシュする前にテストするためのスイート。 | リンク |
| Promptify | LLMで自然言語処理問題を解決し、PromptifyでGPT、PaLMなどの一般的な生成モデル用のさまざまな自然言語処理タスクプロンプトを簡単に生成します。 | リンク |
| PromptSource | PromptSourceは、自然言語プロンプトを作成、共有、使用するためのツールキットです。 | リンク |
| DSPy | DSPyは、（プロンプトではなく）言語モデルをプログラミングするためのオープンソースのフレームワークです。 | リンク |
| Py-priompt | デザイン・ライブラリーの出番だ。 | リンク |
| Promptimizer | ライブラリを最適化するヒント | リンク |
LLM構造化出力
| 図書館名 | 説明 | リンク |
|---|---|---|
| Instructor | 大規模言語モデル（LLM）の構造化出力を処理するためのPythonライブラリ。Pydanticの上に構築され、シンプルで透過的でユーザーフレンドリーなAPIを提供します。 | リンク |
| XGrammar | 効率的で柔軟かつポータブルな構造体生成のためのオープンソースライブラリ。 | リンク |
| Outlines | 強力な（構造化）テキスト生成 | リンク |
| Guidance | ガイダンスとは、言語モデルを導くために使われる有効なプログラミングパラダイムである。 | リンク |
| LMQL | 制約ブートストラップと効率的なLLMプログラミングのための言語。 | リンク |
| Jsonformer | 言語モデルから構造化JSONを生成するフールプルーフ・メソッド。 | リンク |
LLMセキュリティ
| 図書館名 | 説明 | リンク |
|---|---|---|
| JailbreakEval | 脱獄の試みを評価するための自動化された評価者のコレクション。 | リンク |
| EasyJailbreak | 敵対的脱獄ヒントを生成するための使いやすいPythonフレームワーク。 | リンク |
| Guardrails | 大規模な言語モデルにガードレールを追加する。 | リンク |
| LLM Guard | LLMインタラクティブ・セキュリティ・ツールキット。 | リンク |
| AuditNLG | AuditNLGは、言語生成AIシステムの使用に関連するリスクを軽減するのに役立つオープンソースライブラリです。 | リンク |
| NeMo Guardrails | NeMo Guardrailsは、LLMベースの対話システムにプログラマブルなガードレールを簡単に追加するためのオープンソースのツールキットです。 | リンク |
| Garak | LLM脆弱性スキャナー | リンク |
LLM組み込みモデル
| 図書館名 | 説明 | リンク |
|---|---|---|
| Sentence-Transformers | 高度なテキスト埋め込みモデル | リンク |
| Model2Vec | 高速で高度な静的埋め込みモデル | リンク |
| Text Embedding Inference | TEIは、FlagEmbedding、Ember、GTE、E5を含む最も一般的なモデルのための高性能な抽出を可能にします。 | リンク |
その他
| 図書館名 | 説明 | リンク |
|---|---|---|
| Text Machina | 検出、帰属、境界検出などのMGT関連タスクのロバストモデルを構築するための、高品質で偏りのないデータセットの作成を支援するように設計された、モジュール式で拡張可能なPythonフレームワーク。 | リンク |
| LLM Reasoners | 高度な大規模言語モデル推論のためのライブラリ。 | リンク |
| EasyEdit | 大規模言語モデルのための使いやすい知識編集フレームワーク。 | リンク |
| CodeTF | CodeTF: 高度なコードLLMのためのワンストップTransformerライブラリ。 | リンク |
| spacy-llm | このパッケージは、ラピッドプロトタイピングとキューイングのためのモジュラーシステムを持つspaCyに大規模言語モデル（LLM）を統合し、様々な自然言語処理タスクのためのロバストな出力に非構造化応答を変換します。 | リンク |
| pandas-ai | ユーザーのデータベース（SQL、CSV、pandas、polars、MongoDB、NoSQLなど）とチャット。 | リンク |
| LLM Transparency Tool | Transformerベースの言語モデルの内部構造を分析するためのオープンソースのインタラクティブなツールキット。 | リンク |
| Vanna | ユーザのSQLデータベースとチャット。RAGのLLMを使用した正確なテキストからSQLへの生成。 | リンク |
| mergekit | 事前に訓練された大規模言語モデルをマージするためのツール。 | リンク |
| MarkLLM | LLM電子透かしオープンソースツールキット。 | リンク |
| LLMSanitize | 自然言語処理データセットと大規模言語モデル（LLM）における汚染検出のためのオープンソースライブラリ。 | リンク |
| Annotateai | LLMを使用して論文に自動的に注釈を付ける。 | リンク |
| LLM Reasoner | OpenAIのようなLLMをo1とする。 DeepSeek R1のように考える。 | リンク |
