このリポジトリは、vLLMとOllamaを介したモデルの迅速な展開をサポートしている：
- vLLMの展開::
- vLLMをインストールするには
uv pip install --pre vllm==0.10.1+gptoss --extra-index-url https://wheels.vllm.ai/gpt-oss/. - サーバーの起動：実行
vllm serve openai/gpt-oss-20bOpenAI互換のAPIサービスを提供する。
- vLLMをインストールするには
- オッラマの配備::
- プルモデル：ラン
ollama pull gpt-oss:20bモデルをダウンロードする。 - スタートアップ・モデル：実施
ollama run gpt-oss:20bコンシューマーグレードのハードウェアでモデルを実行する。
- プルモデル：ラン
vLLMは本番環境のAPIデプロイに適しており、Ollamaはローカルのテストや開発に適している。
この答えは記事から得たものである。OpenAI GPT OSSモデルを微調整するためのスクリプトとチュートリアル集について
無断転載を禁じます：AI生産性ツール " gpt-ossモデルをvLLMやOllama経由で素早くデプロイするには？
日本語 
简体中文 
English 
Deutsch 
Português do Brasil