海外からのアクセス:www.kdjingpai.com
Ctrl + D このサイトをブックマークする
現在の場所図頭 " AIアンサー

vllm-cliにはどのようなプリセット設定オプションがあり、それぞれどのような特徴がありますか?

2025-08-21 45

vllm-cliには4つの最適化されたコンフィギュレーション・シナリオが内蔵されており、異なる使用シナリオ向けに特別に調整されている:

  • 標準vLLMが推奨するインテリジェントなパラメータを使用したデフォルト設定。
  • 萌え_最適化専門家の選択とルーティングに関するパラメータを調整し、混合専門家(MoE)モデルに最適化。
  • 高スループットリクエストのスループットを最大化する構成で、高頻度のモデル呼び出しが必要なシナリオに適しています。
  • ローメモリGPUメモリに制限のあるハードウェア環境向けに、FP8量子化などの技術を自動的に有効にし、メモリを最適化したコンフィギュレーションを提供します。

これらの事前定義されたプログラムは、以下の方法でアクセスできます。--profileパラメーターのクイックコール実用的な開発では、最初にstandardコンフィギュレーションを選択し、他の最適化オプションを選択するか、特定のニーズに応じてカスタムパラメータを調整する。

おすすめ

AIツールが見つからない?こちらをお試しください!

キーワードを入力する アクセシビリティこのサイトのAIツールセクションは、このサイトにあるすべてのAIツールを素早く簡単に見つける方法です。

トップに戻る

ja日本語