Die folgenden Systemvoraussetzungen müssen erfüllt sein, um vllm-cli zu installieren:
- Python 3.11 oder höher.
- NVIDIA-GPUs mit CUDA-Unterstützung
- Installiertes vLLM-Kernpaket
Es gibt zwei Arten der Befestigung:
- Installation von PyPI(Empfohlen für Anfänger):
Befehl ausführenpip install vllm-cli - Kompilieren und Installieren aus dem Quellcode(für Entwickler):
git clone https://github.com/Chen-zexi/vllm-cli.git
cd vllm-cli
pip install -r requirements.txt
pip install -e .
Es wird empfohlen, in einer virtuellen Umgebung zu installieren, um Abhängigkeitskonflikte zu vermeiden. Für Szenarien, die LoRA-Unterstützung erfordern, ist eine zusätzliche Konfiguration der Komponente hf-model-tool erforderlich.
Diese Antwort stammt aus dem ArtikelvLLM CLI: Kommandozeilen-Tool für die Bereitstellung großer Sprachmodelle mit vLLMDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie installiere ich vllm-cli und welche Systemanforderungen muss ich erfüllen?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil