Vollständiges Programm für den Einsatz vor Ort
Private Deployment LM Speed unterstützt sowohl die Docker-Containerisierung als auch natives Node.js:
Containerisierte Bereitstellungslösung
- Stellen Sie sicher, dass Docker v20+ und docker-compose installiert sind.
- Nachdem Sie das Projekt-Repository von GitHub geklont haben, konfigurieren Sie es wie in der Dokumentation beschrieben
docker-compose.ymlDie Datenbankparameter in der Datei - vollziehen
docker-compose up -dStarten Sie den Dienst-Stack, der standardmäßig Port 8650 offenlegt
Programm zur Einführung der einheimischen Bevölkerung
- Node.js v16+ und PostgreSQL müssen vorinstalliert sein.
- passieren (eine Rechnung oder Inspektion etc.)
.envKonfigurationsdatei zum Festlegen der Datenbankverbindungszeichenfolge und des JWT-Schlüssels - Sicherstellung einer hohen Verfügbarkeit der Dienste durch Prozessmanager wie PM2
Beide erfordern Aufmerksamkeit:Bereitstellung der ProduktionsumgebungEs wird empfohlen, den NGINX-Reverse-Proxy und Let's Encrypt-Zertifikate zu konfigurieren sowie angemessene Parameter für den PostgreSQL-Verbindungspool festzulegen (20-50 Verbindungen empfohlen), um Testszenarien mit hoher Nebenläufigkeit zu bewältigen. Die Testdaten werden in der auf dem Volume gemounteten Datenbank persistiert, eine regelmäßige Sicherung mittels pg_dump wird empfohlen.
Diese Antwort stammt aus dem ArtikelLM-Geschwindigkeit: Schnelles Testen der API-Leistung großer ModelleDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann ich eine LM Speed Testumgebung lokal einsetzen?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil