Schritt3 Nahtlosigkeit wird erreicht durch:
- native Unterstützung OpenAI/Anthropic-kompatible REST-APIs Schnittstellenprotokolle, Anfrageformate sind identisch
- Bereitstellung eines standardisierten
/v1/completionsEndpunkte, die gemischte Text/Bild-Eingaben im JSON-Format unterstützen
Schritte zur Umsetzung:
- passieren (eine Rechnung oder Inspektion etc.)
git clone https://github.com/stepfun-ai/Step3.gitCode erhalten - ausnutzen
python -m vllm.entrypoints.api_serverStarten Sie den Dienst (Standard-Port 8000) - Sehen Sie sich den Beispielcode an, um den ursprünglichen OpenAI-Client zu ändern
base_urllokale Adresse
Tests haben gezeigt, dass die durchschnittliche Transformationszeit für die Migration bestehender Anwendungen unter 2 Stunden gehalten werden kann.
Diese Antwort stammt aus dem ArtikelSchritt 3: Effiziente Generierung von quelloffenen Makromodellen für multimodale InhalteDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie man schnell multimodale Dienste implementiert, die mit kommerziellen APIs wie OpenAI kompatibel sind
Deutsch 
简体中文 
English 
日本語 
Português do Brasil