Implementierung der Streaming-Technologie
So aktivieren Sie die ChatGPT-ähnliche Schreibmaschineneffekt-Ausgabe:
- Parameter-Konfiguration anfordern: Fügen Sie im JSON-Anfragetext Folgendes hinzu
"stream": true
Feld - Client-seitige VerarbeitungStreaming read interface using EventSource or Fetch API, Beispielcode:
fetch('/v1/chat/completions', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({stream: true, messages: [...]})
}).then(async res => {
const reader = res.body.getReader()
while(true) {
const {done, value} = await reader.read()
if(done) break
// 处理分块数据
}
}) - Server-seitige OptimierungVermeiden Sie die Verwendung beim Starten
--log file
Parameter (der die E/A-Latenzzeit erhöht)
Technisches Prinzip: Das Projekt verwendet intern das SSE-Protokoll (Server-Sent Events), und jeder Datenblock enthältdata: [JSON]nn
Format für inkrementelle Inhalte.
Diese Antwort stammt aus dem ArtikelGemini-CLI-2-API: Umwandlung der Gemini-CLI in einen OpenAI-kompatiblen Native-API-DienstDie