Tinybird bietet eine Vielzahl von Echtzeit-Dateningestionsmethoden, die hauptsächlich die folgenden drei Kernmechanismen unterstützen:
- Native Kafka-KonnektorenSie können Kafka-Topic-Daten direkt in die Tinybird-Datenquelle streamen, indem Sie den Befehl
- S3/GCS-Batch-ImportUnterstützung für den Import von Dateidaten aus Amazon S3 oder Google Cloud Storage mit Wildcards und zeitgesteuerten Importen
- HTTP-Ereignisse-API: sendet Ereignisdaten direkt über HTTP-Endpunkte für eine Vielzahl von benutzerdefinierten Anwendungsszenarien
Spezifische Umsetzungsschritte:
- Zunächst müssen Sie die Datenquelle konfigurieren. Verbinden Sie sich zum Beispiel mit einem CLI-Befehl mit Kafka:
- Bei S3-Importen können mehrere Dateien mit Platzhaltermustern angegeben werden:
- Um Daten direkt über die Ereignis-API zu senden, verwenden Sie eine cURL-Anfrage oder das SDK
Tinybirds Datenaufnahmearchitektur ist für die Echtzeitverarbeitung ausgelegt, so dass die Daten für Abfragen und Analysen zur Verfügung stehen, sobald sie eintreffen. Die Plattform kümmert sich automatisch um die Datenpartitionierung und Speicheroptimierung, so dass sich die Entwickler nur auf die Extraktion von Werten aus den Daten selbst konzentrieren müssen.
Diese Antwort stammt aus dem ArtikelTinybird: eine Plattform für den schnellen Aufbau von Echtzeit-Datenanalyse-APIsDie