Tinybirdは様々なリアルタイムデータインジェスト方法を提供しているが、主に以下の3つのコアメカニズムをサポートしている:
- Kafkaネイティブ・コネクタKafkaトピックデータをTinybirdデータソースに直接ストリーミングするには、次のコマンドを使用します。
- S3/GCSバッチインポートAmazon S3やGoogle Cloud Storageからのファイルデータのインポートをサポート。
- HTTPイベントAPI様々なカスタム・アプリケーション・シナリオに適したHTTPエンドポイント経由でイベント・データを直接送信します。
具体的な実施手順
- まず、データソースを設定する必要がある。例えば、CLIコマンドでKafkaに接続する:
- S3インポートでは、ワイルドカードパターンを使って複数のファイルを指定できる:
- Events APIを通じて直接データを送信するには、cURLリクエストまたはSDKを使用します。
Tinybirdのデータ・インジェスト・アーキテクチャーはリアルタイム処理のために設計されているため、データが到着するとすぐにクエリや分析が可能です。プラットフォームはデータのパーティショニングとストレージの最適化を自動的に処理するため、開発者はデータそのものから価値を引き出すことだけに集中すればよい。
この答えは記事から得たものである。Tinybird: リアルタイムデータ分析APIを迅速に構築するためのプラットフォームについて