O Tinybird oferece uma variedade de métodos de ingestão de dados em tempo real, suportando principalmente os três mecanismos principais a seguir:
- Conectores nativos do KafkaVocê pode transmitir dados de tópicos do Kafka diretamente para a fonte de dados do Tinybird usando o comando
- Importação em lote S3/GCSSuporte para importação de dados de arquivos do Amazon S3 ou do Google Cloud Storage com curingas e importações programadas
- API de eventos HTTPenvia dados de eventos diretamente por meio de pontos de extremidade HTTP, adequados para uma variedade de cenários de aplicativos personalizados
Etapas específicas de implementação:
- Primeiro, você precisa configurar a fonte de dados. Por exemplo, conecte-se ao Kafka com um comando CLI:
- Para importações S3, vários arquivos podem ser especificados usando padrões curinga:
- Para enviar dados diretamente pela API de eventos, use uma solicitação cURL ou o SDK
A arquitetura de ingestão de dados do Tinybird foi projetada para processamento em tempo real, de modo que os dados estejam disponíveis para consulta e análise assim que chegarem. A plataforma lida automaticamente com o particionamento de dados e a otimização do armazenamento, de modo que os desenvolvedores só precisam se concentrar na extração de valor dos próprios dados.
Essa resposta foi extraída do artigoTinybird: uma plataforma para criar rapidamente APIs de análise de dados em tempo realO