Plataforma de Dados — Os desafios (Parte 1)
Os desafios de escalabilidade e autonomia encontrados na construção de plataformas de dados.
#data-engineering
5 artigos
Plataforma de Dados — Solução para Consumo (Parte 2)
Uma arquitetura desacoplada para armazenamento, catálogo e processamento analítico de dados.
Do full load ao incremental: por que computar mudanças não basta
Como monotonicidade, coordenação e as informações preservadas pelo pipeline explicam os limites entre full load e processamento incremental.
Plataforma de Dados — Solução para Ingestão (Parte 3)
Uma camada de ingestão autônoma e próxima do tempo real baseada em Kafka, Avro e armazenamento de objetos.
Modelo de Execução SQL
Como uma query SQL se transforma em AST, plano lógico, plano otimizado e execução.