Sobre
Sou engenheiro de dados há mais de 12 anos — 6 deles em desenvolvimento de software e web, e os últimos 6 focado em engenharia de dados, plataformas de streaming e infraestrutura de dados em escala.
Atualmente sou Senior Staff Software Engineer no will bank. Antes disso, liderei a plataforma de dados da MonetizeMore como Lead Data Engineer, e passei por posições de Tech Lead de plataforma de dados na Escale Digital e na Wildlife Studios. Meu caminho até aqui passou também por Grupo ZAP e VAGAS.com como Data Engineer — sempre no lado de construir a infraestrutura que sustenta decisões de produto e negócio, não só os relatórios finais.
Como cheguei até dados
Comecei como desenvolvedor backend, boa parte desse tempo dentro do ecossistema Ruby on Rails — passei por consultorias e boutiques de software (Codeminer42, Locaweb) e por um projeto de e-commerce de alto volume no Walmart.com Brasil, onde aprendi bastante sobre operar sistemas críticos sob carga real. Antes disso, ainda na graduação em Ciência da Computação pela Universidade Estadual de Londrina, passei um tempo em pesquisa com Aprendizado de Máquina aplicado a problemas biológicos e médicos — foi provavelmente ali que a curiosidade por dados começou a competir com a paixão por construir software.
A transição para engenharia de dados aconteceu de forma natural: à medida que os sistemas que eu construía cresciam, os problemas mais interessantes deixaram de ser “como servir uma requisição” e passaram a ser “como mover, transformar e confiar em dados na escala certa”.
O que eu faço
Trabalho principalmente com a transição de arquiteturas ETL tradicionais para arquiteturas ágeis e orientadas a streaming — SQL sobre Hadoop (Athena/Presto), processamento distribuído com Spark, orquestração com Airflow e plataformas de streaming construídas sobre Kafka. Também tenho experiência com bancos de dados transacionais distribuídos (Cassandra, HBase) e ferramentas de governança de metadados (Atlas, Hive Metastore).
Boa parte do meu trabalho nos últimos anos não é só código: é também liderança técnica — guiar squads através de migrações de arquitetura, definir padrões de engenharia e ajudar equipes a saírem de um modelo centralizado (uma pessoa ou time segurando todo o conhecimento) para uma plataforma de dados que qualquer time consegue usar com autonomia.
Escrever também não é novidade pra mim: já publiquei sobre ciência de dados e aprendizado de máquina antes, então este blog é menos um experimento e mais a continuação de um hábito.
Sobre este blog
Aqui eu escrevo sobre os temas que mais me ocupam no dia a dia: modelos de execução de plataformas de dados, streaming, lakehouses e as decisões de engenharia por trás desses sistemas — sem grandes promessas, só o que aprendi tentando resolver problemas reais, geralmente depois de errar da primeira vez.