Rodando pipelines de CDC com OpenEverest
Migração e modernizaçãoMontar um pipeline de CDC (MySQL, Debezium, Kafka, ClickHouse) não é o difícil. O difícil é operar isso: manter os brokers, os conectores, o destino analítico e a captura de binlog de pé, versionados e reproduzíveis, sem virar um monte de YAML colado e scripts frágeis. Nesta palestra apresento como usamos o OpenEverest, plataforma open source de bancos de dados no Kubernetes, para rodar pipelines de CDC de forma declarativa. Em vez de operar cada peça na mão, você declara providers: Redpanda ou Kafka (Strimzi) como camada de streaming, Kafka Connect para os conectores, ClickHouse como destino, e Debezium capturando as mudanças do MySQL. Tudo como recursos gerenciados, com o operador cuidando do ciclo de vida. Vou mostrar a arquitetura real, os providers que construímos e contribuímos ao projeto (Redpanda, Strimzi/Kafka, ClickHouse), como as camadas se encaixam (broker, Connect, CDC), e os tradeoffs de rodar streaming stateful sobre Kubernetes. O público sai sabendo como levantar um pipeline de CDC reproduzível e por que tratar streaming como plataforma declarativa muda o jogo operacional.