Otávio Ribeiro — Data Engineering Manager

01

Quem eu sou

+10 anos transformando dados em decisões que movem negócios.

Desenho e implemento arquiteturas de dados modernas que escalam. Especialista em Databricks — meu playground inclui Delta Lake, Unity Catalog, Delta Live Tables e MLflow. Aplico governança rigorosa, automação inteligente e qualidade de dados em ambientes enterprise que processam petabytes.

Antes do bronze, sempre há uma zona de pouso (landing zone): trago todas as fontes do negócio para um único lago append-only — o que chamo de lago de petróleo. Cada linha guarda o histórico completo de alterações, o que torna a auditoria trivial e alimenta o data quality na camada prata. Por ser bruta e imutável, essa zona pode ser recuperada e reprocessada em qualquer stack — a arquitetura nunca fica refém de uma ferramenta.

Lidero squads multidisciplinares para entregar plataformas data-driven que aceleram o time-to-insight. Na camada gold, minha aposta são One Big Tables orientadas a domínio: em vez de travar o time definindo entidades e relacionamentos, entrego o grão certo para a visualização de cada domínio — e o Single Source of Truth passa a ser adotado por padrão, não por imposição. Orquestração robusta (Databricks Workflows, Airflow, dbt) e cloud-native em GCP e Azure, construindo para escala, performance e custo otimizado.

02

Arquitetura viva

Do lago de petróleo às OBTs por domínio — o dado flui, é qualificado e vira decisão.

00

Fontes

APIs · bancos · eventos · arquivos

01

Landing Zone

Lago de petróleo · append-only · histórico por linha

02

Bronze

Ingestão bruta · tipagem · sem regra de negócio

03

Prata

Enriquecimento · qualificação · quarentena de DQ

Quarentena DQ

04

Ouro

OBTs por domínio · fatos + dimensões · grão por visão

Fluxo contínuo

Cada camada refina o dado da anterior — reprocessável em qualquer stack a partir da landing zone.

00

Fontes

STAGE.SPEC

Transformação

# conectores heterogêneos · idempotentes
api:      REST + webhook      # paginação · retry · backoff
db:       CDC (log-based)     # snapshot + incremental
eventos:  kafka topics        # schema registry
arquivos: s3://raw/*.{csv,json,parquet}

Entrada: apis · dbs · kafka · s3
Saída: landing.raw_*
Grão: evento / registro

Ferramentas

KafkaDebeziumAirbyteAirflow

01

Landing Zone

STAGE.SPEC

Transformação

-- lago de petróleo · append-only · nada é sobrescrito
COPY INTO landing.raw_pedidos
FROM 's3://raw/pedidos/dt=${ds}/'
FILEFORMAT = PARQUET
COPY_OPTIONS ('mergeSchema' = 'true');
-- reprocessável a partir de qualquer ponto

Entrada: streams + arquivos brutos
Saída: landing.raw_<fonte>
Grão: linha · append-only

Ferramentas

Delta LakeS3 / ADLSSpark

02

Bronze

STAGE.SPEC

Transformação

-- ingestão bruta + tipagem, sem regra de negócio
CREATE OR REPLACE TABLE bronze.pedidos AS
SELECT
  CAST(id        AS BIGINT)        AS pedido_id,
  CAST(valor     AS DECIMAL(18,2)) AS valor,
  CAST(criado_em AS TIMESTAMP)     AS criado_em,
  _ingestion_ts, _source_file
FROM landing.raw_pedidos;

Entrada: landing.raw_*
Saída: bronze.<entidade>
Grão: linha tipada

Ferramentas

Spark SQLdbtDelta

03

Prata

STAGE.SPEC

Transformação

-- qualificação + quarentena de DQ (linha a linha)
WITH ck AS (
  SELECT *,
    pedido_id IS NOT NULL AS ck_pk,
    valor >= 0            AS ck_valor
  FROM bronze.pedidos
)
INSERT INTO silver.pedidos
  SELECT * FROM ck WHERE ck_pk AND ck_valor;
INSERT INTO silver._quarentena
  SELECT * FROM ck WHERE NOT (ck_pk AND ck_valor);

Entrada: bronze.*
Saída: silver.* + silver._quarentena
Grão: linha qualificada

Checks de DQ

PK não-nulavalor ≥ 0data ≤ agoraunicidade

Ferramentas

dbt testsGreat ExpectationsSpark

04

Ouro

STAGE.SPEC

Transformação

-- OBT por domínio · fatos + dimensões · grão por visão
MERGE INTO gold.obt_receita t
USING (
  SELECT p.pedido_id, p.valor, c.segmento, d.mes
  FROM   silver.pedidos p
  JOIN   silver.clientes c USING (cliente_id)
  JOIN   dim.calendario  d ON d.data = p.criado_em::date
) s ON t.pedido_id = s.pedido_id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;

Entrada: silver.*
Saída: gold.obt_<domínio>
Grão: 1 linha / visão

Ferramentas

dbtDeltaBI

03

Impacto em números

Arquitetura de dados escalável, entregue e adotada em tempo recorde.

01

498Tabelas no lakehouse medalhão (bronze → prata → ouro), em 3 meses

02

10+Anos de experiência

03

2Engenheiros para construir tudo (1 pleno + 1 sênior)

04

60%Do volume de consultas migrado para a nova arquitetura em menos de 3 meses

A tese por trás dos números

GOLD em One Big Tables orientadas a domínio · SSOT adotado sem a armadilha entidade-relacionamento · recorde de adoção numa empresa de 160 pessoas

04

Desenvolvimento com IA, sob governança

Os números acima saíram em tempo recorde porque, aqui, IA é operada com arquitetura: agentes especializados, guardrails e conhecimento versionado — não prompt solto.

0086Agentes especializados
0175Skills operacionais
0217Hooks de contexto e guardrail
03180+Bases de conhecimento versionadas
047Repositórios sob harness

01

Orquestração

Um orquestrador decompõe a demanda, dispara especialistas em contexto isolado e um validador cruza tudo com a documentação oficial. Cada especialista devolve um resumo de ≤250 palavras — contexto enxuto, custo previsível.

02

Guardrails

Denylist bloqueia deploy em produção, force-push, reset da main e leitura de segredos; allowlist read-only por padrão. Os agentes propõem e auditam, mas pedem confirmação antes de aplicar ou abrir ticket.

03

Contexto dinâmico

Hooks injetam o estado do Git, carregam a skill certa por palavra-chave e validam YAML e Conventional Commits a cada edição. CLAUDE.md enxuto + carregamento sob demanda via @path.

04

Conhecimento versionado

KBs por domínio, ADRs e um memory-keeper que combate a defasagem do conhecimento. O contrato de camadas do medalhão (bronze → prata → ouro) é garantido por testes de CI.

Cases públicos

A mesma arquitetura aparece fora do trabalho: este portfólio (pipeline art-director → motion-engineer → frontend-builder → auditoria de a11y/performance) e o saul_goodman (agentes de review, i18n em 13 idiomas, QA e fundamentos de ML).

05

Máquinas de enriquecimento de dados

Transformo dados públicos da web em datasets enriquecidos e confiáveis: uma máquina configurável de scraping + LLM, com resolução de identidade determinística e guardrails contra alucinação.

0011Fontes públicas orquestradas
0170+Atributos por entidade
0210LLMs avaliados em bake-off
033Camadas de resolução de identidade

A máquina, ponta a ponta

01Semente

02Resolução de identidade

03Scraping

04Extração com LLM

05Dedup + Data Quality

06Carga idempotente em Delta

Scraping resiliente

requests + proxy de leitura headless que contorna JS e anti-bot, com BeautifulSoup para descoberta de links. Workers concorrentes, rate-limit educado, retry com fallback de espelho, e conteúdo deduplicado e truncado para controlar o custo de token.

LLM sem alucinação

Extração estruturada em JSON com temperatura 0 e prompts "nunca invente"; regex determinístico cobre tudo que não precisa de LLM. O modelo é escolhido num bake-off de 10 endpoints (custo × latência × acurácia), com fallback automático e campos cruzados antes de gravar.

06

Timeline da carreira

Liderança em ciclos de crescimento e impacto mensurável.

07

Competências

Profundidade técnica com visão de negócio.

Técnicas

Engenharia de Dados95%
Databricks & Lakehouse90%
Plataformas de ML80%
Arquitetura em Cloud85%

Liderança

Gestão de Times90%
Estratégia & Roadmap85%
Parceria com Produto80%
Cultura e Mentoria75%

08

Stack Tecnológica

Ferramentas e plataformas para entregar valor em escala.

carregando stack

09

Repositórios

Código aberto no GitHub — o que construí em público.

Extensão MV3 para Chrome/Chromium que assume o alter ego vendedor de Saul Goodman para monitorar quanto tempo você passa em sites produtivos versus procrastinatórios.

HTML2

Portfólio pessoal orientado a dados — Astro + GSAP, i18n em 3 idiomas, deploy no GitHub Pages.

JavaScript1

Motor de conteúdo automatizado: feeds RSS → LLM → HTML estático + RSS.

JavaScript1

Motor de tradução i18n com IA — traduz qualquer projeto para qualquer idioma via LLM.

JavaScript1

Sistema inteligente de avaliação de prompts para modelos de IA.

Python1

Aplicativo iOS de monitoramento e segurança.

Swift1

#portfolio .pf-index { display: none; } #portfolio .pf-layout { grid-template-columns: 1fr !important; } #portfolio .pf-visor { display: flex; flex-direction: column; gap: var(--space-6); } #portfolio .pf-panel[hidden] { display: block !important; }

Portfólio

Projetos ao vivo

Produtos de dados construídos em público — pipeline real, dados reais, zero custo de infra.

Observatório Eleições 2026atualizado diariamente

A máquina de medição da eleição

Pipeline sobre o dataset oficial do TSE (Pesquisas Eleitorais 2026): quem mede o eleitorado, onde, com que rigor amostral e a que custo. Dado de registro, apartidário por construção.

TSE Dados AbertosPython · pandasOpen Source

···pesquisas
···institutos
···investidos

Ver observatório →Código

~/.git

Estatísticas do GitHub

Atividade recente, projetos e linguagens estratégicas.

21Repositórios
7Stars
9606Contribuições

Contribuições & Distribuição de Atividades

7.329Contribuições2026

MenosMais

Linguagens

10

Artigos Técnicos

Conhecimento compartilhado sobre dados, cloud e governança.

11

Recomendações

Feedbacks de líderes e parceiros ao longo da carreira.

Otávio é uma pessoa ímpar. Diferente da maioria dos profissionais desta área, Otávio tem uma compreensão superior da implicação de cada escolha tecnológica nos negócios. Trabalha intensamente para trazer impacto para o negócio sem abrir mão do rigor técnico, segurança e compatibilidade orçamentária. Isto é raro. No aspecto técnico, é um especialista e navega com facilidade em todas as camadas, da infraestrutura ao desenvolvimento e aplicação de modelos complexos. Consegue trazer resultados mensuráveis mesmo em uma indústria onde a fuga do complexo (e necessário) é travestida de "fast paced" e "linguagem executiva".

Luciano Gillieron Gavinho

Data & AI Advisor, Cogitum AnalyticaJulho 2026

Otávio foi fundamental na construção da infraestrutura de dados da HeroSpark. Com expertise técnica de alto nível e forte foco em boas práticas e padrões, ele ajudou a estabelecer a base que agora garante análises robustas e tomada de decisões estratégicas. Além de seu profundo conhecimento em arquitetura de dados, o que realmente se destaca em Otávio é sua velocidade e disposição para ajudar. Ele sempre esteve pronto para colaborar, encontrar soluções eficientes e garantir que tudo estivesse estruturado para o crescimento de longo prazo da empresa. Se você procura um profissional altamente qualificado que entrega rápido e com excelência, Otávio é a pessoa certa! 🚀

Rafael Carvalho

Director at QuestEduFevereiro 2025

Proatividade, empenho, eficiência e confiabilidade são algumas das várias qualidades do Otávio. Um profissional excepcional que sempre buscava melhorar. Rápido em resolver problemas e atencioso para sanar dúvidas. Não apenas, mas também uma pessoa amigável de se conviver no dia a dia de trabalho.

Allan Ribeiro

Front End Software EngineerJulho 2023

Otávio é o tipo de profissional que realmente sabe como liderar uma equipe para novas habilidades e desafios, da forma mais motivada possível. Ele tem uma experiência massiva na área e é fantástico em guiar e encorajar iniciantes como ninguém. Além disso, ele é realmente apaixonado por tecnologia - você pode ver isso na autoridade que ele demonstra ao programar ou discutir múltiplas stacks.

Lucas Brandão

Data Analyst | Data EngineerJulho 2023

Otávio é um excelente profissional. Me ajudou muito no início de minha carreira na área de Dados. Me passou confiança e me ajudou a me desenvolver como engenheiro de Dados. Um cara que se dedica bastante ao projeto e de extrema confiança. Otávio participou diretamente na criação do nosso time de Dados e ajudou a criar/promover a cultura de Data Driven em nossa empresa.

Fernando Viegas

Data EngineerJulho 2023

O Don é o típico parceiro que resolve absolutamente qualquer problema. É uma tranquilidade enorme saber que posso contar que ele está trabalhando em uma task pois é garantia que isso vai ser resolvido, independente da complexidade.

Guilherme Maduro

Product Manager | BI & AnalyticsJulho 2022

Trabalhei com o Otávio na área de Customer Success, onde pude acompanhar as melhorias e evolução contínua implementadas nas operações do time. Um excelente profissional, com boa capacidade analítica e grande conhecimento em manipulação de dados. Seu comprometimento com o trabalho é inquestionável.

Jaquelyne Kelm

Gerente de Customer SuccessJulho 2021

12

Contato

Aberto a conversas sobre oportunidades estratégicas.

E-mailribeitemp@gmail.com LinkedInlinkedin.com/in/donotavio GitHubgithub.com/donotavio

Vamos construir juntos?

Lidero times de dados que escalam e entregam. Se você busca alguém para transformar dados em vantagem competitiva, vamos conversar.

Falar sobre contratação

Gerente de Engenharia de Dados

Quem eu sou

Arquitetura viva

Fontes

Landing Zone

Bronze

Prata

Ouro

Impacto em números

Desenvolvimento com IA, sob governança

Orquestração

Guardrails

Contexto dinâmico

Conhecimento versionado

Máquinas de enriquecimento de dados

Scraping resiliente

LLM sem alucinação

Timeline da carreira

Competências

Técnicas

Liderança

Stack Tecnológica

Repositórios

saul_goodman

cv-site-otavio

blogforge-ai

polyglot-ai

Avaliador-de-Prompt-IA

Sentinel

Projetos ao vivo

A máquina de medição da eleição

PIX Observatory

Inteligência de Mercado — Educbank

Data Stack Radar BR

Brasil Cockpit

Dashboard da Copa do Mundo 2026

Saul Goodman — Extensão Anti-Procrastinação

Estatísticas do GitHub

Contribuições & Distribuição de Atividades

Linguagens

Artigos Técnicos

Recomendações

Contato

Vamos construir juntos?