Da ingestão ao consumo, uma investigação sobre pipelines reproduzíveis e modelos analíticos.
Escopo e entregas em confirmaçãoEsquema ilustrativo do tema do trabalho.
Apresentação em preparação. O detalhamento de escopo, entregas e resultados depende da revisão das informações publicáveis.
Problema
Estruturar ingestão, transformação, organização e consumo de dados por meio de pipelines reproduzíveis e modelos analíticos.
Material em preparação
O recorte previsto aborda arquitetura medallion, modelos incrementais, orquestração, testes e metadados. Os componentes efetivamente implementados e as entregas deste projeto ainda precisam ser confirmados.
Experiência relacionada
Airbyte, BigQuery, dbt, Dagster, OpenMetadata e Python aparecem em trabalhos relacionados. A atribuição de cada tecnologia ao projeto será feita após a confirmação do escopo.