Linhagem de dados é o processo de acompanhar o fluxo de dados ao longo do tempo, oferecendo insights sobre a origem dos dados, suas transformações e destino final no pipeline de dados. As tecnologias de linhagem de dados fornecem um registro do ciclo de vida dos dados, incluindo os dados de origem e quaisquer transformações aplicadas durante operações de ETL ou ELT. Os usuários podem utilizar a linhagem de dados para verificar se seus dados estão vindo de uma fonte confiável, passaram pelas transformações necessárias e foram armazenados no local pretendido. A linhagem de dados é essencial quando informações confiáveis são usadas para apoiar decisões estratégicas. A verificação de dados torna-se quase impossível, ou pelo menos extremamente cara e demorada, se as operações de dados não forem devidamente rastreadas. Ao permitir que os usuários explorem upstream e downstream, da origem ao destino, para identificar anomalias e corrigi-las, a linhagem de dados foca na avaliação da precisão e consistência dos dados.
O que é linhagem de dados?