Datenherkunft (Data Lineage) ist der Prozess, bei dem der Fluss von Daten über die Zeit hinweg verfolgt wird, um Einblicke in die Herkunft der Daten, ihre Veränderungen im Laufe der Zeit und ihr endgültiges Ziel in der Datenpipeline zu erhalten. Data-Lineage-Technologien bieten eine Aufzeichnung der Daten während ihres gesamten Lebenszyklus, einschließlich Quelldaten und aller während ETL- oder ELT-Operationen verwendeten Datentransformationen. Nutzer können Data Lineage verwenden, um zu überprüfen, dass ihre Daten aus einer vertrauenswürdigen Quelle stammen, die notwendigen Transformationen durchlaufen haben und an den vorgesehenen Ort gelangt sind. Datenherkunft ist essenziell, wenn zuverlässige Informationen zur Unterstützung strategischer Entscheidungen genutzt werden. Ohne eine ordnungsgemäße Nachverfolgung von Datenoperationen wird die Datenüberprüfung nahezu unmöglich oder zumindest extrem teuer und zeitaufwendig. Durch die Möglichkeit, stromaufwärts und stromabwärts von der Quelle zum Ziel zu navigieren, um Anomalien zu finden und zu beheben, konzentriert sich Data Lineage auf die Bewertung der Datenqualität und -konsistenz.
Was ist Data Lineage?