Um pipeline de dados é um método para mover dados brutos de várias fontes de dados para um repositório de dados pronto para análise, como um data lake ou data warehouse. Na maioria dos casos, os dados são processados antes de entrarem em um repositório de dados. Isso inclui transformações de dados que garantem a integração e padronização adequadas dos dados, como filtragem, mascaramento e agregações. Quando um banco de dados relacional é o destino final do conjunto de dados, isso é muito crucial. Para atualizar os dados atuais com novos dados, esse tipo de repositório de dados precisa de alinhamento, ou seja, a correspondência de colunas e tipos de dados.