Para analisar, filtrar, transformar ou enriquecer dados em tempo real de forma rápida, o processamento de fluxo é uma técnica de gerenciamento de dados que envolve o consumo de um fluxo contínuo de dados. Após o processamento, os dados são transferidos para uma aplicação, um armazenamento de dados ou outro mecanismo de processamento de fluxo. Uma das razões pelas quais os serviços e arquiteturas de processamento de fluxo estão se tornando cada vez mais populares é a capacidade das empresas de mesclar feeds de dados de diversas fontes. Transações, feeds de ações, análises de sites, dispositivos conectados, bancos de dados operacionais, relatórios meteorológicos e outros serviços com fins lucrativos são apenas alguns exemplos de fontes. Os conceitos fundamentais do processamento de fluxo existem há muito tempo, mas graças a uma variedade de ferramentas de código aberto e serviços em nuvem, eles estão se tornando mais fáceis de implementar. O uso de arquiteturas de processamento de fluxo facilita o consumo, a análise e a publicação de dados de maneira segura e confiável. A ingestão de dados de um serviço de publicação-assinatura é o primeiro passo no processamento de fluxo. Os dados são então processados e os resultados são publicados de volta ao serviço de publicação-assinatura ou outro armazenamento de dados. Essas podem ser operações como análise de dados, filtragem, manipulação, combinação ou limpeza.
O que é processamento de fluxo?