Para analizar, filtrar, transformar o mejorar los datos en tiempo real de manera rápida, el procesamiento de flujos es una técnica de gestión de datos que implica consumir un flujo continuo de datos. Los datos se transfieren a una aplicación, un almacén de datos o a otro motor de procesamiento de flujos después de ser procesados. Una de las razones por las que los servicios y arquitecturas de procesamiento de flujos son cada vez más populares es la capacidad de las empresas para combinar feeds de datos de diversas fuentes. Algunas fuentes de ejemplo incluyen transacciones, feeds de acciones, análisis de sitios web, dispositivos conectados, bases de datos operativas, informes meteorológicos y otros servicios con fines de lucro. Los conceptos fundamentales del procesamiento de flujos han existido durante mucho tiempo, pero gracias a una variedad de herramientas de código abierto y servicios en la nube, se están volviendo más fáciles de implementar. El uso de arquitecturas de procesamiento de flujos facilita el consumo, análisis y publicación de datos de manera segura y confiable. El primer paso en el procesamiento de flujos es la ingesta de datos desde un servicio de publicación-suscripción. Luego, los datos se procesan y los resultados se publican nuevamente en el servicio de publicación-suscripción o en otro almacenamiento de datos. Estas pueden ser operaciones como análisis de datos, filtrado, manipulación, combinación o limpieza.
¿Qué es el procesamiento de flujos?