Stream-Verarbeitung ist eine Datenmanagement-Technik, bei der ein kontinuierlicher Datenstrom in Echtzeit analysiert, gefiltert, transformiert oder angereichert wird, um die Daten schnell zu verarbeiten. Nach der Verarbeitung werden die Daten an eine Anwendung, einen Datenspeicher oder eine andere Stream-Verarbeitungs-Engine weitergeleitet. Ein Grund für die zunehmende Beliebtheit von Stream-Verarbeitungsdiensten und -Architekturen ist die Möglichkeit für Unternehmen, Datenströme aus verschiedenen Quellen zu kombinieren. Beispiele für Quellen sind Transaktionen, Börsenfeeds, Website-Analysen, vernetzte Geräte, operative Datenbanken, Wetterberichte und andere gewinnorientierte Dienste. Die grundlegenden Konzepte der Stream-Verarbeitung existieren schon seit langem, werden aber dank verschiedener Open-Source-Tools und Cloud-Dienste immer einfacher umzusetzen. Durch die Nutzung von Stream-Verarbeitungsarchitekturen wird der sichere und zuverlässige Konsum, die Analyse und Veröffentlichung von Daten erleichtert. Der erste Schritt der Stream-Verarbeitung besteht in der Aufnahme von Daten aus einem Publish-Subscribe-Dienst. Anschließend werden die Daten verarbeitet und die Ergebnisse zurück an den Publish-Subscribe-Dienst oder einen anderen Datenspeicher veröffentlicht. Diese Operationen können Datenanalyse, Filterung, Manipulation, Kombination oder Bereinigung umfassen.
Was ist Stream-Verarbeitung?