Die größte Open-Source-Community im Bereich Big Data unterstützt Apache Spark, eine extrem schnelle Open-Source-Datenverarbeitungs-Engine für Machine-Learning- und KI-Anwendungen. Apache Spark (Spark) ist eine Open-Source-Datenverarbeitungs-Engine für große Datensätze. Besonders für Streaming-Daten, Graph-Daten, Machine Learning und künstliche Intelligenz (KI) bietet es die notwendige Skalierbarkeit, Rechengeschwindigkeit und Programmierbarkeit für Big Data. Apache Spark ist schnell. Besonders bei Big Data ist die Berechnungszeit entscheidend. Es nutzt RAM (In-Memory)-Computing. Im Vergleich zu Hadoop kann es Petabytes an Daten schneller verarbeiten. Es kann analytische und rechnerische Probleme lösen, da es über Low-Latency-In-Memory-Datenverarbeitungsfunktionen verfügt. Es hat Bibliotheken für Machine Learning und Graph-Algorithmen entwickelt.
Was ist Apache Spark?