MapReduce

Für die Verarbeitung und Erstellung großer Datensätze auf Computerclustern hat Google das Programmiermodell MapReduce entwickelt. Das Framework wurde ursprünglich von Google zur Unterstützung seiner Webseiten-Indizierung entwickelt und ersetzte frühere Indizierungsmethoden. Da Bibliotheksroutinen genutzt werden können, um parallele Programme zu erstellen, ohne sich um die Kommunikation innerhalb des Clusters, die Aufgabenüberwachung oder die Fehlerbehandlung kümmern zu müssen, finden Anfängerentwickler das MapReduce-Framework hilfreich. MapReduce ist hoch skalierbar und läuft auf einem großen Cluster gewöhnlicher Maschinen. Es kann auf verschiedene Weisen mit verschiedenen Programmiersprachen wie Java, C# und C++ implementiert werden. Anwendungen wie verteiltes Grep, verteiltes Sortieren, Umkehrung von Web-Link-Graphen, Statistiken von Webzugriffsprotokollen, Dokumenten-Clustering, Machine Learning und statistische maschinelle Übersetzung nutzen MapReduce.