MapReduce

MapReduce est un modèle de programmation inventé par Google pour le traitement et la génération de grands ensembles de données sur des clusters informatiques. Le framework a initialement été développé par Google pour soutenir l'indexation de pages web et a remplacé les techniques d'indexation antérieures. Les développeurs débutants trouvent le framework MapReduce utile car des routines de bibliothèque permettent de construire des programmes parallèles sans se soucier de la communication intra-cluster, de la surveillance des tâches ou des procédures de gestion des pannes. MapReduce est hautement scalable et s'exécute sur un grand cluster de machines courantes. Il peut être implémenté de diverses manières avec différents langages de programmation, notamment Java, C# et C++. Le grep distribué, le tri distribué, l'inversion de graphe de liens web, les statistiques de logs d'accès web, le clustering de documents, l'apprentissage automatique et la traduction automatique statistique ne sont que quelques applications utilisant MapReduce.