Google desarrolló el modelo de programación MapReduce para procesar y generar grandes conjuntos de datos en clústeres de computadoras. El marco fue desarrollado inicialmente por Google para respaldar su indexación de páginas web y reemplazó técnicas de indexación anteriores. Debido a que las rutinas de biblioteca pueden usarse para construir programas paralelos sin preocuparse por la comunicación dentro del clúster, el monitoreo de tareas o los procedimientos de manejo de fallos, los desarrolladores principiantes encuentran útil el marco de trabajo MapReduce. MapReduce es altamente escalable y se ejecuta en un gran clúster de máquinas comunes. Puede implementarse de diversas formas utilizando diferentes lenguajes de programación, incluyendo Java, C# y C++. Distributed grep, distributed sort, Web link-graph reversal, estadísticas de registros de acceso web, agrupamiento de documentos, machine learning y traducción automática estadística son solo algunas de las aplicaciones que utilizan MapReduce.
¿Qué es MapReduce?