Varios modelos débiles se combinan en modelos fuertes utilizando un proceso de boosting efectivo conocido como gradient boosting. Cada nuevo modelo se entrena utilizando descenso de gradiente para minimizar la función de pérdida del modelo anterior, como el error cuadrático medio o la entropía cruzada. El algoritmo calcula el gradiente de la función de pérdida con respecto a las predicciones del conjunto actual en cada iteración, y luego entrena un nuevo modelo débil para intentar minimizar este gradiente. Luego, el conjunto se actualiza con las predicciones del nuevo modelo, y el proceso continúa hasta que se cumple un criterio de parada. Tanto las variables objetivo continuas como las categóricas pueden predecirse utilizando el enfoque de gradient boosting (como regresor o clasificador). La función de costo es el Error Cuadrático Medio (MSE) cuando se utiliza como regresor, mientras que es la pérdida logarítmica cuando se utiliza como clasificador.
¿Qué es Gradient Boosting?