Le gradient boosting est un processus de boosting efficace qui combine plusieurs apprenants faibles en apprenants forts. Chaque nouveau modèle est entraîné par descente de gradient pour minimiser la fonction de perte du modèle précédent, comme l'erreur quadratique moyenne ou l'entropie croisée. À chaque itération, l'algorithme calcule le gradient de la fonction de perte par rapport aux prédictions de l'ensemble actuel, puis entraîne un nouvel apprenant faible pour tenter de minimiser ce gradient. L'ensemble est ensuite mis à jour avec les prédictions du nouveau modèle, et la procédure se poursuit jusqu'à ce qu'un critère d'arrêt soit satisfait. L'approche gradient boosting permet de prédire des variables cibles continues et catégorielles (en tant que régresseur ou classificateur). La fonction de coût est l'erreur quadratique moyenne (MSE) en régression, et la perte logarithmique (Log loss) en classification.
Qu'est-ce que le gradient boosting ?