Gradient Boosting

Mehrere schwache Lernmodelle werden durch einen effektiven Boosting-Prozess namens Gradient Boosting zu starken Lernmodellen kombiniert. Jedes neue Modell wird mithilfe des Gradientenabstiegs trainiert, um die Verlustfunktion des vorherigen Modells, wie z. B. den mittleren quadratischen Fehler oder die Kreuzentropie, zu minimieren. Der Algorithmus berechnet in jeder Iteration den Gradienten der Verlustfunktion in Bezug auf die Vorhersagen des aktuellen Ensembles und trainiert dann ein neues schwaches Modell, um diesen Gradienten zu minimieren. Die Vorhersagen des neuen Modells werden dann in das Ensemble aufgenommen, und das Verfahren wird fortgesetzt, bis ein Stoppkriterium erfüllt ist. Sowohl kontinuierliche als auch kategoriale Zielvariablen können mit dem Gradient-Boosting-Verfahren vorhergesagt werden (als Regressor oder Klassifikator). Die Kostenfunktion ist der mittlere quadratische Fehler (MSE), wenn es als Regressor verwendet wird, während es als Klassifikator die Log-Loss-Funktion ist.