Gradientenverstärkung

Kurzbeschriebung

Gradientenverstärkung (Gradient Boosting) ist ein ensemblebasiertes maschinelles Lernverfahren, bei dem ein starkes Vorhersagemodell durch die sequenzielle Kombination vieler schwacher Lerner (meist Entscheidungsbäume) aufgebaut wird. Jeder neue Lerner wird so trainiert, dass er die Fehler der bisherigen Modellkombination korrigiert.

Formal wird das Modell als additive Expansion aufgebaut, '"`UNIQ--math-00000000-QINU`"', wobei '"`UNIQ--math-00000001-QINU`"' schwache Lerner sind und '"`UNIQ--math-00000002-QINU`"' die Lernrate. In jedem Schritt wird ein neues Modell an den negativen Gradienten der Verlustfunktion angepasst, was Gradient Boosting zu einem sehr flexiblen Optimierungsrahmen macht.

Gradientenverstärkung ist hochgradig anpassbar (Wahl der Verlustfunktion, Regularisierung, Baumtiefe) und kann komplexe nichtlineare Zusammenhänge sowie Interaktionen modellieren. Gleichzeitig besteht bei unvorsichtiger Parametrisierung ein erhöhtes Risiko der Überanpassung.

Anwendbarkeit im Gesundheitssektor

Im Gesundheitswesen und Public Health wird Gradientenverstärkung häufig für Risikoprädiktion, Klassifikation und Prognose eingesetzt, etwa zur Vorhersage von Krankheitsrisiken, Therapieansprechen, Wiederaufnahmen oder Mortalität. Bekannte Implementierungen (z. B. XGBoost, LightGBM) sind in vielen Anwendungen leistungsstärker als klassische Regressionsmodelle.

Besonders geeignet ist die Methode für große, komplexe Datensätze mit vielen Prädiktoren und nichtlinearen Effekten, etwa aus EHR-, Register- oder Surveillance-Daten. Wie andere ML-Verfahren ist sie primär prädiktiv, nicht kausal, und wird oft als Bestandteil von Ensemble- oder Benchmark-Analysen genutzt.

Sonstiges

Sehr hohe Vorhersagegenauigkeit möglich

Sensitiv gegenüber Hyperparametern

Moderne Varianten enthalten starke Regularisierung

Semantik

Wikidata-Identifikator ist: Q1130285

Deutsche Wikipediaseite ist: wiki/Gradient_Boosting

Englische Wikipediaseite ist: Gradient_boosting

Quelle: Friedman, J. H. (2001), Greedy Function Approximation: A Gradient Boosting Machine

Behandlung von Unsicherheit in den Ergebnissen der Methode ist implizit

Für die Methode benötigte Datenmenge ist mittel;groß„Mittel;groß“ befindet sich nicht in der Liste (Groß, Mittel, Klein) zulässiger Werte für das Attribut „Für die Methode benötigte Datenmenge ist“.

Zweck der Methode ist Vorhersage„Vorhersage“ befindet sich nicht in der Liste (Voraussage, Inferenz, Simulation, Kausale Analyse) zulässiger Werte für das Attribut „Zweck der Methode ist“.

Methode ist Mitglied der Methodenfamilie Maschinelles Lernen;Hybrid„Maschinelles Lernen;Hybrid“ befindet sich nicht in der Liste (Mechanistisch, Statistisch, Maschinenlernen, Tiefes Lernen, Hybrid, Kausale Inferenz, Simulation, Operationale Vorhersage, Beschreibende und erkundende Analyse, Praktisches Anwendungskonzept, ...) zulässiger Werte für das Attribut „Methode ist Mitglied der Methodenfamilie“.

Interpretierbarkeit der Ergebnisse der Methode ist mittel;schlecht„Mittel;schlecht“ befindet sich nicht in der Liste (Gut, Mittel, Schlecht) zulässiger Werte für das Attribut „Interpretierbarkeit der Ergebnisse der Methode ist“.

Webseite: https://xgboost.readthedocs.io/