Rekurrente neuronale Netze

Kurzbeschriebung

Rekurrente neuronale Netze (RNNs) sind eine Klasse neuronaler Netzwerke zur Verarbeitung sequenzieller Daten, bei denen der Zustand eines Neurons von aktuellen Eingaben und von seinem vorherigen Zustand abhängt. Dadurch besitzen RNNs ein internes Gedächtnis, mit dem zeitliche Abhängigkeiten modelliert werden können.

Formal wird der verborgene Zustand rekursiv aktualisiert, z. B. '"`UNIQ--math-00000000-QINU`"', wobei '"`UNIQ--math-00000001-QINU`"' die Eingabe zum Zeitpunkt '"`UNIQ--math-00000002-QINU`"', '"`UNIQ--math-00000003-QINU`"' der verborgene Zustand und '"`UNIQ--math-00000004-QINU`"' eine Nichtlinearität ist. Die gleiche Gewichtsmatrix wird über alle Zeitschritte geteilt, was RNNs besonders kompakt macht.

Das Training erfolgt über Backpropagation Through Time (BPTT), bei dem Gradienten entlang der Zeitdimension zurückpropagiert werden. Klassische RNNs leiden dabei häufig unter dem Problem verschwindender oder explodierender Gradienten, was die Modellierung langer Abhängigkeiten erschwert.

Aufgrund dieser Schwierigkeiten wurden spezialisierte Architekturen wie LSTM und GRU entwickelt, die klassische RNNs in vielen Anwendungen ersetzt haben. Dennoch bilden einfache RNNs die konzeptionelle Grundlage für das Verständnis rekurrenter Modellierung.

Anwendbarkeit im Gesundheitssektor

Im Gesundheitswesen werden RNNs zur Modellierung zeitabhängiger klinischer Daten eingesetzt, etwa bei Patientenverläufen, Vitalparametern oder Medikationssequenzen. Sie erlauben es, zeitliche Muster direkt aus Rohsequenzen zu lernen, ohne manuelle Feature-Extraktion.

In Public Health finden RNNs Anwendung bei der Zeitreihenanalyse und -prognose von Inzidenzen, Hospitalisierungen oder Meldezahlen. In der Praxis werden sie häufig als Baseline oder Ausgangspunkt genutzt und durch LSTM-, GRU-, TCN- oder Transformer-Modelle ergänzt oder ersetzt.

Sonstiges

Einfaches Grundmodell für Sequenzlernen

Schwierigkeiten bei langen Zeitabhängigkeiten

Didaktisch wichtig, praktisch oft durch Varianten ersetzt

Semantik

Wikidata-Identifikator ist: Q170137

Deutsche Wikipediaseite ist: Rekurrentes_neuronales_Netz

Englische Wikipediaseite ist: Recurrent_neural_network

Quelle: Elman (1990), Finding Structure in Time

Behandlung von Unsicherheit in den Ergebnissen der Methode ist implizit

Für die Methode benötigte Datenmenge ist mittel;groß„Mittel;groß“ befindet sich nicht in der Liste (Groß, Mittel, Klein) zulässiger Werte für das Attribut „Für die Methode benötigte Datenmenge ist“.

Zweck der Methode ist Vorhersage„Vorhersage“ befindet sich nicht in der Liste (Voraussage, Inferenz, Simulation, Kausale Analyse) zulässiger Werte für das Attribut „Zweck der Methode ist“.

Methode ist Mitglied der Methodenfamilie Tiefes Lernen;Maschinelles Lernen„Tiefes Lernen;Maschinelles Lernen“ befindet sich nicht in der Liste (Mechanistisch, Statistisch, Maschinenlernen, Tiefes Lernen, Hybrid, Kausale Inferenz, Simulation, Operationale Vorhersage, Beschreibende und erkundende Analyse, Praktisches Anwendungskonzept, ...) zulässiger Werte für das Attribut „Methode ist Mitglied der Methodenfamilie“.

Interpretierbarkeit der Ergebnisse der Methode ist schlecht

Webseite: https://karpathy.github.io/2015/05/21/rnn-effectiveness/