MBCDN

Benutzer-Werkzeuge

Webseiten-Werkzeuge

Zuletzt angesehen: • tcp_ip • vsf • gcc • regex • batch • mongodb • nasm • godot • assembly • unreal_engine
tensorflow

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung 		Vorhergehende Überarbeitung
tensorflow [2024/07/30 20:47]
jango [Recurrent] 		tensorflow [2024/07/30 20:53] (aktuell)
jango [Recurrent]
Zeile 88: Zeile 88:
   * Long Short-Term Memory (LSTM): LSTMs sind eine Art von RNN mit einer spezialisierten Speicherzelle, die es ihnen ermöglicht, lange Abhängigkeiten in sequenziellen Daten zu erfassen. Sie eignen sich gut für Aufgaben, die lange Abhängigkeiten involvieren, und werden häufig für verschiedene Sequenz-zu-Sequenz-Aufgaben wie maschinelle Übersetzung und Textgenerierung eingesetzt.   * Long Short-Term Memory (LSTM): LSTMs sind eine Art von RNN mit einer spezialisierten Speicherzelle, die es ihnen ermöglicht, lange Abhängigkeiten in sequenziellen Daten zu erfassen. Sie eignen sich gut für Aufgaben, die lange Abhängigkeiten involvieren, und werden häufig für verschiedene Sequenz-zu-Sequenz-Aufgaben wie maschinelle Übersetzung und Textgenerierung eingesetzt.
   * Gated Recurrent Unit (GRU): GRUs sind eine andere Variante von RNNs mit einer vereinfachten Struktur im Vergleich zu LSTMs, aber auch mit Gating-Mechanismen zur Steuerung des Informationsflusses. Sie sind rechentechnisch weniger aufwendig als LSTMs und liefern oft ähnliche Ergebnisse, wodurch sie eine beliebte Wahl für Sequenzmodellierungsaufgaben sind.   * Gated Recurrent Unit (GRU): GRUs sind eine andere Variante von RNNs mit einer vereinfachten Struktur im Vergleich zu LSTMs, aber auch mit Gating-Mechanismen zur Steuerung des Informationsflusses. Sie sind rechentechnisch weniger aufwendig als LSTMs und liefern oft ähnliche Ergebnisse, wodurch sie eine beliebte Wahl für Sequenzmodellierungsaufgaben sind.
-  * Bidirectional RNN: In einem bidirektionalen RNN wird die Eingabesequenz sowohl in Vorwärts- als auch in Rückwärtsrichtung verarbeitet. Dadurch kann das RNN vergangenen und zukünftigen Kontext bei Vorhersagen berücksichtigen, was für bestimmte Aufgaben, wie beispielsweise Named Entity Recognition und Sentiment-Analyse, von Vorteil sein kann.+  * Bidirectional RNN: In einem bidirektionalen RNN wird die Eingabesequenz sowohl in Vorwärts- als auch in Rückwärtsrichtung verarbeitet. Dadurch kann das RNN vergangenen und zukünftigen Kontext bei Vorhersagen berücksichtigen. [[https://en.wikipedia.org/wiki/Named-entity_recognition|Named Entity Recognition]] und [[https://en.wikipedia.org/wiki/Sentiment_analysis|Sentiment analysis]].
   * Attention-based RNN: Attention-Mechanismen werden verwendet, um sich auf bestimmte Teile der Eingabesequenz zu konzentrieren, während Vorhersagen getroffen werden. RNNs mit Attention sind besonders nützlich, wenn verschiedene Teile der Eingabesequenz unterschiedlich zum Ergebnis beitragen.   * Attention-based RNN: Attention-Mechanismen werden verwendet, um sich auf bestimmte Teile der Eingabesequenz zu konzentrieren, während Vorhersagen getroffen werden. RNNs mit Attention sind besonders nützlich, wenn verschiedene Teile der Eingabesequenz unterschiedlich zum Ergebnis beitragen.
   * Transformer: Der Transformer ist eine Art von Architektur, die nicht auf rekurrente Verbindungen angewiesen ist, sondern Selbst-Aufmerksamkeitsmechanismen nutzt. Er ist aufgrund seiner Parallelisierungsfähigkeiten und der Fähigkeit, lange Sequenzen effektiv zu verarbeiten, bei verschiedenen Aufgaben der natürlichen Sprachverarbeitung beliebt geworden.   * Transformer: Der Transformer ist eine Art von Architektur, die nicht auf rekurrente Verbindungen angewiesen ist, sondern Selbst-Aufmerksamkeitsmechanismen nutzt. Er ist aufgrund seiner Parallelisierungsfähigkeiten und der Fähigkeit, lange Sequenzen effektiv zu verarbeiten, bei verschiedenen Aufgaben der natürlichen Sprachverarbeitung beliebt geworden.
   * Clockwork RNN: Clockwork RNNs haben unterschiedliche Zeitschritte für verschiedene Neuronen in der versteckten Schicht. Dadurch können verschiedene Teile des Netzwerks mit unterschiedlichen Frequenzen arbeiten, was bei Daten mit hierarchischen zeitlichen Mustern hilfreich sein kann.   * Clockwork RNN: Clockwork RNNs haben unterschiedliche Zeitschritte für verschiedene Neuronen in der versteckten Schicht. Dadurch können verschiedene Teile des Netzwerks mit unterschiedlichen Frequenzen arbeiten, was bei Daten mit hierarchischen zeitlichen Mustern hilfreich sein kann.
-  * Echo State Network (ESN): ESN ist eine Art von Reservoir-Computing-Netzwerk, bei dem die versteckte Schicht spärlich und zufällig verbunden ist. Die rekurrenten Verbindungen sind festgelegt und nur die Ausgabeschicht wird trainiert. ESNs wurden in verschiedenen Aufgaben der Zeitreihenvorhersage eingesetzt.+  * Echo State Network (ESN): ESN ist eine Art von [[https://en.wikipedia.org/wiki/Reservoir_computing|Reservoir-Computing]]-Netzwerk, bei dem die versteckte Schicht spärlich und zufällig verbunden ist. Die rekurrenten Verbindungen sind festgelegt und nur die Ausgabeschicht wird trainiert. ESNs wurden in verschiedenen Aufgaben der Zeitreihenvorhersage eingesetzt.
   * Hierarchical RNN: Hierarchische RNNs stapeln mehrere RNN-Schichten, um hierarchische Repräsentationen sequenzieller Daten zu lernen. Dies kann hilfreich sein, wenn Daten mehrere Ebenen von zeitlichen Abhängigkeiten aufweisen.   * Hierarchical RNN: Hierarchische RNNs stapeln mehrere RNN-Schichten, um hierarchische Repräsentationen sequenzieller Daten zu lernen. Dies kann hilfreich sein, wenn Daten mehrere Ebenen von zeitlichen Abhängigkeiten aufweisen.
   * Dilated RNN: Dilated RNNs verwenden verdünnte (oder spärliche) Faltungen in der rekurrenten Schicht, wodurch das Netzwerk ein größeres [[https://de.wikipedia.org/wiki/Rezeptives_Feld|Rezeptivfeld]] erhält, ohne die Berechnung erheblich zu erhöhen.   * Dilated RNN: Dilated RNNs verwenden verdünnte (oder spärliche) Faltungen in der rekurrenten Schicht, wodurch das Netzwerk ein größeres [[https://de.wikipedia.org/wiki/Rezeptives_Feld|Rezeptivfeld]] erhält, ohne die Berechnung erheblich zu erhöhen.
tensorflow.1722365246.txt.gz · Zuletzt geändert: 2024/07/30 20:47 von jango

Seiten-Werkzeuge

Falls nicht anders bezeichnet, ist der Inhalt dieses Wikis unter der folgenden Lizenz veröffentlicht: CC Attribution-NoDerivatives 4.0 International
CC Attribution-NoDerivatives 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki