Anwendungen wie das Dialogsystem ChatGPT zeichnen sich dadurch aus, dass sie neue Daten erzeugen können. Dieses Kapitel stellt anhand des Autoencoders Encoder-Decoder Strukturen vor, die die Grundlage für die meisten generativen Ansätze sind. Es erklärt wie Sprachverarbeitung mittels KI funktioniert und beschreibt mit Rekurrenten Neuronalen Netzen und Transformern zwei weitere Architekturen vor, die vor allem bei der Verarbeitung von sequentiellen Daten Verwendung finden. Darüber hinaus werden Greedy Decoding und Random Sampling gegenübergestellt, um darzustellen wie es sein kann, dass ein KI-System bei Mehrfachverwendung der gleichen Anfrage immer wieder unterschiedliche Ergebnisse liefert.”