Ein (kurz , englisch), übertragen großes Sprachmodell, ist die softwaretechnische Realisierung eines mathematischen Sprachmodells, das sich durch seine Fähigkeit zur Textgenerierung auszeichnet. Es handelt sich um ein sogenanntes computerlinguistisches Wahrscheinlichkeitsmodell, das statistische Wort- und Satzfolge-Beziehungen aus einer Vielzahl von Textdokumenten durch einen rechenintensiven Trainingsprozess erlernt hat und diese Fähigkeiten seinem Benutzer oder einer anderen Anwendung zur Verfügung stellt.

Bei LLMs handelt es sich dabei um eine Reihe von Techniken (Algorithmen) und anderen Softwareartefakten (Frameworks und Programmbibliotheken) im Bereich moderner künstlicher Intelligenz (KI), die seit etwa Mitte der 2010er Jahre existieren und seit den 2020er Jahren vermehrt auf der Basis des Cloud Computing bereitgestellt werden. Dabei kommen Serversysteme mit KI-optimierten Mikrochips zum Einsatz. Einige Softwareanwendungen erlauben die lokale Ausführung von LLMs, welche jedoch durch die Anforderungen an die Computerhardware begrenzt sind. Der Trainingsprozess der Modelle lässt sich dabei grob in drei Phasen unterteilen: 1. Datenerfassung, 2. Modelltraining und 3. Feinabstimmung. Anschließend wird das trainierte Modell mittels Inferenz abgefragt. Häufig werden vortrainierte Modelle verwendet, wie die GPT-Modelle.

LLMs sind Teil des Deep Learning (DL) oder maschinellen Lernens (ML) und zählen zu den generativen KI-Modellen (). Die Erweiterung der LLM sind die Vision Language Models (VLM), also KI-Modelle, die sowohl Sprache als auch Computer Vision kombinieren. Sie sind Teil des multimodalen Lernens. Die fortschrittlichsten Entwicklungen bei den Modellen sind bekannt als Foundation Models, also neuartige „Grundmodelle“ einer komplexeren KI-Softwarearchitektur.

LLMs sind ein prägendes Merkmal der KI-Ära.

Beschreibung Große Sprachmodelle erlangen ihre Fähigkeiten durch die Verwendung großer Datenmengen, um während des Trainings riesige Mengen von Parametern zu lernen. Sie sind im weiteren Sinne künstliche neuronale Netze (KNN) und werden entweder durch selbstüberwachtes Lernen (a priori) oder halbüberwachte Lernmethoden trainiert.

Für diese künstlichen neuronalen Netze werden seit etwa dem Jahr 2018 sogenannte „Transformer“-Architekturen als Kern des Modells gewählt. Bekanntheit erlangten dabei die Generative-Pretrained-Transformer-(GPT-)Modelle sowie das Modell Bidirectional Encoder Representations from Transformers (BERT). Diese Modelle sind LLMs. BERT wurde 2018 von Google veröffentlicht. Wenig später wurde „XLNet“ zur Verbesserung von BERT publiziert.

Große Sprachmodelle arbeiten als „selbstanpassende Sprachmodelle“, die „verschiedene Aufgaben in natürlicher Sprache ausführen können, z. B. das Zusammenfassen, Übersetzen, Vorhersagen und Erstellen von Texten, indem sie einen Eingabetext nehmen und wiederholt das nächste Token oder Wort vorhersagen“.

Nach Stephen Wolfram ist die Mechanik eines LLMs etwa wie folgt: „Es fügt einfach ein Wort nach dem anderen hinzu.“ Es wird ein Token hinzugefügt, das beispielsweise nur ein Wortteil sein kann. Daher kann es vorkommen, dass neue Wörter gebildet werden. Das Programm kann „Sätze“ generieren, in denen jedes Wort unabhängig und zufällig mit der gleichen Wahrscheinlichkeit ausgewählt wird, mit der es im Korpus vorkommt. Laut Wolfram ist die Grundidee, ein Modell zu entwickeln, mit dem man die Wahrscheinlichkeiten für das Auftreten von Sequenzen schätzen könne, auch wenn man diese Sequenzen im untersuchten Textkorpus nie explizit gesehen habe. Er meint, es werden einfach Dinge gesagt, die sich „richtig anhören“, basierend darauf, wie sie im Trainingsmaterial „klangen“. Laut Wolfram sei das Ganze auf einer übergeordneten Ebene noch nicht ganz klar.

Bis etwa 2020 bestand die einzige Möglichkeit, ein Modell an bestimmte Aufgaben anzupassen, in der sogenannten Feinabstimmung. Größere LLM-Modelle, wie z. B. das inzwischen populäre GPT-3, wurden jedoch so konzipiert, dass sie mit Hilfe des sogenannten „Prompt-Engineering“ ähnliche Ergebnisse erzielen können. Zusätzlich zu der Fähigkeit, Kenntnisse über Syntax, Semantik und „Ontologie“ in menschlichen Sprachkorpora zu erwerben, wird angenommen, dass große Sprachmodelle auch in der Lage sind, Ungenauigkeiten und Verzerrungen in den Korpora zu erfassen.

Entstehung und Entwicklung

Vorläufer Den modernen LLMs gingen verschiedene Entwicklungsstufen voraus. Sie beruhen auf der Verarbeitung natürlicher Sprache. Dazu zählen die statistische Zerlegung eines Textes in Fragmente, auch bekannt als N-Gramm-Analyse.

Ab den 2010er Jahren haben künstliche neuronale Netzwerke diese Fähigkeiten vertieft und erweitert. Für das „generative Lernen“ bzw. unüberwachte Lernen wurden ab 2014 die Generative Adversarial Networks (GANs) vorgestellt. Die Semi-supervised Sequence Learning-Technik, ein Trainingsalgorithmus aus dem Jahr 2015, verbessert beispielsweise das Modelltraining durch die Nutzung sowohl markierter als auch unmarkierter Daten.

Im Jahr 2016 erreichte AlphaGo, ein KI-Modell von Google DeepMind, eine neue Leistungsgrenze „künstlicher Intelligenz“ gegen den Go-Spieler Lee Sedol. Es basierte u. a. auf der Technik und Algorithmik der Convolutional Neural Network (CNN) und Monte Carlo Tree Search (MCTS) und ist primär für mathematische Spiele optimiert. Letzteres Verfahren (MCTS) ist eine Verbesserung der Minimax-Methode.

Evolution der LLMs mini|288x288px|Blockschema der Encoder-Decoder-Architektur, der Original Transformer-Architektur von 2017. Der Output des Encoders wird zum Input für den Decoder. Dieser Transformer verzichtet auf RNNs und CNNs. Einige GPT-Modelle von OpenAI unterscheiden jedoch explizit dadurch, dass sie nur einen Decoder und spezielle Selbst-Aufmerksamkeitsmechanismen verwenden. Sie verzichten auf den Encoder. Das Modell BERT basiert hingegen auf einer Encoder-Architektur. Diese Entwicklungen wurden wiederum durch die Inhalte der Preprint-Publikation Attention Is All You Need (Aufmerksamkeit ist alles, was du brauchst), vorgestellt auf der Conference on Neural Information Processing Systems 2017 durch ein Google-Forscherteam, entscheidend geprägt. Ein Ziel dieser Veröffentlichung war es, die sogenannte „Sequence-to-Sequence“ oder „Seq2seq“-Technik (auch bekannt als „Encoder-Decoder-Architektur“) zu verbessern. Die Veröffentlichung führte einen sogenannten „“ ein. Die Google-Arbeit stellte somit eine neue Transformer-Technik vor. Die ersten Forschungen zu diesen Algorithmen gehen jedoch bis in die 1990er Jahre unter Jürgen Schmidhuber zurück. Mit Googles Variante war ab 2017 ein neuer Stand des (bisherigen) maschinellen Lernens (ML) oder genauer Deep Learnings (DL) für die Sprachverarbeitung (LLMs) erreicht worden. Google Research verweist dabei auf die Tensor2Tensor (T2T)-Programmbibliothek (archiviert 2023), welche ML/DL verbessert und verschiedene Transformer anbietet.

Transformer ermöglichen eine genauere und umfassendere Verarbeitung und Analyse von Textinformationen. Letztere sind sequenzielle Daten, die Transformer für Aufgaben wie Spracherzeugung und Übersetzung verstehen und erzeugen können. Sie sind ein neuronales Netzwerk, das Kontext und somit Bedeutung lernt, indem es die Beziehungen zwischen den Wörtern in einem Satz analysiert.

Im Jahr 2018, kurz nach der Veröffentlichung der Transformer-Technik, wurden das Modell Bidirectional Encoder Representations from Transformers (BERT) von Google AI vorgestellt. Obwohl der ursprüngliche Transformer sowohl Encoder- als auch Decoderblöcke hat, ist BERT ein reines Encoder-Modell.

Die Entwicklungsabteilung von OpenAI arbeitete ebenfalls seit 2015 an einem neuen Modell. Das LLM-Modell GPT-1 wurde im Jahr 2018 jedoch als reines Decoder-Modell eingeführt. Die GPT- und BERT-Modelle wurden auf der Datenbasis „BookCorpus“ trainiert. Dieser Datensatz bzw. Textkorpus enthält 7.000 selbstpublizierte Bücher und etwas unter einer Milliarde Wörter. Auch Google hat 2016 eine Vielzahl an Büchern für das Training seiner LLM verwendet. Forscher aus den Bereichen Industrie und Robotik versuchen hingegen, physikalische Umgebungsdaten zu erlernen und ihre Modelle entsprechend zu trainieren, auch als „Physical AI“ bezeichnet.

Das Modell GPT-2 wurde schließlich im Frühjahr 2019 veröffentlicht. Laut OpenAI wurde zunächst ein kleineres Modell veröffentlicht, da die Entwickler sich wie folgt äußerten: „Große, allgemeine Sprachmodelle könnten bedeutende gesellschaftliche Auswirkungen haben und bieten zudem zahlreiche kurzfristige Anwendungsmöglichkeiten.“ Sie verwiesen auf eine Vielzahl möglicher böswilliger Zwecke, die mit diesen Modellen verfolgt werden können, beispielsweise Deepfakes oder irreführende Nachrichtenartikel. Die Veröffentlichung der LLMs wird teilweise von einer Richtlinie (Policy) im Sinne einer Regulierung begleitet.

GPT-2 wurde grundsätzlich so trainiert, dass es das nächste Wort in 40 GB Internettext (Daten) vorhersagen kann, d. h. wenn alle vorherigen Wörter gegeben sind. Es ist ein Sprachmodell mit 1,5 Milliarden Parametern, das mit einem Datensatz von 8 Millionen Webseiten trainiert wurde und auf Transformer-Technik basiert. Die GPT-2 Entwicklung wurde mittlerweile eingestellt und steht unter einer modifizierten MIT-Lizenz. Die Forschungsergebnisse wurden 2019 publiziert.

GPT-3 aus dem Jahr 2020 war die nächste Entwicklungsstufe. Bis zu dem Modell GPT-3.5 waren alle OpenAI GPT-Modelle nur per Programmierschnittstelle (API) zu nutzen, was sich ab Ende 2022 änderte, als die webbasierte-Schnittstelle ChatGPT veröffentlicht wurde.

2023 wurde GPT-4 für seine erhöhte Genauigkeit und als „heiliger Gral“ für seine multimodalen Fähigkeiten gepriesen. Die genaue Softwarearchitektur und weitere Details des Modells wurden jedoch nicht öffentlich bekannt gegeben.

Seit dieser Zeit haben konkurrierende Sprachmodelle hinsichtlich der Anzahl der Parameter größtenteils mit der GPT-Serie gleichgezogen. Beispielsweise übertraf im Jahr 2024 das Modell Google Gemini Pro das GPT-4, was die Elo-Bewertung betrifft. Letztere wird im Umfeld von LLM zum Benchmarking verwendet.

Das Git-Repository von BERT wurde Ende 2025 archiviert (Entwicklung eingefroren oder gestoppt). Eine Weiterentwicklung von BERT durch Facebook AI ist bekannt geworden als RoBERTa (Robustly Optimized BERT Pretraining Approach).

Die modernsten Modelle (sowohl algorithmisch, als auch softwarearchitektonisch) werden als „Frontier Modelle“ bezeichnet. Diese Modelle weisen beispielsweise eine Mixture-of-Experts (MoE)-Architektur und weitere algorithmische Bausteine einer komplexen LLM-Architektur auf. Das MoE-Konzept geht auf Arbeiten aus den 1990er Jahren zurück und fand ihre Nutzung als Teil von ML/DL.

Die Technik der Transformer ist nach wie vor Teil der Forschung (und gegebenenfalls Entwicklung).

Umsetzungen und LLM-Hersteller Beispiele für LLM-Software oder -Services oder -Apps sind Mistral AI, ChatGPT, Ernie Bot und Grok. Die Services sind dabei wie ein Chat aufgebaut, der mit seinem Benutzer kommuniziert, auch bekannt als Chatbot. Viele LLM-Hersteller (Unternehmen) sind Teil der modernen Digital Economy und versuchen, die LLM-Modelle zu monetarisieren. Zu den Anbietern von LLMs zählen unter anderem (Beispiele):