rechts|mini|hochkant=1.1|Flussdiagramm bzw. Softwarearchitektur des originalen GPT-Modell basierend auf Transformer. Dabei bedeuten: In der modernen künstlichen Intelligenz (KI) seit Ende der 2010er Jahre ist ein sogenannter generativer vortrainierter Transformer () ein großes Sprachmodell ().
GPT-Modelle basieren auf künstlichen neuronalen Netzwerken. Sie nutzen generative KI und die sogenannte Transformer-Architektur. Diese Modelle werden vorab mit großen Mengen unmarkiertem Text trainiert. Danach können sie neue Inhalte selbst generieren. Daher werden sie oft einfach als GPTs bezeichnet.
Das erste GPT-Modell (GPT-1) wurde 2018 vom US-amerikanischen Unternehmen OpenAI vorgestellt. Erst Ende 2022 folgte der ChatGPT-Service, der eine webbasierte Benutzerschnittstelle (Prompt) zu den nachfolgenden GPT-Modellen bereitstellt. Dies ist die proprietäre Schnittstelle von OpenAI. Andere Anbieter nutzen die Programmierschnittstelle (API) von KI-Modell-Herstellern und bieten eine eigene Benutzeroberfläche an, beispielsweise DuckDuckGo.
Entstehung und Entwicklung
Sogenanntes Generatives Vortraining war bereits ein etabliertes Algorithmuskonzept in der Anwendung von maschinellem Lernen (ML).
Im Jahr 2017 veröffentlichten Forscher von GoogleDamals Google Brain und Google Research; siehe auch Google AI die Arbeit Attention Is All You Need, in der die Transformerarchitektur eingeführt wurde, welche stark auf dem bereits zuvor entwickelten Konzept der Aufmerksamkeit basiert und seit diesem Zeitpunkt die neue Grundlage der Softwarearchitektur von GPTs wurde. Die Modelle zuvor (unter der Domäne Natural Language Processing (NLP)) beruhten noch auf dem überwachten Lernen und manuell markierten Daten. Sie waren daher beschränkt auf annotierte Datensätze. Ein Trainieren von großen Sprachmodellen war damit zu zeitaufwendig. Die Innovation der Transformer löste dieses Problem.
Dieser Baustein (Transformer) führte zu den folgenden softwarebasierten Sprachmodellen, auch bekannt als große Sprachmodelle (LLMs), da sie mathematisch-statistisch eine große Anzahl von Wörtern verarbeiten. Ein frühes Beispiel war der Bidirectional Encoder Representations from Transformers (BERT) von Google selbst, der 2018 veröffentlicht wurde. Wenig später wurde XLNet zur Verbesserung von BERT publiziert. Sie waren vorab trainierte Transformer, aber nicht generativ konzipiert, d. h. nur als Encoder aufgebaut.
Die Entwicklungsabteilung von OpenAI arbeitete ebenfalls seit 2015 an einem neuen Modell. Das LLM-Modell GPT-1 wurde im Jahr 2018 jedoch als reines Decoder-Modell eingeführt. Es war das erste generative, vorab trainierte Transformer(GPT)-Softwaresystem. Die GPT- und BERT-Modelle wurden auf der Datenbasis BookCorpus trainiert. Dieser Datensatz bzw. Textkorpus enthält 7000 selbstpublizierte Bücher und etwas unter einer Milliarde Wörter.
Das erste generative System, basierend auf der Transformertechnik, stammte von OpenAI. Der dort verwendete halbüberwachte Ansatz umfasste zwei Phasen: eine unbeaufsichtigte, generative Vortrainings-Phase, sowie eine überwachte, diskriminative Feinabstimmungs-Phase. Bei der ersten Phase wurden die anfänglichen Parameter anhand eines Sprachmodellierungsziels festgelegt. Bei der zweiten Phase wurden diese Parameter an eine Ziel-Aufgabe angepasst.
GPT-Grundlagenmodelle Die rasante Entwicklung der GPT-Modelle führte zu einer neuen Basis. Man spricht von einem Grundlagenmodell (), was ein KI-Modell ist, das auf umfangreichen Daten in großem Maßstab trainiert wurde, so dass es an eine Vielzahl von nachgelagerten Aufgaben angepasst werden kann. Diese Anpassungen sind auch als Feinabstimmung () bekannt.
OpenAI GPT-Modelle Die von OpenAI veröffentlichten GPT-Modelle sind nach dem Schema GPT-n fortlaufend mit der Versionsnummer durchnummeriert. Beispielsweise wurde im Jahr 2025 das LLM-Modell GPT-5 veröffentlicht. Jedes dieser Modelle war in seiner Funktionalität und Leistungsfähigkeit dem Vorgänger überlegen. Dies geht einher mit einer zunehmender Größe (bei KI-Modellen die Anzahl der trainierbaren Parameter – falls diese öffentlich bekannt gegeben wurden) und besseren Trainings des Modells. Das Unternehmen hat beispielsweise zu GPT-4o und auch zuvor zu GPT-4 keine Details zur Größe oder zum Training veröffentlicht, unter Berufung auf „den Wettbewerbsdruck und die Sicherheitsauswirkungen von Modellen im großen Maßstab“. Die Modelle bilden ein Softwareartefakt und Grundlage für ihre weitere GPT-Systeme, einschließlich Modellen, die für die Anweisungsbefolgung optimiert wurden und wiederum den ChatGPT-Service als Chatbot antreiben.
+ OpenAI „GPT-n“ LLM-Modelle Modell Architektur AnzahlParameter Trainingsdaten Veröffentlichungsdatum TrainingskostenGPT-112-stufiger 12-Kopf-Transformer-Decoder (kein Encoder), gefolgt von Linear-Softmax117 Millionen4,5 GB Text aus 7000 selbstpublizierten Büchern (BookCorpus) verschiedener Genres.„1 Monat auf 8 GPUs“,1,7 · 1019 FLOPGPT-2GPT-1, jedoch mit modifizierter Normalisierung1,5 MilliardenWebText: 40 GB Text, 8 Millionen Dokumente, von 45 Millionen Webseiten, die auf Reddit positiv bewertet wurden. erste/eingeschränkte Version:14. Februar 2019Vollversion:5. November 2019„Zehner Petaflop/s-Tag“,1,5 · 1021 FLOPGPT-3GPT-2, jedoch mit Modifikation, um eine größere Skalierung zu ermöglichen175 Milliarden499 Milliarden Token, bestehend aus CommonCrawl (570 GB), WebText, englischer Wikipedia und zwei Buchkorpora (Books1 und Books2).3640 Petaflop/s-Tag (Tabelle D.1)3,1 · 1023 FLOPnicht veröffentlichtnicht veröffentlichtnicht veröffentlichtGPT-4Auch mit Textvorhersage und RLHF trainiert; akzeptiert sowohl Text als auch Bilder als Eingabe. Weitere Details sind nicht öffentlich.nichtveröffentlichtnicht veröffentlichtnicht veröffentlicht 2,1 · 1025 FLOP (geschätzt)GPT-4ounbekannt13. Mai 2024nicht veröffentlichtGPT-507. August 2025
Weitere GPT-Modelle Andere solche Grundlagenmodelle umfassen Googles PaLM, ein breites Grundlagenmodell, das mit GPT-3 verglichen wurde, sowie Togethers GPT-JT, das als die engste Open-Source-Alternative zu GPT-3 gilt (und von früheren Open-Source-GPTs abgeleitet ist).
Meta AI (ehemals Facebook) hat ebenfalls ein generatives, transformerbasiertes Sprachmodell namens LLaMA veröffentlicht.
Grundlegende GPTs können auch Modalitäten neben Text für die Eingabe und/oder Ausgabe verwenden. GPT-4 ist ein multimodales LLM, das in der Lage ist, Text- und Bilddaten zu verarbeiten. Bezüglich multimodaler Ausgabe werden generative, transformerbasierte Modelle für Text-zu-Bild-Technologien wie Diffusion und eine parallele Dekodierung eingesetzt. Solche Modelle können als visuelle Grundlagenmodelle dienen, um nachgelagerte Systeme zu entwickeln, die mit Bildern arbeiten können.
Aufgabenorientierte Modelle Ein grundlegendes GPT-Modell kann weiter angepasst werden, um gezieltere Systeme für spezifische Aufgaben und/oder Fachbereiche zu erstellen. Methoden für solche Anpassungen können zusätzliche Feinabstimmung (über das für das Grundlagenmodell durchgeführte hinaus) sowie bestimmte Formen der Anweisungsgestaltung umfassen.
Ein wichtiges Beispiel dafür ist die Feinabstimmung von Modellen, um Anweisungen zu befolgen, was natürlich eine recht breite Aufgabe, aber zielgerichteter als ein Grundlagenmodell ist. Im Januar 2022 führte OpenAI InstructGPT ein, eine Serie von Modellen, die mit Hilfe einer Kombination aus überwachtem Training und bestärkendem Lernen durch menschliche Rückkopplung (RLHF) auf der Basis von GPT-3-Sprachmodellen darauf trainiert wurden, Anweisungen zu befolgen. Die Vorteile gegenüber den reinen Grundlagenmodellen umfassten eine höhere Genauigkeit, weniger negative/toxische Stimmung und eine allgemein bessere Übereinstimmung mit den Benutzerbedürfnissen. Daher begann OpenAI, dies als Grundlage für seine API-Serviceangebote zu nutzen. Auch andere an Anweisungen angepasste Modelle wurden von anderen veröffentlicht, einschließlich einer vollständig offenen Version.
Eine andere (verwandte) Art von aufgabenorientierten Modellen sind Chatbots, die menschenähnliche Unterhaltungen führen. Im November 2022 startete OpenAI ChatGPT, eine Online-Chat-Schnittstelle, die von einem aufgabenangepassten Sprachmodell betrieben wird, das ähnlich wie InstructGPT trainiert wurde. Dieses Modell wurde mit RLHF trainiert, wobei menschliche KI-Trainer Gespräche führten, in denen sie sowohl den Benutzer als auch die KI spielten, und dieser neue Dialogdatensatz mit dem InstructGPT-Datensatz für ein Unterhaltungsformat kombiniert wurde, das für einen Chatbot geeignet ist. Zu den weiteren bedeutenden Chatbots gehören derzeit Microsofts Copilot, der OpenAIs GPT-4 verwendet (als Teil einer engeren Zusammenarbeit zwischen OpenAI und Microsoft), und Googles konkurrierender Chatbot Bard (ursprünglich basierend auf ihrer LaMDA-Familie von auf Konversation trainierten Sprachmodellen, mit Plänen, zu PaLM zu wechseln).
Eine weitere Art von Aufgabe, für die ein GPT verwendet werden kann, ist die Meta-Aufgabe, seine eigenen Anweisungen zu generieren, indem es eine Reihe von Vorgaben für sich selbst entwickelt, um ein allgemeineres Ziel, das von einem menschlichen Benutzer gegeben wurde, zu erreichen. Dies wird als KI-Agent bezeichnet, genauer gesagt als ein rekursiver Agent, da er Ergebnisse aus seinen vorherigen Selbstanweisungen verwendet, um ihm bei der Bildung seiner nachfolgenden Vorgaben zu helfen. Das erste bedeutende Beispiel dafür war Auto-GPT (das OpenAIs GPT-Modelle verwendet), und seitdem wurden auch andere entwickelt.
Multimodalität
Generative, transformerbasierte Systeme können auch auf Aufgaben ausgerichtet sein, die Modalitäten jenseits von Text umfassen. Microsofts Visual ChatGPT zum Beispiel kombiniert ChatGPT mit visuellen Grundlagenmodellen (VFMs), um sowohl Bilder als auch Text als Eingabe oder Ausgabe zu ermöglichen. Darüber hinaus bieten Fortschritte in der Text-to-Speech-Technologie leistungsstarke Werkzeuge für die Erstellung von Audioinhalten, wenn sie in Verbindung mit grundlegenden GPT-Sprachmodellen verwendet werden.
Domänen-Spezifität GPT-Systeme können auf bestimmte Bereiche oder Domänen ausgerichtet werden. Einige gemeldete Beispiele für solche Modelle und Apps sind wie folgt:
EinsteinGPT für die Bereiche Vertrieb und Marketing, um bei der Kundenbeziehungspflege zu helfen (verwendet GPT-3.5). BloombergGPT für den Finanzbereich, um bei Finanznachrichten und -informationen zu helfen (verwendet frei verfügbare KI-Methoden in Kombination mit ihren proprietären Daten). Khanmigo eine Version von GPT für Nachhilfezwecke im Bildungsbereich, unterstützt Schüler bei der Nutzung von Khan Academy, indem es sie durch ihr Lernen führt, ohne direkte Antworten zu geben (betrieben von GPT-4). SlackGPT für den Instant-Messaging-Dienst Slack, um bei der Navigation und Zusammenfassung von Diskussionen zu helfen (verwendet OpenAI's API). BioGPT für den biomedizinischen Bereich, um bei der Generierung und Auswertung von biomedizinischen Literaturtexten zu helfen (verwendet GPT-2).
Manchmal wird die Domänenspezifität durch Software-Plug-Ins oder Erweiterungen erreicht. Zum Beispiel haben verschiedene Unternehmen spezielle Plug-Ins entwickelt, die direkt mit der ChatGPT-Schnittstelle von OpenAI interagieren, und Google Workspace bietet Erweiterungen wie GPT für Sheets und Docs an, die angeblich die Nutzung von Tabellenkalkulationsfunktionen in Google Sheets erleichtern sollen.
Begriff GPT und Markenrechte