Prompt-Engineering oder Promptengineering ist ein Konzept der künstlichen Intelligenz (KI), insbesondere der Verarbeitung natürlicher Sprache (englisch: natural language processing, NLP). Dabei wird ein Prompt, also die Aufgabe, die von der KI erledigt werden soll, in das Eingabefeld geschrieben, z. B. als Frage, statt implizit vorgegeben. Prompt-Engineering funktioniert typischerweise, indem es eine oder mehrere Aufgaben in einen prompt-basierten Datensatz umwandelt und ein Sprachmodell mit dem sogenannten „prompt-basierten Lernen“ trainiert.
Die Entwicklung der Sprachmodelle GPT-2 und GPT-3 waren wichtige Meilensteine in der Entstehung von Prompt-Engineering. Prompt-Engineering repräsentiert eine neue kreative Fähigkeit, welche mittels Üben, Lernen und Erfahrung verbessert werden kann.
Die breite Zugänglichkeit dieser Tools wurde durch die Veröffentlichung mehrerer Open-Source-Projekt-Notizen und von der Community geführter Projekte für generative Bildsynthese (KI-Kunst) vorangetrieben.
Im Jahr 2022 wurden Modelle für maschinelles Lernen (ML) wie DALL-E 2, Stable Diffusion und Midjourney für die Öffentlichkeit freigegeben. Diese Modelle verwenden Anweisungen in Text-Form (englisch: text prompts) als Eingabe und verwenden diese, um Bilder zu erzeugen, was eine neue Kategorie des Gestaltens mittels Texten (englisch: prompt engineering) im Zusammenhang mit der Text-zu-Bild-Anregung (englisch: text-to-image prompting) erschuf.
Arten von Prompts Abhängig vom System unterscheidet man zwischen unterschiedlichen Arten von Prompts: Der Benutzerprompt (englisch: ) beinhaltet die Instruktionen eines Benutzers an das System. Der Systemprompt (englisch: ) beinhaltet Instruktionen für einen bestimmten KI-Agenten. Der Systemprompt wird dem Benutzer nicht angezeigt. Der Agentenprompt (englisch: ) ist die Ausgabe eines KI-Agenten.
Eine Serie von Prompts wird zu einer Konversation (englisch: ) zusammengeführt. Je nach System besteht die Möglichkeit, dass an einer Konversation mehrere Benutzer und KI-Agenten beteiligt sind, wobei jedem Benutzer bzw. Agenten unterschiedliche Aufgaben zukommen.
Beispielsweise kann eine Unterhaltung in einem System für Reisebuchungen folgende Stakeholder beinhalten: Ein oder mehrere Personen einer Reisegruppe, die eine bestimmte Reise buchen möchte(n) Ein Berater des Reisebüro-Unternehmens, der die Unterhaltung leitet Spezialisierte KI-Assistenten, die zusätzliche Informationen bereitstellen: Informationen zu Hotels (Standort, Kosten etc.) Informationen zu Reiseverbindungen (Flugzeug, Zug etc.) Wettervorhersage Informationen zu Sehenswürdigkeiten und kulturellen Veranstaltungen am Reiseziel
Zudem unterscheidet man Prompts nach ihrer Modalität (Text, Bild, Audio, Video), wobei ein Prompt auch mehrere Modalitäten beinhalten kann.
Prompt Caching Systemprompts und Agentenprompts werden wiederholt verwendet. Es ist daher möglich, diese Prompts nur einmalig mittels des Tokenizers als Token-Vektoren zu codieren und das Ergebnis in einem Cache oder einer Datenbank zu speichern. Bei wiederholter Verwendung ergibt sich eine bessere Performance, da die System- und Agenten-Prompts nicht erneut codiert werden müssen.
Nutzerschnittstelle
Die Nutzung von Prompts zur Steuerung von KI ändert nach Jakob Nielsen zum dritten Mal in der Computergeschichte die Denkweise von Dateneingaben: Auf die Batch-Verarbeitung und die befehlsbasierte Interaktion folge nun die absichtsbasierte Ergebnisspezifikation, bei der Benutzer dem Computer sagen, was sie wollen, und nicht, wie er es tun soll.
Text Prompting Bestandteile eines Text-Prompts Typische Bestandteile eines Text-Prompts umfassen Rolle, Tonalität, Kontext, Aufgabenstellung und Ausgabeformat. Es gibt Anleitungen für die Formulierung von Text-Prompts.
Beispiel Rolle: Du bist ein Reiseführer. Tonalität: Sei freundlich und enthusiastisch. Kontext: Eine Familie möchte einen Sommerurlaub in Europa machen und benötigt Empfehlungen. Aufgabe: Erstelle einen detaillierten 7-tägigen Reiseplan für einen Familienurlaub in Wien, Österreich. Gib Empfehlungen für familienfreundliche Aktivitäten, Speisemöglichkeiten und kulturelle Erlebnisse. Ausgabeformat: Erstelle eine Liste der möglichen Aktivitäten, sortiert nach Wochentag und Tageszeit. Ein effektiver Prompt setzt sich aus einer gezielten Kombination verschiedener Prompt-Muster zusammen. Zu den gängigen Mustern gehören das Persona-Muster, das Unendliche Generationsmuster und das Template-Muster. Diese Muster werden verwendet, um die generativen Fähigkeiten eines Modells, insbesondere bei autoregressiven Sprachmodellen, optimal zu nutzen.
Bei der autoregressiven Textgenerierung hat jedes erzeugte Token (Wort oder Satzzeichen) eine direkte Auswirkung auf alle nachfolgenden Token. Dies bedeutet, dass bereits das Hinzufügen eines spezifischen Begriffs oder einer Rolle, wie etwa „Rechtsanwalt“, einen erheblichen Einfluss auf die Qualität der generierten Antwort haben kann. Der Begriff „Rechtsanwalt“ aktiviert während des Interferenzprozesses des Sprachmodells verwandte Token, die dem Benutzer ohne spezifische Fachkenntnisse möglicherweise nicht bekannt sind, aber entscheidend für die fachliche Präzision und Kohärenz der Antwort sind.
Durch die gezielte Auswahl von Prompt-Mustern und Begriffen lässt sich die Leistung von Sprachmodellen erheblich steigern, da das Modell kontextbezogene Assoziationen besser erkennen und nutzen kann.
Zero-Shot Prompting Als Zero-Shot-Prompt bezeichnet man es, wenn auf eine Anfrage des Benutzers eine Antwort durch einen Agent erzeugt wird. Im Idealfall kann der Agent die Anfrage des Benutzers direkt beantworten bzw. ausführen.
Few-Shot Prompting Als Few-Shot-Prompting bezeichnet man es, wenn die Antwort des Agenten die Anfrage des Benutzers nicht vollständig beantworten kann. Der Benutzer stellt daher zusätzliche Informationen und Instruktionen bereit, um die Antwort des Agenten in eine bestimmte Richtung zu führen.
Chain-of-Thought (Gedankenkette) Chain-of-Thought (CoT) Prompting ist eine Prompt-Engineering-Technik, die darauf abzielt, die Argumentationsfähigkeit großer Sprachmodelle (Large Language Models, LLMs) zu verbessern, indem sie sie dazu veranlasst, eine Reihe von Zwischenschritten zu generieren, die zur endgültigen Antwort eines mehrstufigen Problems führen. Bei Nutzung bestehender LLMs kann die schrittweise Verfeinerung der Fragestellung zu verbesserten Antworten führen.
Während LLMs bei verschiedenen Aufgaben zur Verarbeitung natürlicher Sprache eine beeindruckende Leistung zeigen, haben sie immer noch Schwierigkeiten bei einigen Aufgaben, die logisches Denken und mehrere Lösungsschritte erfordern, wie etwa arithmetische Fragen oder Fragen zum gesunden Menschenverstand.
Dafür werden Modelle verwendet, die eine Gedankenkette erzeugen, um logische Textaufgaben zu lösen, die sonst falsch gelöst würden. Die Gedankenkette ähnelt einer Lösung und kann auch als solche interpretiert werden. Sie ahmt einen schrittweisen Denkprozess nach, um zu einer Antwort zu gelangen. Die Lösungen und Erklärungen werden normalerweise nach der endgültigen Antwort ausgegeben.
Das Chain-of-Thought Prompting soll als Methode zur Erleichterung des Denkens in Sprachmodellen mehrere vorteilhafte Eigenschaften aufweisen:
Es soll ermöglichen, mehrstufige Probleme in Zwischenschritte zu zerlegen, was bedeutet, dass zusätzliche Berechnungen Problemen zugewiesen werden können, die mehr Denkschritte erfordern. Es soll ein interpretierbares Fenster zum Verhalten des Modells bieten, das Hinweise darauf gibt, wie es zu einer bestimmten Antwort gekommen sein könnte, und Möglichkeiten, Fehler zu beheben, wenn der Denkpfad falsch war. Es soll für Aufgaben wie mathematische Textaufgaben, logisches Denken und Symbolverarbeitung verwendet werden können und soll prinzipiell auf jede Aufgabe anwendbar sein, die Menschen mithilfe von Sprache lösen können. Es soll in ausreichend großen Sprachmodellen hervorgerufen werden können, indem Beispiele von Gedankenketten in die Muster von Few-Shot-Prompting aufgenommen werden. Jüngere Forschung legt nahe, dass die vom Anwender verständlichen, verbalisierten Gedankenketten mitnichten die real zugrundeliegenden Zwischenschritte des Sprachmodells darstellen (Erklärbarkeit) und trotz möglicher Steigerung der Antwortqualität diese weiterhin fehlerhaft sein kann, sowie Gedankenketten keine Aussagekraft über die tatsächliche Zuverlässigkeit des Sprachmodells aufwiesen.
Tree-of-Thought (Gedankenbaum) Tree-of-Thought (ToT) bezeichnet eine Strategie, bei der mehrere Antworten mittels Chain-of-Thought generiert werden und anschließend die Antworten – gewichtet und gefiltert – zusammengeführt werden.
Self-Consistency Prompting
Sprachmodelle besitzen kein vollständiges Wissen der Welt und interpolieren bzw. konfabulieren fehlendes Wissen. Diese Eigenschaft von Sprachmodellen ermöglicht es, Anfragen an das Modell auf eine kreative Weise zu beantworten, anstatt ausschließlich auf vorhandenes Wissen zurückgreifen zu können. Allerdings führt dies auch dazu, dass eine Anfrage des Benutzers, auf die eine objektiv richtige Antwort existiert, dem Modell aber unbekannt ist, auf eine Weise beantwortet wird, die richtig erscheinen kann, jedoch nicht den Tatsachen entspricht. Man spricht in diesem Zusammenhang von einer Halluzination (siehe Halluzination (Künstliche Intelligenz)).
Als Self-Consistency-Prompting bezeichnet man es, wenn dieselbe Anfrage des Benutzers mehrfach an einen KI-Agenten gestellt wird. Bei einer Information, die das Modell als Fakt erlernt hat, liefert das Modell eine konsistente Antwort. Konfabulierte Antworten fallen jedoch jedes Mal unterschiedlich aus. Durch Mehrfachanfragen mit leicht veränderten Formulierungen kann die Prompt-Sensitivity getestet werden. Bei hoher Prompt-Sensitivity sind die Resultate fraglich.Bruce Schneier und Nathan Sanders: AI mistakes are very different from human mistakes. In: IEEE Spectrum, April 2025, S. 40–41 (englisch)
Reflexion Prompting
Als Reflexion-Prompting bezeichnet man es, wenn ein KI-Agent Feedback zu einem Prompt erstellt. Man unterscheidet hierbei zwischen: Umformulieren und Ergänzen einer Benutzeranfrage Das Bewerten einer Antwort des KI-Agenten, welcher der KI-Agent selbst getätigt hat (Selbstreflexion) Das Bewerten einer Antwort eines anderen KI-Agenten (Fremdreflexion)
Reverse Prompting Das Reverse Prompting ist eine Methode in der das Modell gebeten wird, anhand einer Few-Shot-Prompting-Konversation oder eines Bildes einen Prompt zu generieren, der möglichst zu dem gleichen Ergebnis im Zuge eines Zero-Shot-Prompts geführt hätte.
Plan like a Graph (PLaG) ist eine Methode in der das Sprachmodell angewiesen wird, eine zu lösende Textaufgabe als Graph zu repräsentieren, etwa als Mermaid-Diagramm oder Python-Code, bevor das Problem gelöst wird.
Negativer Prompt Ein Negativer Prompt liefert dem Modell Informationen was es nicht tun soll. Beispielsweise kann man ein Bildgenerator-Modell dazu anleiten, ein Landschaftsbild ohne Häuser zu erstellen. Die Information, dass keine Häuser dargestellt werden sollen, stellt hierbei den negativen Prompt dar. Einfache Sprachmodelle haben jedoch Schwierigkeiten einen negativen Prompt zu verstehen. Ein negativer Prompt sollte daher mit einem „positiven“ Prompt (welches Ergebnis ist erwünscht) ergänzt und bekräftigt werden.
Prompt Injection