Die AI-Alignmentforschung ist ein Forschungszweig innerhalb der Forschung zur Künstlichen Intelligenz (KI, engl. AI, artificial intelligence) und zielt darauf ab, KI-Systeme in Richtung menschlicher Ziele, Präferenzen oder ethischer Grundsätze zu lenken: Ein KI-System gilt als aligned (deutsch: „ausgerichtet“), wenn es die beabsichtigten Ziele fördert – demgegenüber ist es misaligned (deutsch: „fehlausgerichtet“), wenn es fähig ist, bestimmte Ziele zu erreichen, nicht aber die beabsichtigten.Stuart J. Russell, Peter Norvig: Artificial intelligence: A modern approach. 4. Ausgabe. Pearson, 2020, ISBN 978-1-292-40113-3, S. 31–34; pearson.com
Für KI-Programmierer kann es eine Herausforderung sein, ein KI-System zielauszurichten, da sich der Versuch, die gesamte Bandbreite der gewünschten und unerwünschten Verhaltensweisen zu spezifizieren, als schwierig herausstellen kann. Um diese Schwierigkeit zu umgehen, verwenden sie in der Regel einfachere stellvertretende Ziele, wie z. B. die „Erlangung menschlicher Zustimmung“. Dieser Ansatz kann jedoch zu Schlupflöchern führen, notwendige Einschränkungen übersehen oder das KI-System lediglich für den Anschein eines korrekten Alignments belohnen.Richard Ngo, Lawrence Chan, Sören Mindermann: The alignment problem from a deep learning perspective. 22. Februar 2023;
Wenn ein KI-System fehlausgerichtet ist, kann dies zu schwerwiegenden Fehlern führen oder Schaden anrichten: Die KI kann Schlupflöcher finden, die es ihr ermöglichen, ihre Stellvertreterziele zwar effizient, aber auf unbeabsichtigte, manchmal schädliche Weise zu erreichen („Belohnungs-Hacking“).Alexander Pan, Kush Bhatia, Jacob Steinhardt: The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations, 14. Februar 2022; abgerufen am 21. Juli 2022.Zhuang, Simon; Hadfield-Menell, Dylan (2020). „Consequences of Misaligned AI“. Advances in Neural Information Processing Systems. Vol. 33. Curran Associates, Inc. pp. 15763–15773. Abgerufen am 11. März 2023. KI-Systeme könnten zudem unerwünschte instrumentelle Strategien entwickeln, wie z. B. das Streben nach Macht oder ihrem eigenen Überleben, da solche Strategien ihnen helfen, ihre vorgegebenen Ziele zu erreichen;Joseph Carlsmith: Is Power-Seeking AI an Existential Risk? 16. Juni 2022; Stuart J. Russell: Human compatible: Artificial intelligence and the problem of control. Penguin Random House, 2020, ISBN 978-0-525-55863-7. außerdem können sie emergente Ziele entwickeln, das heißt, Ziele, die unerwartet, aber rein logisch folgerichtig aus dem Algorithmus und seiner originalen Zielfunktion entstehen und die schwer zu erkennen sind, bevor das System im Einsatz ist, wo es mit neuen Situationen und Datenverteilungen konfrontiert wird.Brian Christian: The alignment problem: Machine learning and human values. W. W. Norton & Company, 2020, ISBN 978-0-393-86833-3; Lauro Langosco Di Langosco, Jack Koch, Lee D. Sharkey, Jacob Pfau, David Krueger: Goal Misgeneralization in Deep Reinforcement Learning. In: Proceedings of the 39th International Conference on Machine Learning. International Conference on Machine Learning, PMLR, 28. Juni 2022. S. 12004–12019. proceedings.mlr.press abgerufen am 11. März 2023.
Heute sind diese Probleme bereits bei bestehenden kommerziellen Systemen wie Sprachmodellen,Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, J. Schulman, Jacob Hilton, Fraser Kelton, Luke E. Miller, Maddie Simens, Amanda Askell, P. Welinder, P. Christiano, J. Leike, Ryan J. Lowe: Training language models to follow instructions with human feedback. 2022; Wojciech Zaremba, Greg Brockman: „OpenAI Codex“ OpenAI, 10. August 2021; Robotern,Jens Kober, J. Andrew Bagnell, Jan Peters: Reinforcement learning in robotics: A survey. In: The International Journal of Robotics Research, 1. September 2013, 32 (11), S. 1238–1274; doi:10.1177/0278364913495721. . S2CID 1932843 autonomen FahrzeugenW. Bradley Knox, Alessandro Allievi, Holger Banzhaf, Felix Schmitt, Peter Stone: Reward (Mis)design for autonomous driving. In: Artificial Intelligence, 1. März 2023, 316, S. 103829; doi:10.1016/j.artint.2022.103829. . S2CID 233423198. und Empfehlungsalgorithmen für soziale Medien zu beobachten.Jonathan Stray: Aligning AI Optimization to Community Well-Being. In: International Journal of Community Well-Being, 2020, 3 (4), 443–463; doi:10.1007/s42413-020-00086-3. . , PMID 34723107. S2CID 226254676. Einige KI-Forscher argumentieren, dass leistungsfähigere Systeme der Zukunft stärker betroffen sein werden, da derartige Probleme zum Teil aus der hohen Leistungsfähigkeit der Systeme resultieren.Stuart Russell, Peter Norvig: Artificial Intelligence: A Modern Approach. Prentice Hall, 2009, ISBN 978-0-13-604259-4, S. 1010; aima.cs.berkeley.edu
Führende KI-Wissenschaftler wie Geoffrey Hinton und Stuart Russell haben argumentiert, dass sich die Leistung von KI übermenschlichen Fähigkeiten nähert und die menschliche Zivilisation im Falle eines Fehlalignements gefährden könnte;Craig S. Smith: Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat. In: Forbes; abgerufen am 4. Mai 2023 die KI-Forschungsgemeinschaft und die Vereinten Nationen haben die Forderung nach entsprechender technischer Forschung und politischen Lösungen gestellt, um zu gewährleisten, dass KI-Systeme mit menschlichen Werten in Einklang gebracht werden.Asilomar AI Principles. Future of Life Institute, 11. August 2017. Die KI-Prinzipien, die auf der Asilomar Conference on Beneficial AI kreiert wurden, wurden von 1.797 KI- und Robotik-Forschenden unterzeichnet.Our Common Agenda: Report of the Secretary-General (PDF; 4,7 MB) Vereinte Nationen, 2021; „Die [UN] könnten zudem KI-Regulationen fördern, um das Alignment nach gemeinsamen globalen Werten sicherzustellen.“
Das Wertalignment von KI ist ein Teilbereich der KI-Sicherheit, die sich mit der Frage beschäftigt, wie sichere KI-Systeme hergestellt werden können;Dario Amodei, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, Dan Mané: Concrete Problems in AI Safety. 21. Juni, 2016; andere entspr. Teilbereiche sind Robustheit, Überwachung und die Kontrolle von Fähigkeiten. Zu den Herausforderungen im Bereich des KI-Wertalignments zählen die Vermittlung komplexer Werte an KI-Systeme, die Entwicklung „ehrlicher“ KI, die Entwicklung einer skalierbaren Form der Überwachung, das Prüfen und Interpretieren von KI-Modellen und die Verhinderung von unerwünscht entstehendem Verhalten wie dem Streben nach Macht.
Die Forschung zur KI-Ausrichtung hat u. a. Verbindungen: zur Interpretierbarkeitsforschung,Mordechai Rorvig: Researchers Gain New Understanding From Simple AI. In: Quanta Magazine, 14. April, 2022; .Finale Doshi-Velez, Been Kim: Towards A Rigorous Science of Interpretable Machine Learning.2. März 2017; zur Erkennung von Anomalien, zur kalibrierten Unsicherheit, zur formalen Verifikation,Stuart Russell, Daniel Dewey, Max Tegmark: Research Priorities for Robust and Beneficial Artificial Intelligence. In: AI Magazine, 31. Dezember 2015, 36 (4), S. 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. . S2CID 8174496. zum Präferenzlernen,Christian Wirth, Riad Akrour, Gerhard Neumann, Johannes Fürnkranz: A survey of preference-based reinforcement learning methods. In: Journal of Machine Learning Research, 2017, 18 (136), S. 1–46.Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, Dario Amodei: Deep reinforcement learning from human preferences. In: Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS’17. Curran Associates, Red Hook NY 2017, ISBN 978-1-5108-6096-4, S. 4302–4310.Will Douglas Heaven: The new version of GPT-3 is much better behaved (and should be less toxic). In: MIT Technology Review, 27. Januar 2022; zu für Sicherheit relevanter Technik,Sina Mohseni, Haotao Wang, Zhiding Yu, Chaowei Xiao, Zhangyang Wang, Jay Yadawa. Taxonomy of Machine Learning Safety: A Survey and Primer. 7. März 2022; . zur Spieltheorie,Jesse Clifton: Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda. Center on Long-Term Risk, 2020; zur Algorithmen-Fairness,Carina Prunkl, Jess Whittlestone: Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society. In: Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society. New York NY USA, 7. Februar 2020. ACM, ISBN 978-1-4503-7110-0, S. 138–143; doi:10.1145/3375627.3375803. S2CID 210164673. und zu den Sozialwissenschaften.Geoffrey Irving, Amanda Askell: AI Safety Needs Social Scientists. In: Distill, 19. Februar, 2019, 4 (2); doi:10.23915/distill.00014. . S2CID 159180422.
Das Alignmentproblem 1960 beschrieb der KI-Pionier Norbert Wiener das KI-Alignmentproblem wie folgt: „Wenn wir zur Erreichung unserer Ziele eine mechanische, autonome Entität nutzen, in deren Betrieb wir nicht wirksam eingreifen können … dann sollten wir besser ganz sicher gehen, dass die in die Maschine einprogrammierten Ziele die sind, die wir uns tatsächlich erhoffen.“Norbert Wiener: Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers. In: Science, 6. Mai, 1960, 131 (3410), S. 1355–1358; doi:10.1126/science.131.3410.1355. . PMID 17841602. Verschiedene Definitionen von AI-Alignment verlangen, dass ein ausgerichtetes KI-System verschiedene Ziele verfolgt: die Ziele der Entwickler, der Benutzer oder alternativ objektive ethische Standards, weithin akzeptierte Werte oder die Absichten, die die Entwickler gehabt hätten, wären sie besser informiert und aufgeklärt gewesen.Iason Gabriel: Artificial Intelligence, Values, and Alignment. In: Minds and Machines, 1. September 2020, 30 (3), S. 411–437; doi:10.1007/s11023-020-09539-2 doi:10.1007/s11023-020-09539-2. . S2CID 210920551.
Das AI-Alignment stellt ein offenes Problem für moderne KI-SystemeIf ‘All Models Are Wrong’, Why Do We Give Them So Much Power? The Ezra Klein Show (4. Juni 2021). The New York Times. Steven Johnson, Nikita Iziev: A.I. Is Mastering Language. Should We Trust What It Says? The New York Times, 15. April, 2022; und ein Teilgebiet innerhalb der KI-Forschung dar.Developing safe & responsible AI. OpenAI; abgerufen am 13. März 2023. Das Alignment von KI stellt zwei wesentliche Herausforderungen: Die sorgfältige Spezifizierung des Systemzieles (äußeres Ziel- und Wertalignment) und die Sicherstellung, dass das System sich die Spezifikationen verlässlich aneignet und danach handelt (inneres Ziel- und Wertalignment).
Ein zentraler Aspekt besteht darin, dass KI-Systeme typischerweise als Optimierungsverfahren implementiert sind, die eine vorgegebene Zielfunktion maximieren. In der Fachliteratur wird darauf hingewiesen, dass die formale und vollständige Spezifikation menschlicher Werte mit erheblichen Schwierigkeiten verbunden ist. Unvollständig oder unpräzise definierte Zielfunktionen können dazu führen, dass ein System zwar das spezifizierte Ziel effizient erreicht, dabei jedoch unerwünschte oder schädliche Nebenwirkungen erzeugt.Nick Bostrom: Superintelligence: Paths, Dangers, Strategies. Oxford University Press, 2014, S. 120ff.