KI-Sicherheit () ist ein interdisziplinärer Bereich, der sich mit der Verhinderung von Unfällen, Missbrauch oder anderen schädlichen Folgen von Systemen der künstlichen Intelligenz (KI) befasst. Er umfasst Maschinen- bzw. Roboterethik und AI-Alignment (deutsch: KI-Ausrichtung), die sicherstellen sollen, dass KI-Systeme moralisch und konstruktiv agieren, sowie die Überwachung von KI-Systemen auf Risiken und die Verbesserung ihrer Zuverlässigkeit. Der Bereich befasst sich insbesondere mit existenziellen Risiken, die von fortgeschrittenen KI-Modellen ausgehen.
Neben der technischen Forschung umfasst die KI-Sicherheit auch die Entwicklung von Normen und politischen Richtlinien, die Sicherheit fördern. Mit den raschen Fortschritten im Bereich der generativen KI und öffentlichkeitswirksamen Sicherheitsbedenken von Forschern und CEOs hat dieses Thema im Jahr 2023 stark an Bedeutung gewonnen. Während des KI-Sicherheitsgipfels 2023 gründeten sowohl die Vereinigten Staaten als auch das Vereinigte Königreich ihr eigenes KI-Sicherheitsinstitut. Früher im selben Jahr hatte die Bundesregierung bereits das Institut für KI-Sicherheit gegründet, das dem DLR untergeordnet ist. Forscher zeigten sich jedoch besorgt darüber, dass die KI-Sicherheitsmaßnahmen nicht mit der rasanten Entwicklung der KI-Fähigkeiten Schritt halten.Perrigo, Billy (2023-02. November). „U.K.'s AI Safety Summit Ends With Limited, but Meaningful, Progress“. Time. Abgerufen am 2. Juni 2024.
Forschungsziele Forscher erörtern aktuelle Risiken wie das Versagen kritischer SystemeDe-Arteaga, Maria (13. Mai 2020). Machine Learning in High-Stakes Settings: Risks and Opportunities (Dissertation). Carnegie Mellon University., DiskrimnierungsrisikenMehrabi, Ninareh; Morstatter, Fred; Saxena, Nripsuta; Lerman, Kristina; Galstyan, Aram (2021). „A Survey on Bias and Fairness in Machine Learning“. ACM Computing Surveys. 54 (6): 1–35. , doi:10.1145/3457607. . 201666566. 23. November 2022. Abgerufen am 28. November 2022. und KI-gestützte ÜberwachungFeldstein, Steven (2019). The Global Expansion of AI Surveillance (Report). Carnegie Endowment for International Peace. sowie aufkommende Risiken wie technologiegetriebene Arbeitslosigkeit, digitale Manipulation,Beth Barnes: vom Original am 23. November 2022. Abgerufen am 14. Februar 2025. (englisch). Instrumentalisierung als Waffe, KI-gestützte CyberangriffeDavies, Pascale (26. Dezember 2022). „How NATO is preparing for a new era of AI cyber attacks“. euronews. Abgerufen am 23. März 2024. und Bioterrorismus.Ahuja, Anjana (7. Februar 2024). „AI's bioterrorism potential should not be ruled out“. Financial Times. Abgerufen am 23. März 2024. Sie erörtern auch spekulative Risiken, die sich aus dem Verlust der Kontrolle über künftige Agenten mit AGI (künstlicher allgemeiner Intelligenz) ergeben,Carlsmith, Joseph (2022-16. Juni). „Is Power-Seeking AI an Existential Risk?“. . oder aus KI, die dauerhafte, stabile Diktaturen ermöglicht.Minardi, Di (16. Oktober 2020). „The grim fate that could be 'worse than extinction'“. BBC. Abgerufen am 23. März 2024.
Existenzielle Sicherheit Siehe auch: Existenzielles Risiko durch künstliche allgemeine Intelligenz
Einige haben die Bedenken gegen AGI kritisiert, wie Andrew Ng, der sie 2015 damit verglich, „sich über die Überbevölkerung auf dem Mars Sorgen zu machen, bevor wir auch nur einen Fuß auf den Planeten gesetzt haben“.„AGI Expert Peter Voss Says AI Alignment Problem is Bogus | NextBigFuture.com“. 2023-04-04. Abgerufen am 23. Juli 2023. Stuart J. Russell hingegen mahnt zur Vorsicht und argumentiert, dass „es besser ist, den menschlichen Einfallsreichtum vorherzusagen, als ihn zu unterschätzen“.Dafoe, Allan (2016). „Yes, We Are Worried About the Existential Risk of Artificial Intelligence“. MIT Technology Review. vom Original am 28. November 2022. Abgerufen am 28. November 2022.
Unter KI-Forschern gehen die Meinungen zu Schwere und Hauptursachen der von KI-Technologie ausgehenden Risiken weit auseinanderZhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-05. Mai). „Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers“. Journal of Artificial Intelligence Research. 71. . doi:10.1613/jair.1.12895.Zach Stein-Perlman, Katja Grace: 23. November 2022. Abgerufen am 14. Februar 2025. (englisch). – obwohl Umfragen darauf hindeuten, dass die Experten Risiken mit schweren potentiellen Konsequenzen ernst nehmen. In zwei Umfragen unter KI-Forschern sah der Median der Befragten der Zukunft von KI insgesamt optimistisch entgegen, schätzte aber die Wahrscheinlichkeit eines „verheerenden Ergebnisses (z. B. das Aussterben der Menschheit)“ aufgrund von fortgeschrittener KI auf 5 %. In einer Umfrage aus dem Jahr 2022 in der Computerlinguistik-Community stimmten 37 % der Befragten zu oder schwach zu, es sei plausibel, dass KI-Entscheidungen zu einer Katastrophe führen könnten, die „mindestens so schlimm wäre wie ein ausgewachsener Atomkrieg“.Michael, Julian; Holtzman, Ari; Parrish, Alicia; Mueller, Aaron; Wang, Alex; Chen, Angelica; Madaan, Divyam; Nangia, Nikita; Pang, Richard Yuanzhe; Phang, Jason; Bowman, Samuel R. (2022–26. August). „What Do NLP Researchers Believe? Results of the NLP Community Metasurvey“. Association for Computational Linguistics. .
Geschichte Die Risiken künstlicher Intelligenz wurden zu Beginn des Computerzeitalters erstmals ernsthaft diskutiert:
1988 veröffentlichte Blay Whitby ein Buch, in dem er auf die Notwendigkeit hinwies, KI nach ethischen und sozial verantwortlichen Gesichtspunkten zu entwickeln.sussex.figshare.com
Von 2008 bis 2009 gab die Association for the Advancement of Artificial Intelligence (AAAI) eine Studie in Auftrag, um die möglichen langfristigen gesellschaftlichen Auswirkungen der KI-Forschung und -Entwicklung zu untersuchen und zu adressieren. Das Gremium stand den radikalen Ansichten von Science-Fiction-Autoren skeptisch gegenüber, war sich aber einig, dass „zusätzliche Forschung zu Methoden für das Verständnis und die Überprüfung der Verhaltensweisen komplexer Computersysteme wertvoll wäre, um unerwartete Ergebnisse zu minimieren“. 1. September 2022. Abgerufen am 14. Februar 2025. (englisch).
Im Jahr 2011 führte Roman Yampolskiy auf der Konferenz zu Philosophie und Theorie künstlicher Intelligenz den Begriff „AI safety engineering“Yampolskiy, Roman V.; Spellchecker, M. S. (2016–25. Oktober). „Artificial Intelligence Safety and Cybersecurity: a Timeline of AI Failures“. . ein, 23. November 2022. Abgerufen am 14. Februar 2024. (englisch). listete bereits bekannte Ausfälle von KI-Systemen auf und argumentierte, dass „die Häufigkeit und Schwere solcher Ereignisse mit zunehmender Leistungsfähigkeit von KI stetig zunehmen wird“.Yampolskiy, Roman V. (2013), Müller, Vincent C. (Hrsg.), „Artificial Intelligence Safety Engineering: Why Machine Ethics is a Wrong Approach“, Philosophy and Theory of Artificial Intelligence, Studies in Applied Philosophy, Epistemology and Rational Ethics, Bd. 5, Berlin; Heidelberg, Deutschland: Springer Berlin Heidelberg, S. 389–396, doi:10.1007/978-3-642-31674-6_29, ISBN 978-3-642-31673-9,
Im Jahr 2014 veröffentlichte der Philosoph Nick Bostrom das Buch Superintelligenz: Szenarien einer kommenden Revolution. Er ist der Meinung, der Aufstieg von AGI hätte das Potenzial, verschiedene gesellschaftliche Probleme hervorzurufen, die von der Verdrängung von Arbeitskräften durch KI über die Manipulation politischer und militärischer Strukturen bis hin zur Möglichkeit der Auslöschung menschlichen Lebens reichen. Sein Argument, wonach künftige fortschrittliche Systeme eine Bedrohung für die menschliche Existenz darstellen könnten, veranlasste Elon Musk,Rob Wile: Elon Musk: Artificial Intelligence Is 'Potentially More Dangerous Than Nukes’. In: Business Insider. 3. August 2014 (businessinsider.com) Abgerufen am 22. Februar 2024. Bill Gates, und Stephen Hawking dazu, ähnliche Bedenken zu äußern.
Im Jahr 2015 unterzeichneten Dutzende von KI-Experten einen offenen Brief, in dem sie die Erforschung der gesellschaftlichen Auswirkungen von KI forderten und konkrete Richtungen skizzierten. Bis heute wurde der Brief von über 8000 Personen unterzeichnet, darunter Yann LeCun, Shane Legg, Yoshua Bengio und Stuart Russell.
Im selben Jahr gründete eine Gruppe von Fachleuten unter der Leitung von Professor Stuart Russell das Center for Human-Compatible AI an der University of California Berkeley, und das Future of Life Institute vergab 6,5 Millionen Dollar an Zuschüssen für die Forschung mit dem Ziel, „sicherzustellen, dass künstliche Intelligenz (KI) sicher, ethisch und konstruktiv bleibt“.Future of Life Institute (Oktober 2016). „AI Research Grants Program“. Future of Life Institute. vom Original am 23. November 2022. Abgerufen am 23. November 2022.
2016 kündigten das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses und die Carnegie Mellon University den Public Workshop on Safety and Control for Artificial Intelligence an,„SafArtInt 2016“. vom Original am 23. November 2022. Abgerufen am 23. November 2022. der zu einer Reihe von vier Workshops des Weißen Hauses gehörte, deren Ziel es war, „die Vor- und Nachteile“ von KI zu untersuchen.Bach, Deborah (2016). „UW to host first of four White House public workshops on artificial intelligence“. UW News. vom Original am 23. November 2022. Abgerufen am 23. November 2022. Im selben Jahr wurde Concrete Problems in AI Safety veröffentlicht – eine der ersten und einflussreichsten technischen KI-Sicherheitsagenden.Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (2016–25. Juli). „Concrete Problems in AI Safety“. .
Im Jahr 2017 sponserte das Future of Life Institute die Asilomar Conference on Beneficial AI, auf der mehr als 100 führende Denker Grundsätze für nutzbringende KI formulierten, darunter „die Vermeidung eines Wettlaufs: Teams, die KI-Systeme entwickeln, sollten aktiv zusammenarbeiten, um die Unterbietung von Sicherheitsstandards zu vermeiden.“Future of Life Institute. „AI Principles“. Future of Life Institute. vom Original am 23. November 2022. Abgerufen am 23. November 2022.
Im Jahr 2018 skizzierte das Sicherheits-Team von DeepMind KI-Sicherheitsprobleme in den Bereichen Spezifikation, WiderstandsfähigkeitBengio, Yohsua; Privitera, Daniel; Besiroglu, Tamay; Bommasani, Rishi; Casper, Stephen; Choi, Yejin; Goldfarb, Danielle; Heidari, Hoda; Khalatbari, Leila (Mai 2024). International Scientific Report on the Safety of Advanced AI (Bericht). Department for Science, Innovation and Technology. und Absicherung.Research, DeepMind Safety (2018–27. September). „Building safe artificial intelligence: specification, robustness, and assurance“. Medium. vom Original am 10. Februar 2023. Abgerufen am 23. November 2022. Im darauffolgenden Jahr organisierten die Forscher einen Workshop auf der ICLR-Konferenz, der sich auf diese Problembereiche konzentrierte.„SafeML ICLR 2019 Workshop“. vom Original am 23. November 2022. Abgerufen am 23. November 2022.
Im Jahr 2021 wurde Unsolved Problems in ML Safety (deutsch: Ungelöste Probleme der KI-Sicherheit) veröffentlicht, in dem Forschungsrichtungen in den Bereichen Widerstandsfähigkeit, Überwachung, Alignment und systemische Sicherheit skizziert wurden.Hendrycks, Dan; Carlini, Nicholas; Schulman, John; Steinhardt, Jacob (2022-16. Juni). „Unsolved Problems in ML Safety“. .