Existenzielles Risiko durch künstliche Intelligenz bezeichnet die Hypothese, dass wesentliche Fortschritte bei der Entwicklung von Artificial General Intelligence (AGI) zum Aussterben der Menschheit oder zu einer anderen unumkehrbaren globalen Katastrophe führen könnten.Russell, Stuart; Norvig, Peter (2009). "26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4.Bostrom, Nick (2002). "Existential risks". Journal of Evolution and Technology. 9 (1): 1–31.Turchin, Alexey; Denkenberger, David (3. Mai 2018). "Classification of global catastrophic risks connected with artificial intelligence". AI & Society. 35 (1): 147–163. doi:10.1007/s00146-018-0845-5. . S2CID 19208453.
Ein Argument stellt sich wie folgt dar: Der Mensch ist anderen Arten überlegen, weil das menschliche Gehirn über besondere Fähigkeiten verfügt, die anderen Tieren fehlen. Sollte die KI also eine übermenschliche Allgemeine Intelligenz oder Superintelligenz entwickeln, könnte es schwierig oder unmöglich werden, sie zu kontrollieren. So wie das Schicksal des Berggorillas vom Wohlwollen der Menschen abhängt, könnte auch das Schicksal der Menschheit von den Handlungen einer zukünftigen maschinellen Superintelligenz abhängen.Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (1. Ausgabe). Oxford University Press. ISBN 978-0-19-967811-2.
Wie plausibel eine existenzielle Katastrophe durch Künstliche Intelligenz (KI) ist, wird breit diskutiert und hängt zum Teil davon ab, ob AGI oder Superintelligenz erreichbar sind, wie schnell sich gefährliche Fähigkeiten und Verhaltensweisen entwickelnVynck, Gerrit De (23. Mai 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". Washington Post. . Abgerufen am 27. Juli 2023. und ob es konkrete Szenarien für eine Machtübernahme durch KI gibt.Metz, Cade (10. Juni 2023). "How Could A.I. Destroy Humanity?". The New York Times. . Abgerufen am 27. Juli 2023. Besorgnis über Superintelligenz wurde von führenden Informatikern und Firmenchefs wie Geoffrey Hinton,""Godfather of artificial intelligence" weighs in on the past and potential of AI". www.cbsnews.com. 25. März 2023. Abgerufen am 10. April 2023. Yoshua Bengio,"How Rogue AIs may Arise". yoshuabengio.org. 26. Mai 2023. Abgerufen am 26. Mai 2023. Alan Turing, Elon MuskParkin, Simon (14. Juni 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian. Archiviert aus dem Original am 5. Februar 2018. Abgerufen am 5. Februar 2018. und dem CEO von OpenAI Sam Altman geäußert.Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider. Abgerufen am 10. April 2023. In einer Umfrage unter KI-Forschern aus dem Jahr 2022 mit einer Antwortrate von 17 % gab die Mehrheit der Befragten an, dass die Unfähigkeit, KI zu kontrollieren, mit einer Wahrscheinlichkeit von 10 % oder mehr zu einer existenziellen Katastrophe führen wird."The AI Dilemma". www.humanetech.com. Abgerufen am 10. April 2023. 50 % der KI-Forschenden gaben die Wahrscheinlichkeit des Aussterbens der Menschheit durch gescheiterte Kontrolle von KI mit 10 % oder mehr an."2022 Expert Survey on Progress in AI". AI Impacts. 4. August 2022. Abgerufen am 10. April 2023. 2023 unterzeichneten Hunderte von KI-Experten und anderen namhaften Persönlichkeiten eine Erklärung, in der es heißt: „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen Risiken von gesamtgesellschaftlichem Ausmaß wie Pandemien und Atomkrieg eine globale Priorität sein.“Roose, Kevin (30. Mai 2023). "A.I. Poses 'Risk of Extinction,' Industry Leaders Warn". The New York Times. . Abgerufen am 3. Juni 2023. Infolge der zunehmenden Besorgnis über KI-Risiken forderten führende Regierungsvertreter wie der ehemalige britische Premierminister Rishi SunakSunak, Rishi (14. Juni 2023). . Time. und der Generalsekretär der Vereinten Nationen António GuterresFung, Brian (18. Juli 2023). "UN Secretary General embraces calls for a new UN agency on AI in the face of 'potentially catastrophic and existential risks'". CNN Business. Abgerufen am 20. Juli 2023. eine stärkeren Fokus auf die globale KI-Regulierung.
Zwei Quellen der Besorgnis ergeben sich aus den Problemen der KI-Kontrolle und -Ausrichtung: Es könnte schwierig sein, eine superintelligente Maschine zu kontrollieren oder ihr menschliche Werte zu vermitteln. Viele Forscher glauben, dass sich eine superintelligente Maschine gegen Versuche, sie zu deaktivieren oder ihre Ziele zu ändern, wehren würde, da sie dies von der Verfolgung ihrer derzeitigen Ziele abhielte. Es wäre äußerst schwierig, eine Superintelligenz mit der gesamten Bandbreite bedeutsamer menschlicher Werte und Grenzen in Einklang zu bringen.Yudkowsky, Eliezer (2008). "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (PDF; 0,5 MB). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. Archiviert (PDF) aus dem Original am 2. März 2013. Abgerufen am 27. August 2018.Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015). "Research Priorities for Robust and Beneficial Artificial Intelligence" (PDF; 0,6 MB). AI Magazine. Association for the Advancement of Artificial Intelligence: 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. Archiviert (PDF) aus dem Original am 4. August 2019. Abgerufen am 10. August 2019., zitiert "AI Open Letter - Future of Life Institute". Future of Life Institute. Januar 2015. Archiviert aus dem Original am 10. August 2019. Abgerufen am 9. August 2019. Im Gegensatz dazu argumentieren Skeptiker wie der Informatiker Yann LeCun, dass superintelligente Maschinen keinen Wunsch nach Selbsterhaltung hegen werden.Dowd, Maureen (April 2017). "Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse". The Hive. Archiviert aus dem Original am 26. Juli 2018. Abgerufen am 27. November 2017.
Eine dritte Quelle der Sorge ist, dass eine plötzliche „Intelligenzexplosion“ die unvorbereitete Menschheit überraschen könnte. Derlei Szenarien ziehen die Möglichkeit in Betracht, dass eine KI, die intelligenter ist als ihre Schöpfer, in der Lage sein könnte, sich selbst mit exponentiell steigender Geschwindigkeit rekursiv zu verbessern, und zwar so schnell, dass sie von ihren Betreibern und der Gesellschaft als Ganzes nicht länger kontrolliert werden kann. Empirische Beispiele wie das Programm AlphaZero, das sich selbst das Gospielen beibrachte, zeigen, dass sich bereichsspezifische KI-Systeme manchmal sehr schnell von dem Menschen Unterlegenen zu Akteuren mit übermenschlichen Fähigkeiten entwickeln können, obwohl solche Systeme keiner Änderung ihrer grundlegenden Architektur bedürfen."AlphaGo Zero: Starting from scratch". www.deepmind.com. Abgerufen am 28. Juli 2023.
Geschichte
Einer der ersten Autoren, der ernsthafte Sorge darüber äußerte, dass hochentwickelte Maschinen existenzielle Risiken für die Menschheit darstellen könnten, war der Schriftsteller Samuel Butler, der 1863 in seinem Essay Darwin among the Machines schrieb:Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Archived 15. März 2023 in Wayback Machine Modern Philology, Vol. 72, No. 4 (Mai 1975), pp. 365–383
Im Jahr 1951 schrieb der Informatiker Alan Turing den Artikel Intelligent Machinery, A Heretical Theory, in dem er postulierte, dass allgemeine künstliche Intelligenzen, würden sie übermenschliche Intelligenz entwickeln, wahrscheinlich die Kontrolle über die Welt übernähmen:
Im Jahr 1965 entwickelte I. J. Good das Konzept, das heute als „Intelligenzexplosion“ bekannt ist, und erklärte, die Risiken würden unterschätzt:Hilliard, Mark (2017). "The AI apocalypse: will the human race soon be terminated?". The Irish Times. Archiviert vom Original am 22. Mai 2020. Aufgerufen am 15. März 2020.
Wissenschaftler wie Marvin MinskyRussell, Stuart J.; Norvig, Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0-13-790395-5. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal. und I. J. Good selbstBarrat, James (2013). Our final invention: artificial intelligence and the end of the human era (1. Edition). New York: St. Martin's Press. ISBN 978-0-312-62237-4. In the bio, playfully written in the third person, Good summarized his life's milestones, including a probably never before seen account of his work at Bletchley Park with Turing. But here's what he wrote in 1998 about the first superintelligence, and his late-in-the-game U-turn: [The paper] 'Speculations Concerning the First Ultra-intelligent Machine' (1965) . . . began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his [Good's] words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.' äußerten gelegentlich die Sorge, dass eine Superintelligenz die Kontrolle übernehmen könnte, riefen aber nicht zum Handeln auf. Im Jahr 2000 verfasste der Informatiker und Mitbegründer von Sun Microsystems Bill Joy einen einflussreichen Aufsatz mit dem Titel Why The Future Doesn't Need Us (deutsch: Warum die Zukunft uns nicht braucht), in dem er superintelligente Roboter neben der Nanotechnologie und künstlich designten biologischen Erregern als High-Tech-Gefahr für das menschliche Überleben bezeichnete.Anderson, Kurt (26 November 2014). "Enthusiasts and Skeptics Debate Artificial Intelligence". Vanity Fair. Archiviert vom Original am 22. Januar 2016. Abgerufen am 30. Januar 2016.
Nick Bostrom veröffentlichte 2014 das Buch Superintelligenz, in dem er dafür argumentierte, dass Superintelligenz eine existenzielle Bedrohung darstellt.Metz, Cade (9.6.2018). "Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots". The New York Times. Archiviert vom Original am 15. Februar 2021. Abgerufen am 3. April 2019. 2015 äußerten sich Persönlichkeiten des öffentlichen Lebens wie die Physiker Stephen Hawking und Nobelpreisträger Frank Wilczek, die Informatiker Stuart J. Russell und Roman Yampolskiy sowie die Unternehmer Elon Musk und Bill Gates besorgt über die potenziellen Risiken durch Superintelligenz.Hsu, Jeremy (1.3.2012). "Control dangerous AI before it controls us, one expert says". NBC News. Archiviert vom Original am 2. Februar 2016. Abgerufen am 28. Januar 2016."Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?'". The Independent (UK). Archiviert vom Original am 25. September 2015. Abgerufen am 3. Dezember 2014."Stephen Hawking warns artificial intelligence could end mankind". BBC. 2. Dezember 2014. Archiviert vom Original am 30. Oktober 2015. Abgerufen am 3. Dezember 2014.Eadicicco, Lisa (28 January 2015). "Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity". Business Insider. Archiviert vom Original am 26. Februar 2016. Abgerufen am 30. Januar 2016.