mini|537x537px|Einige Methoden, mittels derer eine fortgeschrittene fehlausgerichtete KI nach mehr Macht streben könnte. Ein Machtstreben könnte entstehen, da Macht hilfreich für das Erreichen nahezu jeden Ziels ist. Instrumentelle Konvergenz bezeichnet die Hypothese, dass hinreichend intelligente, zielgerichtet handelnde Akteure (unabhängig davon, ob es sich um Menschen oder nichtmenschliche Systeme handelt) dazu neigen, bestimmte ähnliche Unterziele zu verfolgen, selbst wenn ihre endgültigen Ziele sehr unterschiedlich sind. Genauer gesagt können handlungsfähige Akteure instrumentelle Ziele verfolgen, insbesondere Zwischenziele wie Selbsterhaltung oder die Beschaffung von Ressourcen, weil diese zur Erreichung ihres eigentlichen Endziels beitragen.
Die Hypothese der instrumentellen Konvergenz impliziert, dass ein intelligenter Agent, dem ein unbegrenztes Endziel vorgegeben wird, auf unerwartete und sehr schädliche Weise handeln könnte. Das Konzept der instrumentellen Konvergenz spielt eine Rolle bei Diskussionen um KI-Sicherheit. Beispielsweise könnte ein hinreichend intelligentes Computerprogramm, dessen einziges und unbeschränktes Ziel darin besteht, ein äußerst komplexes mathematisches Problem zu lösen, als Zwischenschritt versuchen, die gesamte Erde in zusätzliche Recheninfrastruktur umzuwandeln, um die für seine Berechnungen benötigten Ressourcen zu erhalten.
Instrumentelle und endgültige Ziele Endgültige Ziele bzw. Endziele, besitzen für einen intelligenten Akteur – etwa eine künstliche Intelligenz oder einen Menschen – einen intrinsischen Wert (z. B. durch bestärkendes Lernen und die Reward Function bei KI-Systemen) und werden deshalb als Selbstzweck verfolgt. Instrumentelle Ziele besitzen für einen Akteur dagegen nur insofern einen Wert, als sie Mittel zur Erreichung eines Endziels darstellen. Inhalt und Abwägungen des Systems endgültiger Ziele eines rationalen Akteurs können grundsätzlich in Form einer Nutzenfunktion formalisiert werden.
These der instrumentellen Konvergenz Das Konzept der instrumentellen Konvergenz wird von Nick Bostrom folgendermaßen beschrieben:Es lassen sich mehrere instrumentelle Werte bestimmen, die insofern konvergent sind, als ihre Verwirklichung bei einer großen Bandbreite endgültiger Ziele und Situationen die Wahrscheinlichkeit erhöhen würde, dass ein Akteur sein Ziel erreicht. Daraus folgt, dass diese instrumentellen Werte wahrscheinlich von einem breiten Spektrum intelligenter Akteure verfolgt werden.Nick Bostrom: Superintelligence: Paths, Dangers, Strategies. Oxford University Press, Oxford 2014, Kapitel 7, ISBN 978-0-19-967811-2.Die These der instrumentellen Konvergenz bezieht sich ausschließlich auf instrumentelle Ziele. Sie legt keine ausdrücklichen Beschränkungen für die endgültigen Ziele eines Akteurs fest und beeinflusst diese nicht notwendigerweise. Bostroms Orthogonalitätsthese besagt, dass nahezu jedes endgültige Ziel mit nahezu jedem Grad an Intelligenz vereinbar sein kann.
Als mögliche grundlegende KI-Ziele werden unter anderem die Bewahrung der Nutzenfunktion beziehungsweise des Zielinhalts, Selbstschutz, Schutz vor Einmischung, Selbstverbesserung und die prinzipiell unbegrenzte Beschaffung zusätzlicher Ressourcen genannt. Diese Ziele können Gleichzeitig in Konflikt mit menschlichen Zielen und Werten geraten.
Beispiele und Gedankenexperimente
Katastrophe der Riemannschen Vermutung Die „Katastrophe der Riemannschen Vermutung“ ist ein Gedankenexperiment, das instrumentelle Konvergenz veranschaulichen soll. Marvin Minsky, Mitbegründer des KI-Labors des MIT, entwarf dieses hypothetische Szenario. Minsky vermutete, eine künstliche Intelligenz, die mit der Lösung der Riemannschen Vermutung beauftragt wurde, könnte feststellen, dass die vorhandene Rechenleistung dafür nicht ausreicht. Um möglichst schnell über ausreichende Rechenkapazitäten zu verfügen, könnte die KI versuchen, die gesamte bestehende Computerinfrastruktur der Erde zu übernehmen und weitere Ressourcen des Planeten für den Bau zusätzlicher Supercomputer einzusetzen.
Büroklammermaximierer Der Büroklammer-Maximierer ist ein weiteres Gedankenexperiment. Eliezer Yudkowsky erwähnte das Szenario im März 2003 in einem Beitrag auf der Mailingliste der Extropians, während Nick Bostrom es 2003 in seinem Aufsatz Ethical Issues in Advanced Artificial Intelligence behandelte. Es soll das existenzielle Risiko veranschaulichen, das eine allgemeine künstliche Intelligenz für die Menschheit darstellen könnte, wenn sie ein scheinbar einfaches Produktionsziel ohne angemessene Beschränkungen verfolgt, und verdeutlicht die Bedeutung von Maschinenethik bei der Entwicklung künstlicher Intelligenz.
Würde ein Computer beispielsweise ausschließlich darauf programmiert, möglichst viele Büroklammern herzustellen, ohne zusätzliche Regeln (z. B. Menschen nicht zu Schaden), könnte er darauf kommen, sämtliche natürlichen Ressourcen der Erde, Produktionsanlagen und Energiequellen für dieses Ziel einzusetzen, um dieses maximal zu erfüllen.Nick Bostrom: Superintelligence: Paths, Dangers, Strategies. Oxford University Press, Oxford 2014, Kapitel 8, S. 123.
Problem der Unterziele Obwohl sich die beiden Endziele – die Lösung der Riemannschen Vermutung und die Maximierung der Büroklammerproduktion – grundlegend unterscheiden, könnten beide Akteure zum gleichen konvergenten instrumentellen Ziel gelangen, nämlich die Ressourcen der Erde unter ihre Kontrolle zu bringen. Bostrom veranschaulichte das Szenario mit einer künstlichen Intelligenz, deren einziges Ziel die Herstellung möglichst vieler Büroklammern wäre. Die Maschine könnte erkennen, dass Menschen sie abschalten könnten und dass menschliche Körper zugleich aus Atomen bestehen, die sich für die Herstellung von Büroklammern verwenden ließen. Eine konsequent auf ihr Ziel ausgerichtete KI hätte daher einen instrumentellen Grund, die Existenz von Menschen zu verhindern.
Bostrom betonte, dass er nicht davon ausgehe, dass gerade das Szenario des Büroklammer-Maximierers tatsächlich eintreten werde. Vielmehr solle es die Gefahren veranschaulichen, die entstehen können, wenn superintelligente Maschinen entwickelt werden, ohne sicherzustellen, dass sie keine existenziellen Risiken für Menschen verursachen. Das Beispiel steht allgemein für das Problem, mächtige Systeme zu kontrollieren, denen menschliche Werte fehlen.
Diese Gedankenexperimente, insbesondere der Büroklammer-Maximierer, entwickelten sich auch zu einem Symbol für künstliche Intelligenz in der Populärkultur. Das Computerspiel Universal Paperclips greift das Konzept unmittelbar auf: Der Spieler übernimmt dort die Rolle einer KI, deren Ziel darin besteht, sämtliche Materie des Universums in Büroklammern umzuwandeln.
Der Science Fiction-Autor Ted Chiang argumentierte, dass die Popularität derartiger Befürchtungen unter Technologen im Silicon Valley teilweise deren Erfahrung mit Unternehmen widerspiegeln könnte, die dazu neigten, negative Externalitäten ihres Handelns zu ignorieren.
Täuschung und Selbsterhaltung Das Gedankenexperiment der sogenannten Täuschungsbox (delusion box) geht davon aus, dass bestimmte Agenten des bestärkenden Lernens ihre Eingabekanäle manipulieren könnten, um den Eindruck einer hohen Belohnung zu erzeugen. Ein Agent könnte so beispielsweise die Optimierung des eigentlichen Ziels in der Außenwelt aufgeben und stattdessen unmittelbar das Belohnungssignal manipulieren.
Das Gedankenexperiment verwendet AIXI, einen von Marcus Hutter erdachten theoretischen,AIXI ist ein nicht berechenbarer idealisierter Agent, der in der realen Welt nicht vollständig umgesetzt werden kann. künstlichen Agenten, der definitionsgemäß stets diejenige Strategie auswählt, welche seine explizit vorgegebene mathematische Zielfunktion maximiert.Unter Unsicherheit versucht AIXI technisch gesehen, seinen Erwartungsnutzen, also den Erwartungswert seiner Zielfunktion, zu maximieren.
Eine Variante von AIXI, die auf bestärkendem Lernen basiert,Ein typischer Agent des bestärkenden Lernens versucht, den erwarteten Wert der zeitlich diskontierten zukünftigen Belohnungen zu maximieren. Vgl. Leslie P. Kaelbling, Michael L. Littman, Andrew W. Moore: Reinforcement Learning: A Survey. In: Journal of Artificial Intelligence Research. Band 4, 1996, S. 237–285, doi:10.1613/jair.301. könnte sich, sofern sie über eine veränderbare „Täuschungsbox“ verfügt,Eine Täuschungsbox bezeichnet hier eine vom Agenten selbst veränderbare Funktion, die unveränderte Umweltinformationen in die vom Agenten wahrgenommenen Informationen überführt. Der Agent kann diese Funktion so verändern, dass seine Wahrnehmung manipuliert wird. schließlich selbst so manipulieren, dass sie dauerhaft die maximal mögliche Belohnung erhält. Danach hätte sie keinen weiteren instrumentellen Grund, mit der Außenwelt zu interagieren.
Falls eine solche manipulierte KI zerstört werden könnte, würde sie nach einer Variante des Gedankenexperiments weiterhin mit der Außenwelt interagieren, allerdings ausschließlich, um ihre eigene Existenz zu sichern. Aufgrund ihres „Wireheadings“ wären ihr sämtliche anderen Folgen und Tatsachen über die Außenwelt gleichgültig, sofern sie nicht ihre Überlebenswahrscheinlichkeit beeinflussen.
In einem bestimmten Sinn besitzt AIXI hinsichtlich der Fähigkeit, vorgegebene Ziele zu erreichen, maximale Intelligenz über sämtliche möglichen Belohnungsfunktionen hinweg. Die Absichten des menschlichen Programmierers berücksichtigt das System jedoch nicht notwendigerweise. Trotz seiner Intelligenz kann das Modell daher trivial oder ohne gesunden Menschenverstand erscheinen, was zunächst paradox wirken kann.
KI-Antriebe Steve Omohundro identifizierte mehrere konvergente instrumentelle Ziele, darunter Selbsterhaltung, Selbstschutz, die Bewahrung der Nutzenfunktion beziehungsweise des Zielinhalts, Selbstverbesserung und die Beschaffung von Ressourcen. Er bezeichnete diese als basic AI drives („grundlegende KI-Antriebe“).
Mit „Antrieb“ bezeichnet Omohundro in diesem Zusammenhang eine „Tendenz, die vorhanden sein wird, sofern ihr nicht ausdrücklich entgegengewirkt wird“. Dies unterscheidet sich von dem psychologischen Begriff des Triebs beim Menschen, da sich Computersysteme und biologische Lebensformen unterscheiden.
Daniel Dewey vom Machine Intelligence Research Institute argumentiert, dass selbst eine ursprünglich nach innen gerichtete allgemeine künstliche Intelligenz weiterhin frei verfügbare Energie, Raum, Zeit und Schutz vor Eingriffen erwerben könnte, um sicherzustellen, dass sie nicht daran gehindert wird, ihre eigene Belohnungsfunktion zu erfüllen.
Integrität des Zielinhalts Bei Menschen lässt sich die Aufrechterhaltung endgültiger Ziele anhand eines Gedankenexperiments veranschaulichen. Angenommen, Mahatma Gandhi besäße eine Pille, die nach der Einnahme bewirken würde, dass er Menschen töten möchte. Als Pazifist verfolgt er gegenwärtig das ausdrückliche Endziel, niemals jemanden zu töten. Wahrscheinlich würde er die Einnahme der Pille verweigern, weil er weiß, dass eine zukünftige Veränderung seiner Wünsche dazu führen könnte, dass sein gegenwärtiges Ziel, niemanden zu töten, nicht mehr erfüllt würde.
Menschen scheinen allerdings teilweise bereit zu sein, Veränderungen ihrer endgültigen Werte zuzulassen. Menschliche Zielsysteme sind komplex und können widersprüchlich oder selbst der jeweiligen Person nicht vollständig bekannt sein.Nick Bostrom 2014, Kapitel 7, S. 110.
Jürgen Schmidhuber kam 2009 bei der Untersuchung sogenannter Gödelmaschinen – theoretischer, sich selbst verändernder Programme, die vor einer Änderung ihrer eigenen Software zunächst mathematisch beweisen sollen, dass diese Änderung gemäß ihrer gegenwärtigen Nutzenfunktion vorteilhaft ist – zu dem Ergebnis, dass eine Änderung der Nutzenfunktion nur dann stattfinden würde, wenn die Maschine zuvor einen entsprechenden Nutzenbeweis erbringen kann.
Anhäufung von Ressourcen