Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie is die hipotese dat aansienlike vordering in kunsmatige algemene intelligensie (KAI) tot menslike uitwissing of 'n ander onomkeerbare globale katastrofe kan lei.
Een argument is soos volg: mense oorheers ander spesies omdat die menslike brein oor eiesoortige vermoëns beskik wat ander diere kort. As KI die mensdom in algemene intelligensie sou oortref en superintelligent sou word, kan dit moeilik of onmoontlik word om te beheer. Net soos die lot van die berggorilla afhang van menslike welwillendheid, so kan die lot van die mensdom afhang van die optrede van 'n toekomstige masjien superintelligensie.
Die geloofwaardigheid van eksistensiële katastrofe as gevolg van kunsmatige intelligensie (KI) word wyd gedebatteer, en hang deels af of KAI of superintelligensie haalbaar is, die spoed waarteen gevaarlike vermoëns en gedrag na vore kom, en of praktiese scenario's vir KI-oornames bestaan. Kommer oor superintelligensie is uitgespreek deur vooraanstaande rekenaarwetenskaplikes en tegniese uitvoerende hoofde soos Geoffrey Hinton, Yoshua Bengio, Alan Turing, In ‘n 1951 lesing Turing, Alan, Intelligent machinery, a heretical theory. Lesing aan die '51 Society' in Manchester, besoek op 2022-07-22, 1951, The Turing Digital Archive by https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4, bl 16, geargiveer 26 September 2022, argief https://web.archive.org/web/20220926004549/https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4, Turing het aangevoer dat "Dit lyk waarskynlik dat sodra die masjiendenkmetode begin het, dit nie lank sal neem om ons swak kragte te oortref nie. Daar sal geen sprake wees van die masjiene wat doodgaan nie, en hulle sal met mekaar kan praat om hul te verskerp. Ons behoort dus op 'n stadium te verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word." Ook in 'n lesing wat oor die BBC }}}} het hy die mening uitgespreek: "As 'n masjien kan dink, dink dit dalk meer intelligent as ons, en waar moet ons dan wees? Selfs al kan ons die masjiene in 'n diensbare posisie hou, byvoorbeeld deur die krag af te skakel by strategiese oomblikke, moet ons as 'n spesie baie nederig voel. . . . Hierdie nuwe gevaar . . . is beslis iets wat ons angs kan gee." Elon Musk, en Sam Altman, uitvoerende hoof van OpenAI. In 2022 het 'n opname onder KI-navorsers met 'n 17%-reaksiekoers bevind dat die meerderheid respondente geglo het dat daar 'n 10 persent of groter kans is dat ons onvermoë om KI te beheer 'n eksistensiële katastrofe sal veroorsaak. In 2023 het honderde KI-kundiges en ander noemenswaardige figure 'n verklaring onderteken dat "Die versagting van die risiko van uitwissing van KI 'n wêreldwye prioriteit moet wees saam met ander maatskaplike skaalrisiko's soos pandemies en kernoorlog." Na groter kommer oor KI. risiko's, het regeringsleiers soos die voormalige Britse premier Rishi Sunak en die Verenigde Nasies se sekretaris-generaal António Guterres 'n beroep gedoen op 'n groter fokus op wêreldwye KI-regulering.
Twee bronne van kommer spruit uit die probleme van KI-beheer en -belyning: om 'n superintelligente masjien te beheer of dit in lyn met mens-versoenbare waardes in te bring, kan moeilik wees. Baie navorsers glo dat 'n superintelligente masjien pogings sal weerstaan om dit uit te skakel of sy doelwitte te verander, aangesien dit dit sal verhoed om sy huidige doelwitte te bereik. Dit sal uiters moeilik wees om 'n superintelligensie in lyn te bring met die volle breedte van beduidende menslike waardes en beperkings., cited in Daarteenoor argumenteer skeptici soos rekenaarwetenskaplike Yann LeCun dat superintelligente masjiene geen begeerte vir selfbehoud sal hê nie.
'n Derde bron van kommer is dat 'n skielike "intelligensie-ontploffing" 'n onvoorbereide menslike ras kan verras. Sulke scenario's neem die moontlikheid in ag dat 'n KI wat meer intelligent is as sy skeppers in staat kan wees om homself rekursief te verbeter teen 'n eksponensieel toenemende tempo, wat te vinnig verbeter vir sy hanteerders en die gemeenskap in die algemeen om te beheer. Empiries toon voorbeelde soos AlphaZero wat homself leer om Go te speel dat domeinspesifieke KI-stelsels soms baie vinnig van ondermenslike tot bomenslike vermoëns kan vorder, hoewel sulke stelsels nie die verandering van hul fundamentele argitektuur behels nie.
Geskiedenis Een van die vroegste skrywers wat ernstige kommer uitgespreek het dat hoogs gevorderde masjiene eksistensiële risiko's vir die mensdom kan inhou, was die romanskrywer Samuel Butler, wat in sy 1863-essay Darwin among the Machines geskryf het:Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Modern Philology, Vol. 72, No. 4 (Mei 1975), bl. 365–383
"Die resultaat is bloot 'n kwessie van tyd, maar dat die tyd sal aanbreek wanneer die masjiene die ware oppergesag oor die wêreld en sy inwoners sal hou, is wat geen persoon met 'n ware filosofiese verstand vir 'n oomblik kan bevraagteken nie."
In 1951 het die grondleggende rekenaarwetenskaplike Alan Turing die artikel "Intelligent Machinery, A Heretical Theory" geskryf, waarin hy voorgestel het dat kunsmatige algemene intelligensies waarskynlik "beheer" van die wêreld sou neem namate hulle intelligenter as mense geword het:
“Laat ons nou aanneem, ter wille van die argument, dat intelligente masjiene 'n werklike moontlikheid is, en kyk na die gevolge van die konstruksie daarvan ... Daar sal geen sprake wees van die masjiene wat sterf nie, en hulle sal in staat wees om te praat met mekaar om hul verstand op te skerp. Ons moet dus op 'n stadium verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word.”
In 1965 het I.J. Good die konsep geskep wat nou bekend staan as 'n "intelligensie-ontploffing" en gesê die risiko's word onderskat: “Laat 'n ultra-intelligente masjien gedefinieer word as 'n masjien wat al die intellektuele aktiwiteite van enige man hoe slim ook al kan oortref. Aangesien die ontwerp van masjiene een van hierdie intellektuele aktiwiteite is, kan 'n ultra-intelligente masjien selfs beter masjiene ontwerp; daar sou dan ongetwyfeld 'n 'intelligensie-ontploffing' wees, en die intelligensie van die mens sou ver agterbly. Die eerste ultra-intelligente masjien is dus die laaste uitvinding wat die mens ooit moet maak, mits die masjien gemaklik genoeg is om ons te vertel hoe om dit onder beheer te hou. Dit is eienaardig dat hierdie punt so selde buite wetenskapfiksie gemaak word. Dit is soms die moeite werd om wetenskapfiksie ernstig op te neem.”I.J. Good, "Speculations Concerning the First Ultraintelligent Machine" (HTML ), Advances in Computers, vol. 6, 1965.
Geleerdes soos Marvin Minsky en I.J. Good self het soms kommer uitgespreek dat 'n superintelligensie beheer kon oorneem, maar het geen oproep tot aksie gerig nie. In 2000 het die rekenaarwetenskaplike en Sun-medestigter Bill Joy 'n invloedryke essay geskryf, "Why The Future Doesn't Need Us", wat superintelligente robotte identifiseer as 'n hoë-tegnologie gevaar vir menslike oorlewing, saam met nanotegnologie en gemanipuleerde bioplae.
Nick Bostrom het in 2014 Superintelligence gepubliseer, wat sy argumente voorgehou het dat superintelligensie 'n eksistensiële bedreiging inhou. Teen 2015 het openbare figure soos fisici Stephen Hawking en Nobelpryswenner Frank Wilczek, rekenaarwetenskaplikes Stuart J. Russell en Roman Yampolskiy, en entrepreneurs Elon Musk en Bill Gates hul kommer uitgespreek oor die risiko's van superintelligensie. Ook in 2015 het die Ope Brief oor Kunsmatige Intelligensie die "groot potensiaal van KI" uitgelig en meer navorsing aangemoedig oor hoe om dit robuust en voordelig te maak. In April 2016 het Nature gewaarsku: "Masjiene en robotte wat mense oor die hele linie beter presteer, kan self verbeter buite ons beheer - en hul belange strook dalk nie met ons s'n nie." In 2020 het Brian Christian The Alignment Problem gepubliseer, wat besonderhede bevat. die geskiedenis van vordering met KI-belyning tot op daardie tydstip.
KI-vermoëns Algemene intelligensie Kunsmatige algemene intelligensie (KAI) word tipies gedefinieer as 'n stelsel wat ten minste so goed presteer as mense in die meeste of alle intellektuele take. 'n 2022-opname van KI-navorsers het bevind dat 90% van die respondente verwag het dat KAI in die volgende 100 jaar bereik sou word, en die helfte het dieselfde teen 2061 verwag. Intussen verwerp sommige navorsers eksistensiële risiko's van KAI as "wetenskapfiksie" op grond van hul hoë vertroue dat KAI nie binnekort geskep sal word nie.
Deurbrake in groot taalmodelle het daartoe gelei dat sommige navorsers hul verwagtinge heroorweeg het. Geoffrey Hinton het veral in 2023 gesê dat hy onlangs sy skatting verander het van "20 na 50 jaar voor ons algemene doel KI" na "20 jaar of minder".
Superintelligensie In teenstelling met KAI, definieer Bostrom 'n superintelligensie as "enige intellek wat die kognitiewe prestasie van mense in feitlik alle terreine van belang aansienlik oorskry", insluitend wetenskaplike kreatiwiteit, strategiese beplanning en sosiale vaardighede. Hy voer aan dat 'n superintelligensie mense kan uitmaneuver wanneer sy doelwitte met mense bots. Dit kan kies om sy ware bedoeling weg te steek totdat die mensdom dit nie kan keer nie. Syndicated at Business Insider Bostrom skryf dat om veilig te wees vir die mensdom, 'n superintelligensie in lyn gebring moet word met menslike waardes en moraliteit, sodat dit "fundamenteel aan ons kant" is.
Stephen Hawking het aangevoer dat superintelligensie fisies moontlik is omdat "daar geen fisiese wet is wat verhoed dat deeltjies georganiseer word op maniere wat selfs meer gevorderde berekeninge uitvoer as die rangskikkings van deeltjies in menslike breine nie".
Wanneer superintelligensie bereik kan word, indien ooit, is noodwendig minder seker as voorspellings vir KAI. In 2023 het OpenAI-leiers gesê dat nie net KAI nie, maar superintelligensie in minder as 10 jaar bereik kan word.
Vergelyking met mense Bostrom voer aan dat KI baie voordele bo die menslike brein het: Spoed van berekening: biologiese neurone werk teen 'n maksimum frekwensie van ongeveer 200 Hz, in vergelyking met potensieel veelvuldige GHz vir rekenaars. Interne kommunikasiespoed: aksone stuur seine teen tot 120 m/s uit, terwyl rekenaars seine teen die spoed van elektrisiteit, of opties teen die spoed van lig, uitsaai. Skaalbaarheid: menslike intelligensie word beperk deur die grootte en struktuur van die brein, en deur die doeltreffendheid van sosiale kommunikasie, terwyl KI moontlik kan skaal deur bloot meer hardeware by te voeg. Geheue: veral werkende geheue, want by mense is dit beperk tot 'n paar stukke inligting op 'n slag. Betroubaarheid: transistors is meer betroubaar as biologiese neurone, wat hoër akkuraatheid moontlik maak en minder oortolligheid vereis. Dupliseerbaarheid: anders as menslike breine, kan KI-sagteware en -modelle maklik gekopieer word. Redigeerbaarheid: die parameters en interne werking van 'n KI-model kan maklik gewysig word, anders as die verbindings in 'n menslike brein. Geheue deel en leer: KI's kan dalk leer uit die ervarings van ander KI's op 'n manier wat meer doeltreffend is as menslike leer.
Intelligensie-ontploffing Volgens Bostrom kan 'n KI wat 'n kundige vlak fasiliteit by sekere sleutel sagteware-ingenieurstake het, 'n superintelligensie word as gevolg van sy vermoë om sy eie algoritmes rekursief te verbeter, selfs al is dit aanvanklik beperk in ander domeine wat nie direk relevant is tot ingenieurswese nie. Dit dui daarop dat 'n intelligensie-ontploffing eendag die mensdom onvoorbereid kan vang.
Die ekonoom Robin Hanson het gesê dat, om 'n intelligensie-ontploffing te loods, 'n KI baie beter in sagteware-innovasie moet word as die res van die wêreld saam, wat hy onwaarskynlik vind.