thumb|Versterkingsleër was gebruik om BostonDynamics se Spot robot te help om beter te leer loop |alt=BostonDynamics se Spot robot wat loop 'n Versterkingsleermetode is 'n manier in kunsmatige intelligensie wat gebruik word om 'n rekenaar op te lei om besluite te neem. Die gerekenariseerde besluitnemer word 'n agent genoem. Die agent word opgelei deur belonings of strawwe van die omgewing te ontvang na gelang van die gewenstheid van die besluit wat hy geneem het. Gewenste besluite word positief beloon en ongewenste besluite word gestraf.
Die agent voer sy besluite deur middel van 'n aksie uit wat dan die toestand van die omgewing verander waarin die agent hom bevind. Die agent se besluit oor die aksie wat gepleeg moet word is onderhewig aan die toestand van die omgewing. Die primêre doel van die agent is om die aksie te pleeg wat die grootste verwagte beloning vir sy huidige toestand sal lewer. Dit beteken die agent se besluite is gemik op langtermyn- pleks van korttermynbelonings. Klem word dus daarop geplaas dat besluite geneem word gebaseer op die omgewing se toestand wat die agent waarneem. Die agent se inagneming van die omgewing se toestand onderskei die versterkingsleermetode van ander masjienleertegnieke soos evolusionêre metodes.
Geskiedenis Een van die beginstadiums van die versterkingsleermetode kan teruggevoer word na die navorsing wat die Amerikaanse sielkundige Edward Thorndike in die 1800's op diere gedoen het. Thorndike het navorsing gedoen op die probeer-en-tref metode van diere gebruik om te leer en dit sodoende met die “Wet van Effek” beskryf. Thorndike het die gedrag van katte waargeneem deur hulle in 'n “raaiselboks” te geplaas, waarvan hulle dan moes ontsnap deur toepaslike aksies te doen. Byvoorbeeld, ’n kat kon die deur van die raaiselboks oopmaak deur ’n reeks van drie afsonderlike aksies uit te voer: ’n platform agter in die sakkie te deur te druk, ’n tou te trek deur daarop te krap, en ’n arm op of af te druk. Met die aanvanklike eksperiment, waar kos buite die raaiselboks in sig was, het meeste van Thorndike se katte “duidelike tekens van ongemak” en buitengewone energieke aktiwiteite “om intuïtief te probeer ontsnap” getoon. Daaropvolgende eksperimente met verskillende katte in verskillende raaiselbokse met verskillende ontsnappingsmeganismes, het Thorndike die hoeveelheid tyd opgeteken wat elke kat neem om te ontsnap. Hy het waargeneem dat die tyd byna altyd afgeneem het met opeenvolgende ervarings, byvoorbeeld van 300 sekondes tot 6 of 7 sekondes. Dit het Thorndike gelei tot die formulering van ’n aantal “wette” van leer, waarvan die mees invloedryke die wet van effek was. Die naam is as gevolg van die effek wat beloonde gebeurtenisse op die aksies van diere het.
Die wet van effek word deur sielkundiges as instrumentele kondisionering geklassifiseer omdat die leer van die dier afhang van dit wat die dier doen: die lewering van ’n beloning/versterking is afhanklik van wat die dier doen (soos om te ontsnap). In kontras bestaan daar ook klassieke kondisionering eksperimente, waar die beloning/ versterkende stimulus onafhanklik van die dier se gedrag toegeken word. Die term “versterking”, in die konteks van dierleer, het eers later in gebruik gekom met die eerste verskynsel in Pavlov se 1927 monografie oor gekondisioneerde reflekses.
Pavlov het versterking beskryf as die versterking van ’n gedragspatroon wanneer ’n dier ’n stimulus (versterker) ontvang in kombinasie met ’n ander stimulus of ’n reaksie wat die gedragspatroon vorm. Om as ’n versterker te dien, moet die versterkte gedragspatroon aanhou ná die stimulus wegneem is. ’n stimulus wat slegs die dier se aandag trek of gedrag aanwakker sonder blywende verandering word nie as ’n versterker beskou word nie. Pavlov se eksperimente het behels om die speekselreflekse van honde te meet ná aanbieding van kos. Kort voor die aanbieding van kos, was daar altyd 'n geluid gespeel sodat die honde die metronoom stimulus assosieer met etens tyd. Pavlov het die honde later só gekondisioneer dat hulle speekselkliere geaktiveer word deur net die geluid van die klank, al was daar geen kos betrokke nie.
Die idee om probeer-en-tref leer toe te pas in ’n rekenaar wetenskap het al vroeg in die bestaan kunsmatige intelligensie ontstaan. In ’n 1948 verslag het Alan Turing ’n ontwerp beskryf vir ’n “genot-pyn-stelsel” wat volgens die wet van effek werk. Baie kreatiewe elektro-meganiese masjiene is gebou wat die probeer-en-tref leer metode gedemonstreer het. Die vroegste is waarskynlik ’n masjien deur Thomas Ross (1933) wat daarin geslaag het om ’n roete deur 'n eenvoudige doolhof te vind en te onthou.
Een van die eerste mylpale multi-agent VL is TD-Gammon agent, wat opgelei was om Backgammon te speel. TD-Gammon is in die 1990’s ontwikkel en moes unieke VL probleme oorkom soos teenstanders wat aktief die toestand van die bord verander (toestand van die bord word nie deur net een agent bepaal nie), asook gevorderde strategieë soos die blokkeer van die teenstander met die agent se eie stukke. Die agent word opgelei deur teen homself te speel en kon omtrent so goed soos die beste backgammon-rekenaarsprogram na ongeveer 300 000 wedstryde word. 'n Latere weergawe, TD-Gammon 3.0, kon ’n professionele backgammon-speler (Kazaros) klop ná opleiding van ongeveer 1 500 000 speletjies. TD-Gammon het die vaardigheids vlakke van menslike toernooispel verhoog deur nuwe strategieë bekend te stel wat voorheen verborge vir professionele spelers was.
’n Artikel wat deur Google DeepMind in 2015 uitgereik is, bespreek die gebruik van Diep Q-leer om Atari 2006-speletjies te speel deur slegs die beeld van die skerm en die speletjie se telling as insette te gebruik. Geen addisionele insette was benodig om die agent te leer nie. Die Diep Q-netwerk argitektuur was selfs suksesvol oordraagbaar na ander Atari 2006 speletjies weens die VL agente se vermoë om op baie van die Atari 2006 speletjies te oefen met dieselfde algoritme, netwerkargitektuur en hiperparameters.
'n Moderne mylpaal vir VL is in Maart 2016 deur Google DeepMind se AlphaGo agent behaal deur die beste mens speler (Lee Sedo) 4-1in ’n tradisionele Chinese bordspel (Go) geklop het. 'n Verbeterde weergawe, AlphaGo Zero, het baie tradisionele Go kennis self herontdek en ook nuwe strategieë verskaf wat professionele spelers met nuwe taktieke geïnspireer het. Ongelukkig het AlphaGo ook die negatiewe effekte van VL uitgewys deurdat Lee Sedol heeltemal van Go afgetree het nadat AlphaGo Zero onoorwinbaar was.
Aktuele teenwoordigheid van VL kan verder gevind word in die gebruik by groot taalmodelle soos ChatGPT, Grok en Gemini. VL word veral gebruik om die groot taalmodelle die vermoë te gee om te "dink" en om 'n menslike terugvoer element te verskaf sodat die groot taalmodelle response gee wat meer aanneemlik is vir mense. Die bydraes van VL tot intelligente sisteme en as ewige belang tot rekenaar wetenskap was veral erken toe A. Barto en R. Sutton die ACM A.M. Turing Toekenning van 2024 verower het.
Raamwerk Die besluitnemingsproses van VL kan wiskundig geformaliseer word met die Markov-besluitnemingsproses (MBP). VL bestaan normaalweg uit 'n beleid, beloning sein, waardefunksies en opsioneel 'n model van die omgewing. Die MBP kan met die onderstaande diagram uitgebeeld word.
Die bostaande diagram illustreer die MBP deur 'n agent en omgewing voor te stel wat met mekaar interaksie het deur middel van aksies, toestande en belonings. Hierdie interaksies word die trajek van die proses genoem. Die trajek hou tred met die aksie wat deur die agent op elke tydstip uitgevoer word en die gevolglike toestand-beloningpaar wat van die omgewing ontvang word . Die tydstip van die trajek hoef nie vas te wees nie en die oorgange van 'n toestand-aksiepaar na 'n toestand-beloningpaar kan stogasties wees. Die voorwaardelike waarskynlikhede om 'n spesifieke volgende toestand () en beloning () paar te ontvang, gegewe die huidige toestand () en aksie () paar, word die dinamika van die MBP genoem en word wiskundig voorgestel as . Dit is daarom duidelik dat die agent die besluitnemer is en die omgewing alles buite die agent is waarmee die agent interaksie het.
Die toestand is moontlik een van die belangrikste aspekte om in die MBP te definieer, aangesien die dimensionaliteit van die probleem afhanklik is van die toestand. Die toestand moet ideaal gesproke al die inligting bevat wat vir 'n agent benodig word om 'n besluit te neem, sonder om staat te maak om te weet wat in die vorige tydstippe gebeur het (voldoen aan die Markov-eienskap). Probleme waarin die hele toestand van die omgewing beskikbaar is vir die agent, staan bekend as volledig waarneembare MBP, terwyl probleme waarin sommige aspekte van die toestand vir die agent verborge is, staan bekend as gedeeltelik waarneembare MBP. Die toestand van 'n MBP word voorgestel as 'n vektor van getalle.
Aksies is die besluite wat 'n agent maak, en word ook voorgestel deur 'n vektor van getalle. Die gebruik van 'n vektor beteken dat aksies diskreet of kontinu kan wees, en dat 'n agent verskeie aksies op dieselfde tydstip kan uitvoer. Byvoorbeeld, 'n agent vir 'n selfbesturende motor kan kies om sy motor links te stuur en in dieselfde tydstip te versnel deur 'n vektor met twee numeriese waardes te gebruik. Aksies beïnvloed die onmiddellike belonings wat ontvang word sowel as die toekomstige toestande en belonings wat deur die agent ervaar sal word.
Belonings is altyd 'n enkele getal wat gebruik word om die doelwit aan die agent oor te dra. Dit is belangrik dat belonings en strawwe slegs gebruik moet word om aan te dui of wenslike uitkomste bereik word en dat die belonings en strawwe nie gebruik moet word om aan te dui oor hoe om die uitkomste te bereik nie. Byvoorbeeld, wanneer die kortste pad tussen twee bestemmings verlang word, sal 'n goeie beloningstelsel die lengte van elke pad wat deur die agent geneem word, penaliseer (kortste lengte sal die minste hoeveelheid strawwe hê), terwyl 'n swakker beloningstelsel belonings sal bied vir individuele keuses wat geneem word. Die individuele keuse beloningstelsel word as swak beskou aangesien die doel van die agent is om die indiduele beurt keuses te besluit, pleks daarvan om beveel te word oor watse keuses om te maak. Die proses om 'n goeie beloningstelsel te ontwerp, word belonings ingenieurswese genoem. Gewenste beloningskeuses vertoon eienskappe soos om vinnig te wees om te bereken, gekorreleer te wees met die "ware" beloning, nie baie raserig te wees nie, nie-funksionele vereistes te kodeer (soos vinniger, veiliger of meer doeltreffende oplossings), groot genoeg te wees om van geraas onderskei te word, gereeld plaas te vind, nie te laat na die aksie plaasvind waaraan dit toegeskryf word nie, 'n gladde beloningverspreiding te hê om hakkerige (robotiese) gedrag te voorkom, en eenvoudige verspreidingsvoorwaardes hê.
Die aksie wat onmiddellik na 'n beloning plaasvind, is nie noodwendig die enigste aksie wat bygedra het tot die beloning wat gegee word nie. 'n Reeks vorige aksies het waarskynlik gehelp om die omgewing te skep vir die spesifieke toestand wat die groot beloning uitgedeel het. Daarom kan dit voordelig wees om ook die invloed van toekomstige belonings in ag te neem wanneer 'n sekere aksie by tydstip beloon word deur gebruik te maak van die diskonteerde opbrengs (). Die diskonteerde opbrengs word uitgedruk as: