duimnael|'n Standaard transformatorargitektuur, wat links 'n kodeerder en regs 'n dekodeerder wys. Let wel: dit gebruik die pre-LN-konvensie, wat verskil van die post-LN-konvensie wat in die oorspronklike 2017-transformator gebruik is. In diep leer is die transformator 'n kunsmatige neurale netwerkargitektuur gebaseer op die veelvuldige aandagkanale, waarin teks omgeskakel word na numeriese voorstellings genaamd tekseenhede, en elke tekseenheid (token) word omgeskakel na 'n vektor via opsoek vanaf 'n woordinbeddingstabel. In elke laag word elke tekseenheid dan gekontekstualiseer binne die bestek van die konteksvenster met ander (ongemaskerde) tekseenhede via 'n parallelle veelvuldige aandagkanale, wat toelaat dat die sein vir sleuteltekseenhede versterk word en minder belangrike tekseenhede verminder word.
Transformators het die voordeel dat hulle geen herhalende eenhede het nie, en benodig dus minder opleidingstyd as vroeëre herhalende neurale argitekture (RNN's) soos lang korttermyngeheue (LSTM). Latere variasies is wyd aangeneem vir die opleiding van groot taalmodelle (GTMe) op groot (taal) datastelle.
Die moderne weergawe van die transformator is voorgestel in die 2017-artikel "Attention Is All You Need" deur navorsers by Google. Die voorgangers van transformators is ontwikkel as 'n verbetering op vorige argitekture vir masjienvertaling, maar het sedertdien baie toepassings gevind. Hulle word gebruik in grootskaalse natuurlike taalverwerking, rekenaarvisie (visietransformators), versterkingsleer, oudio, multimodale leer, robotika, en skaak speel. Dit het ook gelei tot die ontwikkeling van voorafopgeleide stelsels, soos generatiewe voorafopgeleide transformators (GPT's) en BERT (tweerigting-enkodeerdervoorstellings van transformators).
Geskiedenis Voorgangers Vir baie jare is volgordemodellering en -generering gedoen deur gewone herhalende neurale netwerke (RNN's) te gebruik. 'n Goed aangehaalde vroeë voorbeeld was die Elman-netwerk (1990). In teorie kan die inligting van een tekseenheid arbitrêr ver in die volgorde voortplant, maar in die praktyk laat die verdwyngradiëntprobleem die model se toestand aan die einde van 'n lang sin sonder presiese, onttrekbare inligting oor voorafgaande tekseenheid.
'n Belangrike deurbraak was LSTM (1995),Gekontroleerde herhalende eenhede (2014) het die kompleksiteit daarvan verder verminder. 'n RNN wat verskeie innovasies gebruik het om die verdwyngradiëntprobleem te oorkom, wat doeltreffende leer van langreeksmodellering moontlik gemaak het. Een belangrike innovasie was die gebruik van 'n aandagmeganisme wat neurone gebruik het wat die uitsette van ander neurone vermenigvuldig, sogenaamde vermenigvuldigende eenhede. Neurale netwerke wat vermenigvuldigende eenhede gebruik, is later sigma-pi-netwerke of hoër-orde netwerke genoem. LSTM het die standaardargitektuur vir langreeksmodellering geword tot die 2017-publikasie van transformators. LSTM het egter steeds opeenvolgende verwerking gebruik, soos die meeste ander RNN's.Sommige argitekture, soos RWKV of toestandsruimtemodelle, vermy die probleem. Spesifiek, RNN's werk met een tekseenheid op 'n slag van eerste tot laaste; hulle kan nie parallel oor alle tekseenhede in 'n reeks werk nie.
Moderne transformators oorkom hierdie probleem, maar anders as RNN's, benodig hulle berekeningstyd wat kwadraties is in die grootte van die konteksvenster. Die lineêr skalerende vinnige gewigbeheerder (1992) leer om 'n gewigsmatriks te bereken vir verdere verwerking, afhangende van die invoer. Een van sy twee netwerke het "vinnige gewigte" of "dinamiese skakels" (1981).Christoph von der Malsburg: The correlation theory of brain function. Internal Report 81-2, MPI Biophysical Chemistry, 1981. http://cogprints.org/1380/1/vdM_correlation.pdf See Reprint in Models of Neural Networks II, chapter 2, pages 95–119. Springer, Berlin, 1994.Jerome A. Feldman, "Dynamic connections in neural networks," Biological Cybernetics, vol. 46, no. 1, pp. 27–39, Dec. 1982. 'n Stadige neurale netwerk leer deur gradiëntafdaling om sleutels en waardes te genereer vir die berekening van die gewigsveranderinge van die vinnige neurale netwerk wat antwoorde op navrae bereken. Dit is later getoon as gelykstaande aan die ongenormaliseerde lineêre transformator.
Verwysings
Kategorie:Kunsmatige intelligensie