Perzeptron

mini|Einfaches zweilagiges feed-forward Perzeptron mit

Das Perzeptron (nach engl. perception, „Wahrnehmung“) ist ein vereinfachtes künstliches neuronales Netz, das zuerst von Frank Rosenblatt 1957 vorgestellt wurde. Es besteht in der Grundversion (einfaches Perzeptron) aus einem einzelnen künstlichen Neuron mit anpassbaren Gewichtungen und einem Schwellenwert. Unter diesem Begriff werden heute verschiedene Kombinationen des ursprünglichen Modells verstanden, dabei wird zwischen einlagigen und mehrlagigen Perzeptren (engl. multi-layer perceptron, MLP) unterschieden. Perzeptron-Netze wandeln einen Eingabevektor in einen Ausgabevektor um und stellen damit einen einfachen Assoziativspeicher dar.

Geschichte mini|Einfaches Perzeptron, das ein logisches ODER realisiert.

1943 führten der Neurophysiologe Warren McCulloch und der Logiker Walter Pitts das „Neuron“ als logisches Schwellwert-Element mit mehreren Eingängen und einem einzigen Ausgang in die Informatik ein.A logical calculus of the ideas immanent in nervous activity. WS McCulloch, W Pitts. Bull Math. Biophys., 5, 115-133, 1943. Es konnte als Boolesche Variable die Zustände wahr und falsch annehmen und „feuerte“ (= wahr), wenn die Summe der Eingangssignale einen Schwellenwert überschritt (siehe McCulloch-Pitts-Zelle). Dies entsprach der neurobiologischen Analogie eines Aktionspotentials, das eine Nervenzelle bei einer kritischen Änderung ihres Membranpotentials aussendet. McCulloch und Pitts zeigten, dass durch geeignete Kombination mehrerer solcher Neuronen jede einfache aussagenlogische Funktion (UND, ODER, NICHT) beschreibbar ist.

1949 stellte der Psychologe Donald O. Hebb die Hypothese auf, Lernen beruhe darauf, dass sich die aktivierende oder hemmende Wirkung einer Synapse als Produkt der prä- und postsynaptischen Aktivität berechnen lasse.Organization of Behaviour. D Hebb. Wiley. New York. 1949. Es gibt Anhaltspunkte, dass die Langzeit-Potenzierung und das sogenannte spike-timing dependent plasticity (STDP) die biologischen Korrelate des Hebbschen Postulates sind. Überzeugende Evidenz für diese These steht aber noch aus.

1957 schließlich publizierte Frank Rosenblatt das Perzeptron-Modell, das bis heute die Grundlage künstlicher neuronaler Netze darstellt.Frank Rosenblatt: Cornell Aeronautical Laboratory, Report No. 85-460-1, Januar 1957. Siehe dazu auch: Frank Rosenblatt: The perceptron – a probabilistic model for information storage and organization in the brain. Psychological Review 65, 1958. doi:10.1037/h0042519

Mark I Perceptron Das Perceptron war eher als Maschine denn als Programm konzipiert. Obwohl es zunächst als Software für den Großrechner IBM 704 implementiert wurde, wurde es später als „Mark I Perceptron“ unter dem Projektnamen „Project PARA“ in speziell angefertigter Hardware für die Bilderkennung umgesetzt. Die Maschine befindet sich derzeit im National Museum of American History. mini|Mark I Perceptron: Links die S-Einheiten, in der Mitte die A-Einheiten und ganz rechts das Bedienfeld sowie die R-Einheiten. Die Steckplatine für die Verbindung zwischen Sensoren und A-Einheiten befindet sich hinter der geschlossenen Blende rechts vom Bediener. Der Buchstabe „C“ auf der Frontblende zeigt den aktuellen Status der Sensoreingabe an. Das Mark I Perceptron bestand aus drei Schichten. Eine Version wurde wie folgt implementiert:

Ein Array aus 400 Fotozellen, angeordnet in einem 20×20-Raster, bezeichnet als „Sensor-Einheiten“ (S-Einheiten) oder „Eingangs-Retina“. Jede S-Einheit kann mit bis zu 40 A-Einheiten verbunden werden. Eine verborgene Schicht aus 512 Perzeptronen, die als „Assoziationseinheiten“ (A-Einheiten) bezeichnet wurden. Eine Ausgabeschicht aus acht Perzeptronen, die als „Reaktionseinheiten“ (R-Einheiten) bezeichnet wurden.

Rosenblatt nannte dieses dreischichtige Perzeptron-Netzwerk das Alpha-Perzeptron, um es von anderen Perzeptron-Modellen zu unterscheiden, mit denen er experimentierte.

Die S-Einheiten sind über eine Steckplatine zufällig (gemäß einer Zufallszahlentabelle) mit den A-Einheiten verbunden, um „jede bestimmte absichtliche Verzerrung im Perceptron zu beseitigen“. Die Verbindungsgewichte sind fest vorgegeben und werden nicht erlernt. Rosenblatt bestand auf den zufälligen Verbindungen, da er glaubte, dass die Netzhaut zufällig mit dem visuellen Kortex verbunden sei, und er wollte, dass seine Perceptron-Maschine der menschlichen visuellen Wahrnehmung ähnelt.

Die A-Einheiten sind mit den R-Einheiten verbunden, wobei die einstellbaren Gewichte in Potentiometern kodiert sind und die Aktualisierung der Gewichte während des Lernvorgangs durch Elektromotoren erfolgte.  Die Hardware-Details sind in einer Bedienungsanleitung enthalten.

Bei einer von der US-Marine organisierten Pressekonferenz im Jahr 1958 gab Rosenblatt Aussagen zum Perceptron ab, die in der noch jungen KI-Gemeinschaft heftige Kontroversen auslösten. Auf der Grundlage von Rosenblatts Aussagen berichtete die New York Times, das Perceptron sei „der Embryo eines elektronischen Computers, von dem [die Marine] erwartet, dass er gehen, sprechen, sehen, schreiben, sich selbst reproduzieren und sich seiner Existenz bewusst sein wird.“

Die Fotoabteilung der Central Intelligence Agency untersuchte von 1960 bis 1964 den Einsatz der Mark-I-Perceptron-Maschine zur Erkennung militärisch interessanter Silhouetten (wie Flugzeuge und Schiffe) auf Luftbildern.

Weitere Arbeiten Rosenblatt setzte seine Arbeit am Perceptron trotz schwindender finanzieller Mittel fort. Der letzte Versuch war „Tobermory“, das zwischen 1961 und 1967 für die Spracherkennung gebaut wurde.Frank Rosenblatt: “A Description of the Tobermory Perceptron.” Cognitive Research Program. Report No. 4. Collected Technical Papers, Vol. 2. Edited by Frank Rosenblatt. Ithaca, NY: Cornell University (englisch). Es nahm einen ganzen Raum ein.George Nagy, 1963. System and circuit designs for the Tobermory perceptron. Technical report number 5, Cognitive Systems Research Program, Cornell University, Ithaca New York (englisch). Es verfügte über vier Schichten mit 12.000 Gewichten, die durch ringförmige Magnetkerne realisiert wurden. Zum Zeitpunkt seiner Fertigstellung waren Simulationen auf digitalen Computern schneller geworden als speziell für diesen Zweck gebaute Perceptron-Maschinen.

Ein Simulationsprogramm für neuronale Netze wurde für den IBM 7090/7094 geschrieben und diente zur Untersuchung verschiedener Anwendungen der Mustererkennung, wie z. B. Zeichenerkennung, Teilchenspuren in Blasenkammeraufnahmen; Phonem-, Einzelwort- und kontinuierliche Spracherkennung; Sprecherverifizierung; sowie Mechanismen zur Erkennung des Fokusbereichs in der Bildverarbeitung. mini|Organisation eines biologischen Gehirns und eines Perzeptrons Der Kernel-Perzeptron-Algorithmus wurde bereits 1964 von Aizerman et al. eingeführt. Margin-Bounds-Garantien für den Perzeptron-Algorithmus im allgemeinen nicht-separierbaren Fall wurden 1998 von Freund und Schapire gegeben. Mohri und Rostamizadeh erweiterten 2013 frühere Ergebnisse und lieferten günstigere L1-Bounds.Mehryar Mohri, AfshincRostamizadeh (2013). "Perceptron Mistake Bounds" (englisch). Foundations of Machine Learning, MIT Press (Chapter 8) (englisch)

Das Perzeptron ist ein vereinfachtes Modell einer biologischen Nervenzelle. Während die Komplexität biologischer Nervenzellmodelle oft erforderlich ist, um das neuronale Verhalten vollständig zu verstehen, deuten Forschungsergebnisse darauf hin, dass ein perzeptronähnliches lineares Modell bestimmte Verhaltensweisen reproduzieren kann, die in realen Nervenzellen zu beobachten sind.

Lösungsräume von Entscheidungsgrenzen für alle binären Funktionen und Lernverhalten wurden ebenfalls untersucht.

Einlagiges Perzeptron Beim einlagigen Perzeptron gibt es nur eine einzige Schicht aus künstlichen Neuronen, welche zugleich den Ausgabevektor repräsentiert. Jedes Neuron wird dabei durch eine Neuronenfunktion repräsentiert und erhält den gesamten Eingabevektor als Parameter. Die Verarbeitung erfolgt ganz ähnlich zur sogenannten Hebbschen Lernregel für natürliche Neuronen. Allerdings wird der Aktivierungsfaktor dieser Regel durch eine Differenz zwischen Soll- und Istwert ersetzt. Da die Hebbsche Lernregel sich auf die Gewichtung der einzelnen Eingangswerte bezieht, erfolgt also das Lernen eines Perzeptrons durch die Anpassung der Gewichtung eines jeden Neurons. Sind die Gewichtungen einmal gelernt, so ist ein Perzeptron auch in der Lage, Eingabevektoren zu klassifizieren, die vom ursprünglich gelernten Vektor leicht abweichen. Gerade darin besteht die gewünschte Klassifizierungsfähigkeit des Perzeptrons, der es seinen Namen verdankt.

Berechnung der Ausgabewerte Mit einem Bias , den Eingaben und den Gewichten berechnen sich die Ausgabewerte zu

.

Anmerkungen

Der Bias ist als Schwellenwert (engl. threshold) mit einem negativen Vorzeichen festgelegt. Verwendet man stattdessen den Schwellenwert , so ergibt sich die erste Bedingung zu und es ändert sich auch beim zugehörigen Funktionsterm das entsprechende Vorzeichen.

Perzeptron-Lernregel Es gibt verschiedene Versionen der Lernregel, um auf die unterschiedlichen Definitionen des Perzeptrons einzugehen. Für ein Perzeptron mit binären Ein- und Ausgabewerten wird hier die Lernregel angegeben. Diese Regel konvergiert nur, wenn der Trainings-Datensatz linear separierbar ist, siehe dazu unten unter "Varianten".

Folgende Überlegungen liegen der Lernregel des Perzeptrons zu Grunde: Wenn die Ausgabe eines Neurons 1 (bzw. 0) ist und den Wert 1 (bzw. 0) annehmen soll, dann werden die Gewichtungen nicht geändert. Ist die Ausgabe 0, soll aber den Wert 1 annehmen, dann werden die Gewichte inkrementiert. Ist die Ausgabe 1, soll aber den Wert 0 annehmen, dann werden die Gewichte dekrementiert.

Mathematisch wird der Sachverhalt folgendermaßen ausgedrückt: , . Dabei ist die Änderung des Gewichts für die Verbindung zwischen der Eingabezelle und Ausgabezelle , die gewünschte Ausgabe des Neurons , die tatsächliche Ausgabe, die Eingabe des Neurons und die Lernrate.

Eine Gewichtsaktualisierung im Schritt verläuft danach wie folgt:

bei korrekter Ausgabe, bei Ausgabe 0 und gewünschter Ausgabe 1 und bei Ausgabe 1 und gewünschter Ausgabe 0.

Rosenblatt konnte im Konvergenztheorem nachweisen, dass mit dem angegebenen Lernverfahren alle Lösungen eingelernt werden können, die ein Perzeptron repräsentieren kann.

XOR-Problem Frank Rosenblatt zeigte, dass ein einfaches Perzeptron mit zwei Eingabewerten und einem einzigen Ausgabeneuron zur Darstellung der einfachen logischen Operatoren AND, OR und NOT genutzt werden kann. Marvin Minsky und Seymour Papert wiesen jedoch 1969 nach, dass ein einlagiges Perzeptron den XOR-Operator nicht auflösen kann (Problem der linearen Separierbarkeit). Dies führte zu einem Stillstand in der Forschung der künstlichen neuronalen Netze.

Die in diesem Zusammenhang zum Teil äußerst polemisch geführte Diskussion war letztlich ein Richtungsstreit zwischen den Vertretern der symbolischen künstlichen Intelligenz und der „Konnektionisten“ um Forschungsgelder. Frank Rosenblatt hatte zwar gezeigt, dass der logische Operator XOR durch die Verwendung eines mehrlagigen Perzeptrons beschrieben werden kann, was sich aus der Äquivalenz zur folgenden Kombination der Operatoren OR, AND und NOT ergibt: . Er starb jedoch zu früh, um sich gegen die Angriffe seiner KI-Kollegen zu wehren.

Varianten der Perzeptron-Lernregel Die oben angegebene Standard-Lernregel konvergiert nur, wenn der Trainings-Datensatz linear separierbar ist. Ist dies nicht der Fall, so wird die Standard-Lernregel keine approximative Lösung erzeugen (zum Beispiel eine Lösung mit möglichst wenigen falsch zugeordneten Daten). Stattdessen wird der Lernvorgang vollständig versagen.