Affective Computing (auch: Emotions-KI, Sentimentanalyse) ist eine Technologie durch Einsatz von Künstlicher Intelligenz menschliche Affekte und Emotionen durch Computer zu erkennen.
Die Fähigkeit, menschliche Affekte zu erkennen und auszudrücken, ist eine der wichtigsten Eigenschaften des Menschen. Mithilfe maschineller Lerntechniken, wie der Spracherkennung, der Verarbeitung natürlicher Sprache (Computerlinguistik) oder der Erkennung von Gesichtsausdrücken, erfolgt das Erkennen menschlicher Emotionen durch die Extraktion aussagekräftiger Muster aus den gesammelten Daten, wie die der Sprache und Gesichter. Es ist ein interdisziplinäres Gebiet, das Informatik, Psychologie und Kognitionswissenschaft umfasst.
Entwicklung Der Begriff »Affective Computing« stammt von Rosalind Picard, die als eine der ersten sich mit diesem Gebiet befasste und die Möglichkeit sah, das von Paul Ekman entwickelte Facial Action Coding System zur Beschreibung von Gesichtsausdrücken mit Rechnern zu automatisieren. Laut Ekman schlüpfen, selbst wenn Personen ihre emotionale Kommunikation zu zensieren oder zu kontrollieren versuchen, »Leaks« durch die Maschen der Kontrolle.Zuboff, S. 326–331 f.
Picard stellte sich einen Computer als »affektiven Spiegel« vor, der einen als Coach auf ein Vorstellungsgespräch oder eine Verabredung vorbereiten könne und z. B. auf aggressive Untertöne aufmerksam machen könne. Oder auch als ein Feedback für Spieleentwickler über das Frustationslevel der Spieler. Ihre Arbeiten über »Affective Computing« veröffentlichte sie 1995 in einem ReportRosalind W. Picard: Affective Computing, In M.I.T Media Laboratory Perceptual Computing Section Technical Report No. 321. und 2000 in dem Buch, Affective Computing.Rosalind W. Picard: Affective Computing, MIT Press, 24. Juli 2000.
Zusammen mit Rana el Kaliouby gründete Picard 2009 das Unternehmen »Affectiva«, das auf einer im Media Lab des Massachusetts Institute of Technology entwickelten Technologie gegründet wurde.Jim Kerstetter: Building better Super Bowl ads by watching you watch them, in CNET, 2. Februar 2013. Unter Leitung von Kaliouby wendete es sich zum Überwachungskapitalismus hin. Kaliouby meint, wir werden das pausenlose Scannen von Emotionen irgendwann genauso hinnehmen wie das Setzen von Cookies beim Surfen im Web. »Affectiva« bietet »Emotion als Dienstleistung«, bei der man eine Auswertung von eingesandten Videos oder Fotos erhält.
2015 erhielt das Start-up Realeyes von der Europäischen Kommission Fördermittel für das Projekt »SEWA: Automatic Sentiment Analysis in the Wild«, welches die Emotionen des Betrachters von Content erkennen kann, und ob er ihm gefällt. 2016 bekam Realeyes dafür den Innovationspreis der Kommission. In der Produktbeschreibung von SEWA steht, dass solche Technologien sogar Verhaltensindikatoren vermessen können, die zu subtil oder flüchtig sind, um von menschlichen Augen oder Ohren gemessen zu werden.
2014 erhielt Facebook ein Patent für »Emotionserkennung«, um das Interesse des Nutzers am dargestellten Content erkennen zu können.
Eine Firma namens Emoshape produziert einen Mikrochip, von dem sie behauptet er könne mit einer Wahrscheinlichkeit bis zu 98 % zwölf Emotionen klassifizieren, was es seiner künstlichen Intelligenz erlaube, 64 Billionen möglicher Zustände zu erfahren.
Die EU-Kommission möchte mit „iBorderCtrl“ Affective Computing für eine Art Lügendetektor einsetzen mit denen Einreisende in die EU überprüft werden sollen.patrick-breyer.de
Auf den „International Conference on Affective Computing and Intelligent Interaction“ findet seit 2005 zweijährlich ein internationaler Erfahrungsaustausch über Affective Computing statt.First International Conference, ACII 2005, Beijing, China, Proceedings, 22.–24. Oktober 2005.International Conference on Affective Computing and Intelligent Interaction (ACII), 10th ACII 2022: Nara, Japan.
Methodik der Emotionserkennung Der emotionale Zustand eines Menschen, der aus seiner Wahrnehmung, seinem Denken und Fühlen resultiert, kann von einer anderen Person nicht direkt beobachtet werden. Was wir beobachten, sind Symptome des emotionalen Zustandes der anderen Person, die von der Sprache bis zu Gesten (der Körpersprache) reichen. Insbesondere der Gesichtsausdruck (Mimik) ist eine sehr wichtige kommunikative Quelle in den zwischenmenschlichen Beziehungen. Sie ergänzt die von der Sprache ausgehende Symptomatik und gibt dem Zuhörer zusätzliche Hinweise über die Bedeutung der gesprochenen Wörter.
Nach einer Studie des US-amerikanischen Psychologieprofessors Albert Mehrabian sind die Worte jedoch nur zu 7 % für den Gesamteindruck verantwortlich, den ein Mensch auf seinen Gesprächspartner mache. Zu 38 % zähle der Tonfall der Stimme und zu 55 % die Körpersprache.
Der Stimme können wir die emotionalen Zustände einer Person entnehmen, die durch Glück, Angst, Freude oder Trauer geprägt ist. Vokale Emotionen können auch von kleinen Kindern verstanden werden, bevor sie verstehen, was gesagt wurde.
Zur Frage: Kann die Maschine Gefühle erkennen? Antwortet Rosalind Picard: „Maschinen erkennen Emotionen, unsere tiefen Gefühle können sie nicht erfassen.“ Neurologische Studien weisen darauf hin, Emotionen nehmen ihren eigenen speziellen Weg zum motorischen System, d. h. der Wille und die Emotionen gehen getrennte Wege. Der Muskel, der diese Vertiefung am unteren Augenlid erzeugt, gehorcht nicht dem Willen; er wird nur durch ein echtes Gefühl, durch Emotion ins Spiel gebracht.
Der Designer und Ingenieur Claude Toussaint des Pflegeroboters Navel:Navel – der soziale Roboter „Das System kann nur Signale wahrnehmen. Es kann zum Beispiel nicht unterscheiden, ob das Lachen ein Ausdruck von Freude oder eine Übersprungshandlung ist. Wir Menschen haben da ein sehr viel breiteres Verständnis von Kontext.“
Die gesammelten Daten, z. B. der Gesichtserkennung, bestehen jeweils aus einer Kombination von einem erfassten emotionalen Gesichtsausschnitt (z. B. Freude) und dem zugeordneten Emotionsmerkmal (Freude). Mit der Summe der Gesichtsausschnitte eines Emotionsmerkmals entstehen Erkennungsmuster von Gesichtern, hier mit dem Merkmal Freude. Mit der Zunahme erfasster Daten steigt die Verlässlichkeit des Systems einen emotionalen Gesichtsausdruck zu erkennen. Die Erkennungstiefe von Emotion durch das System bleibt – unabhängig von dem Umfang der erfassten Daten – auf der Ebene der Kombination von Abbildung und Merkmalzuordnung bestehen. Die ungleich größere Tiefe, die ein Mensch mit seinem Erfahrungshintergrund bei der Erkennung der Freude im Gesicht eines anderen Menschen besitzt, hat das System nicht.
Gesichtsausdrücke Die meisten heutigen Ansätze, Gesichtsausdrücke zu erkennen, basierend auf dem „Facial Action Coding System“ des Psychologen Paul Ekman.P. Ekman, W. Friesen: Facial Action Coding System. Consulting Psychologists Press, 1977. So werden Aufmerksamkeitsmuskel, Muskel der Lust, Muskel der Verachtung oder des Zweifels und Muskel der Freude unterschieden. Die unterschiedlichen Gesichtsausdrücke werden in Gesichtsausdrucksparametern kodiert, die dann von Computern gelesen und erkannt werden können.
Die Gesichtsausdrucksparameter werden in sieben universelle emotionale Ausdrücke eingeteilt: glücklich, wütend, Angst, Ekel, traurig, Überraschung und neutral. Die Daten werden experimentell ermittelt und stehen in drei öffentlichen Gesichtsbilddatenbanken JAFFE,JAFFE (Japanese Female Facial Expression). MMIMMI Facial Expression Database. und CK+CK+ (Extended Cohn-Kanade dataset) zur Verfügung.Sajjad Muhammad: Facial appearance and texture feature-based robust facial expression recognition framework for sentiment knowledge discovery, Springer, März 2018.
Nach Rana el Kaliouby sind die Gesichtszüge, die Stimme und die Wortwahl eines Menschen die wichtigsten Ausdrucksformen für die Maschinen, um zu lernen, Emotionen zu erkennen oder zu vermitteln. Unser Gesicht ist einer der wirksamsten Kanäle, um soziale und emotionale Zustände zu vermitteln. Die Wissenschaft unterteilt die Gesichtsmuskelbewegungen dabei in 45 sogenannte Action Units, also Signale, die ausgelesen werden können. Mit denen lässt sich ein Algorithmus programmieren, der die wichtigsten Regungen erkennt.
»Affectiva« hat eine Datenbank für solche Signale erarbeitet, in der knapp drei Millionen Videos von Gesichtern ausgewertet wurden und diese in mehr als zwölf Milliarden emotionale Datenpunkte zerlegt.Andrian Kreye, Felix Hunger: Mensch wie geht es dir? Künstliche Intelligenz - Über empathische Roboter und die Entschlüsselung unserer Gefühle. In: Süddeutsche Zeitung. 21. Januar 2023. Ursprünglich war die Technologie, auf der »Affectiva« basiert, für Menschen mit Autismus gedacht, die Schwierigkeiten haben, emotionale Reaktionen zu zeigen. Das mathematische Modell war daher auf die Erkennung schwer wahrnehmbarer Veränderungen im Ausdruck hin entwickelt worden.
Emotionserkennung in der Stimme Emotionen wirken sich in der Stimme auf die Tonhöhe, das Timing, die Stimmqualität und die Artikulation aus. Befindet sich eine Person beispielsweise in einem Zustand von Angst, Wut oder Freude, wird das sympathische Nervensystem erregt. Dies führt zu einer erhöhten Herzfrequenz, höherem Blutdruck, Veränderungen in der Tiefe der Atembewegungen, Mundtrockenheit und gelegentlichem Muskelzittern. Die resultierende Sprache wird schneller und lauter, es wird präziser ausgesprochen mit einer höheren durchschnittlichen Tonhöhe und einem breiteren Tonhöhenbereich.
Im Gegensatz dazu ist das parasympathische Nervensystem aktiver, wenn eine Person müde, gelangweilt oder traurig ist. Dies führt zu einer verringerten Herzfrequenz, einem niedrigeren Blutdruck und einer erhöhten Speichelbildung. Die resultierende Sprache ist typischerweise langsamer, tiefer, undeutlicher und mit wenig Hochfrequenzenergie. Stimmparameter, Tonhöhenvariablen und Sprechgeschwindigkeit werden dementsprechend durch Mustererkennungstechniken analysiert und in Datenbanken erfasst.
Die bislang entwickelten Stimmenkennungssysteme verwenden unterschiedliche Variationen und Kombinationen der akustischen Merkmale mit unterschiedlichen Arten von Lernalgorithmen. Ihre Leistungsfähigkeit erreichen einen Erkennungsgrad von bis zu 80 %. Dagegen können Menschen den emotionalen Zustand eines Sprechers allein nicht vergleichbar zuverlässig anhand der Sprache erkennen.C. Breazeal, L. Aryananda: Recognition of Affective Communicative Intent in Robot-Directed Speech. Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge.D. Neiberg, K. Elenius, K. Laskowski: Emotion Recognition in Spontaneous Speech Using GMMs. In: Proceedings of Interspeech. 2006.
Stimmungsanalyse von Textdaten Die Stimmungsanalyse von Textdaten (auch als Stimmungserkennung oder Sentiment-Analyse bezeichnet) ist die automatische Auswertung von Texten mit dem Ziel, eine geäußerte Haltung (Stimmung) des Verfassers erkennen. Dabei sind zwei Bereiche der Verarbeitung der natürlichen Sprache zu unterscheiden: Die Stimmungsanalyse ist ein Mittel zur Beurteilung, ob Daten positiv, negativ oder neutral sind. Die Emotionserkennung dient der Identifizierung verschiedener menschlicher Emotionstypen wie z. B. wütend, fröhlich oder deprimiert.
Textverarbeitung: Die auszuwertenden Texte, in denen die Menschen ihre Gefühle und Emotionen äußern, liegen in der Regel höchst unstrukturiert vor, was die Analyse von Stimmungen und Emotionen für Maschinen erschwert. Die Vorverarbeitung und Datenbereinigung der Texte ist daher für die Datenqualität der Auswertung erheblich. Dafür wird das auszuwertende Dokument in Blöcke zerlegt, die als Token bezeichnet werden. Weiterhin werden unnötige Wörter wie Artikel und einige Präpositionen, die nicht zur Emotionserkennung und Stimmungsanalyse beitragen, entfernt.