Der „Face-Benefit“ (vom Englischen: face = Gesicht; benefit = Vorteil) beschreibt das Phänomen, dass Menschen die Stimme und Sprache einer sprechenden Person besser erkennen können, wenn sie deren Stimme zuvor in Verbindung mit einem dazugehörigen Gesicht kennengelernt haben. Dieses Phänomen wurde erstmals im Jahr 2004 für die Stimmererkennung beschrieben. Später wurde gezeigt, dass es den Face-Benefit auch für die Spracherkennung gibt. Beide Face-Benefits entstehen sehr schnell: sie treten bereits nach einer zweiminütigen Kennenlernphase von Stimme und Gesicht ein.
Die beiden Varianten des Face-Benefit (Stimme, Sprache) sind unabhängig voneinander. Zum Beispiel muss eine Person, die durch Erfahrungen mit dem Gesicht einen Vorteil bei der Erkennung der Stimme anderer Personen hat, einen solchen Vorteil nicht zwangsläufig auch bei der Erkennung der Sprache haben.
Studien zum Face-Benefit mini|268x268px|Beispielhafter Versuchsaufbau von einer Studie zum Face-Benefit
Durchführung In Studien zum Face-Benefit wurde bisher häufig ein Versuchsaufbau, wie er im Bild rechts dargestellt ist, eingesetzt.In Teil A (audiovisual) lernen die Versuchspersonen für ca. 2 Minuten die Stimmen und Namen verschiedener Sprecher in Verbindung mit ihrem Gesicht (‘Voice-Face‘) oder einem Symbol für ihren Beruf (‘Voice-Occupation‘) kennen. In Teil B (auditory-only) hören die Versuchspersonen Tonaufnahmen verschiedener Sprecher und beantworten entweder eine Sprachaufgabe (z.B. „Was wurde gesagt?“, ‘Speech‘) oder eine Stimmaufgabe (z.B. „Wer hat gesprochen?“, ‘Voice‘). Der Face-Benefit zeigt sich darin, dass Versuchspersonen die Sprache (Speech) und Stimme (Voice) derjenigen Sprecher, die sie in Teil A in Verbindung mit einem Gesicht gelernt haben, besser erkennen können.
Ergebnisse Der Face-Benefit für die Stimme tritt – nach zweiminütigem Lernen – bei ca. 76 % der Menschen auf und beträgt zwischen 5-8%. Der Face-Benefit für die Sprache tritt seltener – bei ca. 47-58% der Menschen – auf und ist mit ca. 1-5% weniger stark ausgeprägt.
Einflussfaktoren auf den Face-Benefit
Face-Benefit bei Rauschen Ein Einflussfaktor auf den Face-Benefit ist das Signal-Rausch-Verhältnis (engl. signal-to-noise ratio, SNR), also das Verhältnis zwischen der Stimme und dem Rauschen (z. B. Umgebungslärm). Der Face-Benefit für die Stimme und die Sprache nimmt mit steigendem Rauschen im Hörsignal zu. Je verrauschter (d. h. ungenauer) das Hörsignal der Stimme ist, desto hilfreicher sind vorherige Erfahrungen mit dem Gesicht der Person für die Erkennung ihrer Stimme und Sprache.
Face-Benefit bei Prosopagnosie Im Kontext des Face-Benefit sind Menschen mit Prosopagnosie (Gesichtsblindheit) von besonderem Interesse. Studien zeigen, dass prosopagnosische Versuchspersonen im Vergleich zu Versuchspersonen ohne Prosopagnosie üblicherweise einen ähnlich hohen Face-Benefit für die Sprache, aber keinen Face-Benefit für die Stimme aufweisen. Prosopagnosische Menschen profitieren bei der Erkennung von Identitäten also nicht davon, beim Kennenlernen von Stimmen ein dazugehöriges Gesicht gesehen zu haben. Diese Dissoziation des Face-Benefit für die Sprache und des Face-Benefit für die Stimme wird dadurch erklärt, dass den beiden Varianten verschiedene Systeme im Gehirn zugrunde liegen.
Face-Benefit und angereichertes Lernen Der Face-Benefit ist ein Beispiel für einen Effekt des sogenannten angereicherten Lernens.
Es handelt sich beim Face-Benefit um eine multisensorische Anreicherung durch mehrere Sinnesmodalitäten. Die Identität und die Sprache einer Stimme (auditiv) können besser erkannt werden, wenn sie zuvor in Verbindung mit einem Gesicht (visuell) gelernt wurde.
Der Vorteil der Anreicherung beim Face-Benefit beruht auf einer Wahrnehmungskongruenz, da die Stimme und das Gesicht von derselben physischen Quelle – derselben Person – stammen.
Das visuell angereicherte Lernen von Stimmen führt zu crossmodalen Gehirnreaktionen in visuellen Gehirnarealen. Wenn eine Stimme (auditiver Reiz) zusammen mit einem Gesicht (visueller Reiz) gelernt wird, kann diese Stimme bei späterem Auftreten nicht nur Aktivität in auditorischen, sondern auch in visuellen Gehirnarealen auslösen.
Anatomische Grundlagen des Face-Benefit mini|448x448px|Funktionelle und strukturelle Magnetresonanztomographie (MRT) des Gehirns von axialer (links), koronaler (mittig) und sagittaler (rechts) Perspektive. Die farbig markierten Gehirnareale zeigen in funktioneller MRT (fMRT) eine erhöhte Aktivität für Gesichter: Amygdala (AMG), Fusiform Face Area (FFA), Posterior Superior Temporal Sulcus (pSTS-FA), und Occipital Face Area (OFA).
Fusiform Face Area (FFA) und Posterior Superior Temporal Sulcus (pSTS-FA) Für den Face-Benefit sind zwei visuelle Gehirnregionen von besonderer Bedeutung: die FFA und der pSTS-FA. Die FFA (Fusiform Face Area) ist eine Region im fusiformen Gyrus, die Gesichter verarbeitet. Der pSTS-FA (Posterior Superior Temporal Sulcus Face Area) ist eine Region im oberen Temporalsulcus, die Sprachbewegungen von Gesichtern verarbeitet.
In zahlreichen fMRT-Studien konnte nachgewiesen werden, dass Reaktionen in diesen visuellen Gehirnregionen ausgelöst werden, wenn eine Stimme präsentiert wird, die zuvor in Verbindung mit einem Gesicht gelernt wurde.
Diese Aktivität ist allerdings abhängig von der Aufgabe: die FFA reagiert, wenn Versuchspersonen die Identität einer Stimme erkennen; zusätzlich korreliert die Aktivität in der FFA mit dem Face-Benefit für die Stimme. Dieser korrelative Zusammenhang gilt bei Prosopagnosie nicht: trotz vergleichbarer FFA-Aktivität zeigen prosopagnosische Menschen keinen Face-Benefit für die Stimme. Der pSTS-FA reagiert, wenn Versuchspersonen den Sprachinhalt einer Stimme erkennen; zusätzlich korreliert die Aktivität im pSTS-FA mit dem Face-Benefit für die Sprache. Eine kausale Verbindung zwischen dem pSTS-FA und dem Face-Benefit für die Sprache konnte dadurch belegt werden, dass eine inhibitorische (hemmende) transkranielle Gleichstromstimulation (tDCS) des pSTS-FA bei Versuchspersonen die Spracherkennung für audiovisuell gelernte Sprecher verschlechterte. Die Herunterregulierung dieses Gehirnareals führte zu einer Verringerung des Face-Benefits für Sprache.
Die Reaktionen visueller Gehirnregionen bei der Erkennung von bekannten Stimmen könnten darauf hindeuten, dass das Gehirn die Gesichter der entsprechenden Personen simuliert, wenn ihre Stimme gehört wird. Dies wurde in einem computationalen (computergestützten) Modell nachgebaut. Durch einen Mechanismus, der eine Person beim Hören von rein auditiven Sprachsignalen simuliert, konnte gezeigt werden, dass auch das computationale Modell einen Face-Benefit hat.
Funktionelle und strukturelle Verbindungen zwischen Gesichter- und Stimmregionen Das Lernen von Stimmen in Verbindung mit Gesichtern führt zu zwei erhöhten funktionellen Konnektivitäten (gleichzeitige Zusammenarbeit) verschiedener Gehirnareale. Einerseits wird eine erhöhte funktionelle Konnektivität zwischen der FFA und auditorischen, stimmempfindlichen Bereichen (temporal voice areas, TVA) beobachtet, andererseits zwischen dem pSTS-FA und auditorischen, sprachempfindlichen Bereichen. Diese erhöhten funktionellen Konnektivitäten werden mit dem Face-Benefit für die Stimme bzw. dem Face-Benefit für die Sprache assoziiert.
Die funktionelle Konnektivität wird wahrscheinlich durch direkte strukturelle Verbindungen zwischen auditorischen und visuellen Arealen vermittelt. Mit diffusions-gewichteter MRT wurde dies nachgewiesen: es gibt direkte strukturelle Verbindungen zwischen der FFA und stimmempfindlichen Arealen (TVA). Das könnte darauf hindeuten, dass Informationen zwischen diesen Gehirnregionen ausgetauscht werden können. Die sowohl funktionellen als auch strukturellen Konnektivitäten zwischen gesichts- (FFA) und stimmempfindlichen (TVA) Regionen des Gehirns dienen potenziell der Optimierung der Personenerkennung.
Zeitliche Abfolge der Aktivierung in visuellen Gehirnarealen Mithilfe von Magnetenzephalographie (MEG) wurden die zeitlichen Abläufe der Aktivität der FFA bei auditiver Sprechererkennung untersucht. Dabei wurde beobachtet, dass die FFA bereits ca. 110 ms nach Beginn eines präsentierten Sprachstimulus eine erhöhte Aktivität zeigt. Diese FFA-Aktivität in Reaktion auf Sprachreize tritt noch schneller als der typische Aktivitätshöhepunkt der FFA bei der Verarbeitung von Gesichtern (ca. 170 ms) ein.
Im Vergleich dazu beobachtet man die stärkste Aktivität im auditorischen Kortex erst ca. 200 ms nach Stimulusbeginn. Dass eine erhöhte FFA-Aktivität so früh – noch bevor die Erkennung der Stimme möglich ist – beobachtet wird, legt nahe, dass visuelle Gehirnregionen aktiv an der stimmbasierten Personenerkennung beteiligt sind.
Multisensorisches Modell der prädiktiven Kodierung Das multisensorische Modell der prädiktiven Kodierung (engl. Multisensory Predictive Coding Framework, MPCF) ist eine Lerntheorie, die davon ausgeht, dass die Vorteile des angereicherten Lernens zusätzlich zu den modalitätsübergreifenden Interaktionen auch durch eine erhöhte funktionelle Konnektivität zwischen sensorischen bzw. motorischen Gehirnarealen ausgelöst werden.
Dieses Modell erklärt den Face-Benefit (den Vorteil des visuell angereicherten Lernens von Stimmen) an einer erhöhten funktionellen Konnektivität zwischen auditorischen und visuellen Gehirnregionen. Voraussetzung dafür ist, dass (1) Verbindungen zwischen diesen Arealen bestehen, und dass (2) die visuellen Areale nicht erst nach der Erkennung des auditiven Signals (der Stimme) aktiv werden. Dass (1) direkte strukturelle Verbindungen zwischen gesichts- (FFA) und stimmempfindlichen (TVA) Gehirnregionen und (2) erhöhte Aktivität in der FFA noch vor der Personenerkennung beobachtet werden, sind Indizien dafür, dass diese Voraussetzungen erfüllt sein könnten.
Interne generative Modelle Nach dem MPCF führt angereichertes Lernen dazu, dass im Gehirn interne multisensorische bzw. sensomotorische generative Modelle aufgebaut werden, die Vorhersagen produzieren. Die Beobachtung von crossmodalen Gehirnreaktionen lässt vermuten, dass das Gehirn diese Modelle nutzt, um die Erkennung von angereichert gelernten Stimuli unter unisensorischen Bedingungen zu erleichtern.
Erklärung des Face-Benefits Der Face-Benefit wird (bisher) folgendermaßen erklärt: Wenn Menschen eine neue Person in einem Gespräch kennenlernen, sammeln sie eine Vielzahl multisensorischer Informationen. Es werden nicht nur auditive (Eigenschaften der Stimme), sondern auch visuelle (statische und dynamische Eigenschaften des Gesichts) Informationen gelernt. All diese Informationen werden in einem internen generativen Modell für diese Person integriert. Dieses Modell kann später genutzt werden, wenn in unisensorischen Kontexten, beispielsweise bei einem Telefongespräch mit dieser Person, nur auditive Informationen zur Verfügung stehen. Im Rahmen des MPCF wird angenommen, dass das Gehirn die fehlenden visuellen Informationen (über das Gesicht der Person) mithilfe des internen Modells zu den vorhandenen auditiven Informationen (über die Stimme der Person) ergänzt. Indem das Gehirn die statischen bzw. dynamischen Eigenschaften des Gesichts der sprechenden Person simuliert, werden die Interpretationsmöglichkeiten der eintreffenden auditiven Sinnesinformationen begrenzt und die Stimm- bzw. Spracherkennung erleichtert.
Zusammenfassung
Der Face-Benefit bezeichnet die Fähigkeit, die Stimme bzw. die Sprache einer sprechenden Person besser erkennen zu können, wenn deren Stimme zuvor in Verbindung mit einem dazugehörigen Gesicht kennengelernt wurde. Dieser Effekt tritt bei den meisten Menschen bereits nach kurzer Zeit (ca. 2 Minuten) ein. Menschen mit Prosopagnosie (Gesichtsblindheit) zeigen üblicherweise einen Face-Benefit für die Sprache, aber keinen Face-Benefit für die Stimme.