Validität

Validität ( „kräftig“ „wirksam“; ; auch: Gültigkeit) ist (neben der Reliabilität und der Objektivität) ein Gütekriterium für Modelle, Mess- oder Testverfahren.

Validität bezeichnet in der Empirie die inhaltliche Übereinstimmung einer empirischen Messung mit einem logischen Messkonzept. Allgemein ist dies der Grad an Genauigkeit, mit der dasjenige Merkmal tatsächlich gemessen wird, das gemessen werden soll.Lienert und Raatz 1994 nach Validität im DORSCH Lexikon für Psychologie. Bezüglich Modellen und Hypothesen bezeichnet Validität die Übereinstimmung von Prognose respektive Schlussfolgerungen und Daten.

Dabei unterscheidet man zwischen einem Repräsentationsschluss (wenn das Testverhalten repräsentativ für Gesamtverhalten ist) und einem Korrelationsschluss (wenn das Verhalten im Test mit dem Verhalten außerhalb der Testsituation korreliert).Fisseni, Hermann-Josef: Lehrbuch der psychologischen Diagnostik, 3. Auflage, Göttingen u. a. 2004, S. 62 f. Je nachdem, welche Variable als Kriterium für das Verhalten außerhalb der Testsituation verwendet wird, unterscheidet man zwischen inhaltlicher, prädiktiver oder Konstruktvalidität.Fisseni, Hermann-Josef: Lehrbuch der psychologischen Diagnostik, 3. Auflage, Göttingen u. a. 2004, S. 62 f. und Brockhaus Psychologie, 2. Auflage, Mannheim 2009.

Validität als Gütekriterium für Messinstrumente Die Validität gehört zu den sogenannten Hauptgütekriterien für Messinstrumente. Sie ist ein Maß dafür, ob die bei der Messung erzeugten Daten wie beabsichtigt die zu messende Größe repräsentieren. Nur dann können die Daten sinnvoll interpretiert werden.

Neben der Validität gehören die Objektivität (Unabhängigkeit der Ergebnisse von den Messbedingungen) und die Reliabilität (Zuverlässigkeit, formale Genauigkeit der Messung) zu den drei Haupt-Gütekriterien. Sie bauen aufeinander auf: Ohne Objektivität keine Reliabilität, ohne Reliabilität keine Validität.

Beispiel: Wenn ein Test die Fahrtauglichkeit vorhersagen soll, werden entsprechende Aufgaben (z. B. zur Konzentration, Wahrnehmung, Sensumotorik, Intelligenz) zusammengestellt, die nach der Durchführung einen Testwert liefern. Dieser muss objektiv und zuverlässig sein. Validität betrifft die Frage, ob er tatsächlich die Fahrtauglichkeit vorhersagt und z. B. Personen mit entsprechendem Risiko identifiziert. Trotz vorliegender Objektivität und Zuverlässigkeit muss die Validität nicht gegeben sein, z. B. wenn gemessene Merkmale nicht repräsentativ für die Fahrtauglichkeit sind.

Es gibt verschiedene Aspekte der Validität und zugeordnete Mess- und Schätzverfahren.

Validität als Gütekriterium für psychologische Tests Vor allem für psychologische Tests finden diese Gütekriterien als Bewertungskriterien der Qualität Anwendung. Ein Test muss so konstruiert sein, dass Durchführung, Auswertung und Interpretation unabhängig vom Testleiter oder den Untersuchungsbedingungen sind (Objektivität) sowie das Testergebnis sich auch mit dem gleichen oder einem vergleichbaren Test bestätigt (Reliabilität). Die Validität oder Gültigkeit ist darauf bezogen, dass z. B. durch einen Intelligenztest wirklich Aspekte der Intelligenz gemessen werden und diese Messung eine Vorhersage der Leistungsfähigkeit im realen Leben (z. B. Ausbildungserfolg oder Berufserfolg) erlaubt. Solche Vorhersagen sind messungsbedingt mit einem Fehler versehen und nur Wahrscheinlichkeitsaussagen – zugleich wird an einigen Inhalten auch Kritik geübt, vgl. z. B. Kritik am Intelligenzbegriff.

Formen und Aspekte der Validität In ihren Technical recommendations for psychological tests and diagnostic techniques (1954) schlug die American Psychological Association vier Arten der Validität vor, diese sind Inhaltsvalidität, Konstruktvalidität und prognostische sowie diagnostische Kriteriumsvalidität, von denen „historisch und praktisch gesehen […] die kriteriumsbezogene Validität der bedeutsamste Aspekt“G. A. Lienert, U. Raatz: Testaufbau und Testanalyse. 5., völlig neubearbeitete und erweiterte Auflage, Beltz, Weinheim 1994, S. 220. ist. „Die Übereinkunft durch ein Rating ist wie alle Übereinkünfte nicht etwas Abgeschlossenes, sondern kann einem ständigen Wandel unterworfen sein. […] Es bleibt dabei jedem Testinterpreten überlassen, dieses Kriterium anzuerkennen oder zu verwerfen bzw. nach einem besseren zu suchen.“Gustav A. Lienert: Testaufbau und Testanalyse. Psychologie Verlags Union, 4. Auflage, 1989, S. 256.

Inhaltsvalidität

Inhaltsvalidität (engl. ) wird angenommen, wenn ein Verfahren zur Messung eines bestimmten Konstrukts oder Merkmals die bestmögliche Operationalisierung dieses Konstrukts ist. Das ist zum Beispiel bei Interessen- und Kenntnistests der Fall: Eine Klassenarbeit oder Führerscheinprüfung repräsentieren direkt die zu messenden Fähigkeiten. Daher spricht man auch von logischer oder trivialer Validität. Ob Inhaltsvalidität gegeben ist oder nicht, entscheiden Experten per Rating.

Konstruktvalidität

Unter dem Begriff Konstrukt werden theoretische Eigenschaftsdimensionen (latente Variablen) verstanden. Konstruktvalidität bezieht sich auf die Zulässigkeit von Aussagen aufgrund der Operationalisierung über das gesamte dahinter liegende Konstrukt. Dies ist in der Regel dann der Fall, wenn der Bedeutungsumfang des Konstruktes vollständig, präzise und nachvollziehbar abgebildet ist. Als empirische Indikatoren der Konstruktvalidität gelten die konvergente sowie diskriminante (oder auch: divergente) Validität:

Konvergenzvalidität Die Messdaten von Testverfahren, die dasselbe Konstrukt abbilden, müssten hoch miteinander korrelieren. Diskriminanzvalidität Die Messdaten von Testverfahren, die verschiedene Konstrukte abbilden, sollten nur gering miteinander korrelieren (sofern die Konstrukte auch tatsächlich voneinander unabhängig sind).

Sowohl konvergente als auch diskriminante Validität müssen gegeben sein, um einen vollständigen Nachweis der Konstruktvalidität zu gewährleisten. Das empirische Vorgehen bei der konvergenten und diskriminanten Validität sind Spezialfälle der Kriteriumsvalidität.

Bei der Multitrait-Multimethod-Analyse werden die konvergente Validität und die diskriminante Validität anhand einer einzigen Stichprobe miteinander verglichen. Dabei wird verkürzt gesagt erwartet, dass die konvergente Validität größer ist als die diskriminante Validität.

Faktoren für eine verminderte Konstruktvalidität können sein:Joachim Krauth: Experimental Design. Elsevier/Saunders 2000. ISBN 0-444-50637-3. vage Definition des Konstruktes : nur ein Aspekt des Konstruktes wird untersucht : nur eine Methode wird zur Operationalisierung des Konstruktes verwendet Hypothesenraten (Hawthorne-Effekt) soziale Erwünschtheit Erwartungen des Versuchsleiters (Rosenthal-Effekt) Auslassen relevanter Faktorstufen mehr als eine unabhängige Variable ist wirksam (siehe Konfundierungseffekt) Wechselwirkung zwischen Messung und Behandlung eingeschränkte Generalisierbarkeit auf ähnliche Variablen

Kriteriumsvalidität Kriteriumsvalidität bezieht sich auf den Zusammenhang zwischen den Ergebnissen des Messinstruments und einem empirischen Kriterium (Schnell, Hill & Esser, 2005, S. 155). Zum Beispiel: Ein Forscher untersucht den Zusammenhang seines neuen Intelligenztests mit den Schulnoten der Probanden, um die Gültigkeit seines Tests zu prüfen. Von „innerer (Kriteriums)validität“ wird dabei dann gesprochen, wenn als Kriterium ein anderer, als valide anerkannter Test herangezogen wird. Sofern als Kriterium ein objektives Maß (zum Beispiel psychophysiologische Maße oder ökonomische Größen) oder ein Expertenrating herangezogen wird, wird von äußerer (Kriteriums)validität gesprochen. Auch lässt sich unterscheiden nach dem Zeitpunkt, zu dem Übereinstimmung mit dem Kriterium vorliegen soll:

Diagnostische Validität / Übereinstimmungsvalidität () Das Außenkriterium, das bereits valide sein muss (z. B. ein anderer Test), wird zeitgleich mit dem zu validierenden Messinstrument den gleichen Versuchspersonen dargeboten. Die Ergebnisse der beiden Messinstrumente werden korreliert. Die Höhe der Korrelation ist das Maß für die Übereinstimmungsvalidität. Das Vorgehen zur Ermittlung der konvergenten und der diskriminanten Testvalidität sind Spezialfälle dieser Kategorie.

Prognostische Validität / Vorhersagevalidität () Die Messdaten werden zu einem Zeitpunkt erhoben, der vor der Erhebung des Außenkriteriums liegt. Im Unterschied zur Übereinstimmungsvalidität liegt bei der Bestimmung der Vorhersagevalidität das Prognoseintervall zwischen den beiden Messungen. So kann der Grad bestimmt werden, in dem die Messdaten das Kriterium vorhersagen. Zum Beispiel kann im Rahmen eines Assessment-Centers eine Prognose für beruflichen Erfolg gestellt werden, oder aus der Leistung in einem Intelligenztest wird der spätere Schulerfolg vorhergesagt. Ein Test erfüllt die Vorhersagevalidität, wenn seine Vorhersagen hoch mit dem tatsächlich später eingetretenen Ergebnis korrelieren.

Augenscheinvalidität Augenscheinvalidität, auch als bezeichnet, hängt davon ab, ob ein Messinstrument auch Laien plausibel erscheint. Augenscheinvalidität sagt nichts über die tatsächliche Validität, also die Inhalts-, Kriteriums- und Konstruktvalidität aus, sondern bestimmt über die Akzeptanz für ein Messverfahren. Auch sehr wenig valide Messinstrumente (wie z. B. unstrukturierte Einstellungsinterviews) erfreuen sich hoher Augenscheinvalidität und werden in der Praxis deshalb häufig eingesetzt.

Validität von Aussagen über Kausalzusammenhänge Aufbauend auf den auf einzelne Konstrukte bezogenen Operationalisierungen ziehen in den meisten empirischen Studien Forscher erst in der statistischen Auswertung und danach im Hinblick auf ihre Kausalhypothesen Schlussfolgerungen über Ursache-Wirkungs-Zusammenhänge. Die Begriffe der statistischen, internen und externen Validität beziehen sich auf das Zustandekommen, die Gültigkeit und die Übertragbarkeit dieser (induktiven) Schlüsse. Der Validitätsgrad dieser Schlüsse lässt sich jeweils nur diskutieren und abschätzen, niemals beweisen, und es ist darum – wie gehabt – sinnvoller, eher vom Validitätsgrad zu sprechen als vom Vorhandensein (oder Nicht-Vorhandensein) dieser Validitätsformen.

Statistische Validität Für Aussagen oder in empirischen Studien gezogene Schlussfolgerungen (in der Regel über Ursache-Wirkungs-Verhältnisse) wird ein hoher Grad an statistischer Validität angenommen, wenn die Reliabilität und Teststärke der Messinstrumente und gewählten statistischen Verfahren hoch ist und allgemein die Fehlervarianz begrenzt wurde, die mathematischen Annahmen der statistischen Methoden nicht verletzt wurden und nicht einzelne Signifikanzen (zum Beispiel aus einer Korrelationsmatrix) „herausgefischt“ wurden (Fishing).

Interne Validität Für Aussagen oder in empirischen Studien gezogene Schlussfolgerungen wird ein hoher Grad an interner Validität angenommen, wenn Alternativerklärungen für das Vorliegen oder die Höhe der gefundenen Effekte weitestgehend ausgeschlossen werden können. Interne Validität (oder Ceteris-paribus-Validität) liegt vor, wenn die Veränderung der abhängigen Variable eindeutig auf die Variation der unabhängigen Variable zurückgeführt werden kann (keine Alternativerklärung). Um dies zu gewährleisten, müssen Störvariablen kontrolliert bzw. durch verschiedene Methoden wie Elimination, Konstanthaltung und Parallelisierung ausgeschaltet werden. Damit die Effekte nicht auf Merkmale der Probanden zurückgeführt werden können, müssen diese zufällig den Versuchsbedingungen zugeteilt werden.

Die interne Validität wird gefährdet durch: Geschichte. Jedes ungeplante Ereignis zwischen zwei Messungen kann einen ungewollten Einfluss auf die Probanden haben. Beispiel: Bei der ersten Messung, vor der Behandlung mit einem neuen Antidepressivum, ist das Wetter kalt und regnerisch, bei der zweiten Messung, die eine Wirkung des Medikaments prüfen soll, ist das Wetter warm und sonnig.