Der Konstituentenansatz (von konstituieren (lat.-fr. gründen, für etwas grundlegend sein)) ist ein von Michael Berg 1993M. Berg: Der Konstituentenansatz - Ein Weg zu höherer Ergiebigkeit leistungsdignostischer Methoden. In: G. Trost, K. H. Ingenkamp, R. S. Jäger (Hrsg.): Tests und Trends 10, Jahrbuch der pädagogischen Diagnostik. Beltz, Weinheim/Basel 1993. beschriebener Weg zur Konstruktion und Validierung psychologischer Testverfahren auf der Basis vorhandenen Wissens um den Testgegenstand. Der Ansatz sieht sich in der Tradition einer Schule der kognitiven Psychologie und beruht auf der Anwendung experimenteller Methodik. Im Zentrum stehen jene Aufgabenvariablen, die Einfluss auf die Item-Schwierigkeit haben, die so genannten Schwierigkeits-Konstituenten. Der Ansatz ist keine Neuerfindung. Er ordnet sich ein in eine Reihe von Entwicklungen, in denen Aufgabenvariablen einen Zugang zur Validität bilden.
Verwandte Ansätze
1969 beschreibt SchmidtL. R. Schmidt: Testing the Limits im Leistungsverhalten: Empirische Untersuchungen mit Volks und Sonderschülern. In: M. Irle (Hrsg.): Bericht zum 26. Kongress der Gesellschaft für Psychologie. Hogrefe, Göttingen 1969, S. 468, 478. als "Testing the Limits – TtL", ein Prinzip zur Erschließung von Leistungs-Reserven und -Steigerung (auch im therapeutischen Bereich) im Sinne einer inkrementellen Validität der verwendeten Testmethoden u. a. durch systematische Veränderung der Testbedingungen. Baltes und Kindermann (1985)M. M. Baltes, T. Kindermann: Die Bedeutung der Plastizität für die klinische Beurteilung des Leistungsverhaltens im Alter. In: D. Bent, H. Coper, S. Kanowski (Hrsg.): Hirnorganische Psychosyndrome im Alter. Vol. 2: Methoden zur Objektivierung pharmakotherapeutischer Wirkung. Springer Verlag, Berlin 1985, S. 171–184. nennen als eine von drei Strategien des TtL Testwiederholung mit systematischer Variation der Testbedingungen u. a. Veränderungen der Testinstruktion oder der Testzeiten. Weiterführend wurde dieses Vorgehen unter dem Begriff "dynamisches Testen"J. Guthke, K. H. Wiedl: Dynamisches Testen. Hogrefe, Göttingen 1996. als "andere Varianten einer 'experimentellen Psychodiagnostik'M. Berg: Experimentelle Diagnostik – ein Weg zu neuen Verfahren. In: U. Schaarschmidt (Hrsg.): Neue Trends in der Psychodiagnostik. Psychodiagnostisches Zentrum, Berlin 1987, S. 117–125. (Guthke, Beckmann & Wiedl, 2003, S. 226)J. Guthke, J. F. Beckmann, K. H. Wiedl: Dynamik im dynamischen Testen. In: Psychologische Rundschau. 54 (4), Hogrefe, Göttingen 2003, S. 225–232.) zur Erfassung der 'intraindividuellen Variabilität' "dargestellt. Insbesondere werden bei den u. a. von GuthkeJ. Guthke: The learning test concept - an alternative to the traditional static intelligence test. In: The German Journal of Psychology. 6, 1982, S. 306–324. entwickelten LerntestsK. H. Wiedl: Lerntests: Nur Forschungsmittel und Forschungsgegenstand? In: Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie. 16, 1984, S. 245–281. standardisierte Hilfen in den Testablauf einbezogen, die die Item-Schwierigkeit systematisch senken, um gezielt einen Lernfortschritt zu erreichen.
1987 begründet KlauerK. J. Klauer: Kriteriumsorientierte Tests. Hogrefe, Göttingen 1987. im Rahmen kriteriumsorientierter DiagnostikR. Glaser: Instructional technology and the measurement of learning outcomes: Some questions. In: American Psychologist. 18, 1963, S. 519–521.R. K. Hambleton: Criterion-referenced testing principles, technical advances, and evaluation guidelines. In: C. Reynolds, T. Gutkin (Hrsg.): Handbook of school psychology. Wiley, New York 1998, S. 409–434. einen Zugang zur Kontentvalidität eines Itempools als das Zielkriterium, an dem erworbene Lern- oder Therapiefortschritte gemessen werden können, wie z. B. bei Schulleistungstests (es wird also nicht an zentralen Momenten einer statistischen Verteilung, sondern an der oberen Grenze des Erreichbaren gemessen). Zur Erzeugung dieses Itempools kommen mengenstiftende Transformationsregeln zur Anwendung, die auf Aufgabenvariablen zugreifen. So entsteht ein nach Klauer kontentvalider (vollständiger oder repräsentativer) Itempool als Ziel-Kriterium.
Unter dem Begriff "rationale Itemkonstruktion" (Hornke, 1991)L. F. Hornke: Neue Itemformen für computergestütztes Testen. In: H. Schuler, U. Funke (Hrsg.): Eignungsdiagnostik in Forschung und Praxis. Beiträge zur Organisationspsychologie. 10, Verlag für Angewandte Psychologie, Stuttgart 1991, S. 67–70. beschreiben Hornke, Küppers & EtzelL. F. Hornke, A. Küppers, S. Etzel: Konstruktion und Evaluation eines adaptiven Matrizentests. In: Diagnostica. Vol. 46, No. 4, Hogrefe, Göttingen 2000, S. 182–188. folgendes Vorgehen: "Zunächst wird … die latente Fähigkeit inhaltlich bestimmt, um dann entsprechend Faktoren festzulegen, die bei den Items entsprechend schwierigkeitserzeugend wirken könnten. Aus der Kombination dieser Faktoren wird schließlich ein Konstruktionsrational gebildet, anhand dessen Items mit 'bestimmbarer' Schwierigkeit erzeugt werden können" (S. 183), unter anderem zur Erstellung von Test-Itembanken, wie sie z. B. auch innerhalb adaptiver antwortabhängiger Testmethoden Verwendung finden können. Die Vorgehensweise wird anhand der Konstruktion eines adaptiven Matrizen-Tests demonstriert.
1998 entwickelt EmbretsonS. E. Embretson: A cognitive design system approach to generating valid tests: Application to abstract reasoning. In: Psychological methods. 3, 1998, S. 380–396. im Rahmen ihres "cognitive design systems approach" ein Konstruktionsrational, bei dem sich die Validität eines theoriegeleitet konstruierten Itempools direkt aus einem dem Mess-Gegenstand zugrundeliegenden kognitiven Modell der Informationsverarbeitung ergibt: "… construct validity is given on the item level"S. E. Embretson: Measuring Intelligence with Artifical Intelligence: Adaptive Itemgeneration. In: R. J. Sternberg, J. E. Pretz: Cognition & Intelligence: Identifying the Mechanisms of the Mind. Cambridge University Press, New York 2005. (S. 264). So wird z. B. für Matrizen-Tests angenommen, dass Objekt-Merkmale wie etwa die Anzahl der Regeln und der erforderliche Abstraktionsgrad die kognitive Komplexität bestimmen. Die variierende Komplexität ermöglicht die Prädiktion psychometrischer Eigenschaften durch ein psychometrisches Item Response Theorie (IRT)-Modell. Embretson (2005) konnte ein 2PL-(zwei Parameter logistisches) Modell für die Item-Variablen Schwierigkeit und Diskrimination verifizieren.
Allgemein können die IRT-(oder Rasch-)Modelle in dem Sinne als verwandt zu den genannten Ansätzen gelten, als darin die Aufgaben-Schwierigkeit auf derselben Skala liegt wie die angezielte Fähigkeit. Insbesondere schließt Fischer (1974)G. H. Fischer: Einführung in die Theorie psychologischer Tests. Huber, Bern 1974. in seinem LLTM-(lineares logistisches Test-Modell), explizit ein, dass die Item-Schwierigkeit durch kognitive Operationen determiniert wird.
Borsboom, Mellenbergh & van Heerden (2004)D. Borsboom, G. J. Mellenbergh, J. van Heerden: The Concept of Validity In: Psychological Review. Vol. 111, No 4, 2004, S. 1061–1071. verweisen auf den Kausalitätsaspekt der Validität: "A test is valid for measuring an attribute if variation in the attribute causes variation in the test scores. … That is, there should be at least a hypothesis concerning the causal processes that lie between the attribute variations and the differences in test scores" (S. 1067). Danach ist Validität keine quantitative, methodologisch bestimmte Größe, sondern eine qualitative, substantiell bestimmte Eigenschaft von Testmethoden. Damit wird nicht Anspruch auf optimale, sondern auf valide Messung erhoben. "In conclusion, the present conception of validity is more powerful, simple, and effective than the consensus position in the validity literature" (Borsboom, Mellenbergh, & van Heerden, 2004, S. 1070).
Ganz allgemein kann der Konstituentenansatz auch als Variante einer "Diagnostik als Erklärung"H. Westmeyer: Logik der Diagnostik. Kohlhammer, Stuttgart 1972.H. Westmeyer: Grundlagen und Rahmenbedingungen der Psychologischen Diagnostik: Wissenschaftstheoretische und erkenntnistheoretische Grundlagen. In: F. Petermann, M. Eid (Hrsg.): Handbuch der Psychologischen Diagnostik. Hogrefe, Göttingen 2006, S. 35–45. gelten, denn es geht um das Aufstellen und Prüfen von Hypothesen, in diesem Spezialfall über Komponenten kognitiver Leistungen, die beim Lösen von Testaufgaben zur Wirkung kommen und deren Schwierigkeit erklären.
Der Konstituentenansatz
In diesem Kontext stellt der Konstituentenansatz eine weitere Möglichkeit der Konstruktion und Validierung psychologischer Testverfahren auf der Basis vorhandenen Wissens um den Testgegenstand dar, mit dem Ziel, besonders ökonomische, erweiterbare Testsysteme zu konstruieren und zu validieren.
Ganz im Sinne von Borsboom, Mellenbergh & van Heerden (2004) ist der Ansatz ein simpler und inhaltlich-substantiell bestimmter Zugang zur Validität, in dessen Zentrum auch, wie bei Hornke u. a. (2000), Embretson (2005) die Item-Schwierigkeit steht: Wenn auf der Grundlage kognitionspsychologischen Wissens um die Wirkungsweise des Testgegenstands erkannt ist, was die Schwierigkeit einer Testaufgabe ausmacht, dann ist bekannt, welche Art von Leistung die Aufgabe erfasst.
Den kognitionspsychologischen Ausgangspunkt der Testkonstruktion bilden typische Effekte, die aus dem jeweiligen Wissensgebiet bekannt sind, (Stroop-Effekt für selektive Aufmerksamkeit, MR-(Mentale Rotation) Effekte für räumliches Vorstellen usw.). Diesbezüglich werden Validitäts-Hypothesen formuliert, die die Wirkung der entsprechenden Item-Variablen betreffen und empirisch prüfbar sind. Mit dem Konstituenten-Ansatz wird Validität auch im Sinne von Borsboom, Mellenbergh & van Heerden (2004) qualitativ definiert: Qualitativ wird gesagt, was gemessen wird und nicht (quantitativ) in welchen Maße das gemessen wurde, was gemessen werden sollte.
Im Unterschied zu den Zugängen, die ein IRT-Modell einschließen, das die Validität über die Item-Homogenität "absichert", geschieht das beim Konstituentenansatz im Sinne experimentellen Denkens durch ein Zueinander von konstituierenden und modifizierenden Anforderungs-Bedingungen: Kontrolle der modifizierenden, Variation der konstituierenden Test- und Aufgaben-Variablen unter Heranziehen der typischen bekannten Effekte als "Validitäts-Marker".
Dabei wird schon bei der Testkonstruktion berücksichtigt, dass unerwünschte, die Validität verfälschende Einflüsse in beiden Bereichen liegen können. Bei den konstituierenden Bedingungen kann durchaus ein anderer Test-Gegenstand wirksam sein (z. B. Wahrnehmbarkeit statt Vigilanz). Insofern ist diskriminante Validität als Bestandteil des Ansatzes anzusehen. Ferner können innerhalb desselben Gegenstandsbereichs Strategien wirksam sein, die interindividuell unterschiedliche Funktionen der Aufgabenvariablen bewirken. Wir sprechen dann von differentieller Validität.
Modifizierende Variablen, die nicht grundlegend den Testgegenstand bedingen, werden durch die Anwendung der in der experimentellen Methodik angewandten Techniken (Eliminierung, oder Konstant-Halten, Randomisierung oder Balancierung) kontrolliert: Einflüsse etwa der Beschaffenheit des Antwort-Geräts durch Konstant-Halten oder Einflüsse der Item Abfolge durch Randomisierung oder Balancierung.