Kritik an den PISA-Studien

Die PISA-Schulleistungsstudien der OECD haben nicht nur ein außergewöhnliches Medienecho, sondern auch heftige wissenschaftliche Debatten ausgelöst. Dieser Artikel fasst Kritik an Zielsetzung, Methodik und Interpretation der PISA-Studien (PISA=Programme for International Student Assessment) zusammen.

Der Status von PISA: zwischen Wissenschaft, Wirtschaft und Politik

PISA hat hunderte, wenn nicht tausende sekundäre Arbeiten ausgelöst, die den skalierten Datensatz (Kompetenzwerte und Hintergrundvariable) unter verschiedensten Aspekten näher auswerten. Viele dieser Arbeiten sind in begutachteten wissenschaftlichen Fachzeitschriften erschienen. Paradoxerweise hat PISA selbst keine solche Qualitätskontrolle hinter sich: PISA stellt sich als interessensgeleitete bzw. sogar -gebundene Auftragsforschung dar, von den einzelnen Regierungen der teilnehmenden Länder finanziert und von privatwirtschaftlichen Instituten (insbesondere ACER Australien) durchgeführt, und die Ergebnisse werden im Eigenverlag der OECD ohne vorherige externe Begutachtung veröffentlicht. Neuerdings werden sogar die Datensätze der wissenschaftlichen Öffentlichkeit vorenthalten. Eine Primärveröffentlichung in Fachzeitschriften wäre auch kaum möglich, denn die Testaufgaben (in der Sprache der Psychologie: die „Instrumente“) werden mehrheitlich geheim gehalten, was einen offenkundigen Verstoß gegen wissenschaftliche Standards darstellt.

Dass PISA keine im strengen Sinne wissenschaftliche Arbeit ist, erschwert die Kritik, denn es gibt kein zentrales, internationales Publikationsorgan, das die Auseinandersetzung bündeln könnte. Kritische Arbeiten sind bisher in sehr unübersichtlicher Weise an teilweise recht entlegenen Orten publiziert worden. Erst mit einigen Jahren Verzögerung finden sich Wissenschaftler zusammen, um ihre PISA-Kritik in konzertierter Form vorzutragen (insbesondere Jahnke/Meyerhöfer 2006; Hopmann/Brinek/Retzl 2007). Bank und Heidecke (2009) tragen in einer Systematisierung verschiedene kritische Veröffentlichungen zu PISA zusammen und liefern damit eine Grundlage für einen weiteren, strukturierten Diskurs. Die Darstellung verweist neben den genannten Sammelbänden auf einige weitere Quellen und ist zugleich um eine kritische Reflexion der Kritik bemüht.

Aufgrund der Komplexität des Gegenstands ist die Kritik ein interdisziplinäres Unterfangen, an dem sich nicht nur Bildungsforscher, sondern auch Pädagogen, Psychologen und andere Wissenschaftler mit statistischer Fachkunde (Mathematiker, Physiker, Ökonomen) beteiligen.

Die Reaktion der PISA-Verantwortlichen auf öffentliche Kritik beschreiben Hopmann und Brinek so:Hopmann/Brinek/Retzl 2007, S. 14f. Schweigen, um Kritikern keine öffentliche Resonanz zu verschaffen; wenn das nicht mehr ausreicht, den Kritikern Kompetenz absprechen und unlautere Motivation unterstellen; nötigenfalls isolierte Probleme zugestehen, aber behaupten, dass diese keine nennenswerten Auswirkungen haben; schließlich behaupten, dass die Kritik altbekannt und längst widerlegt sei.

Kritik an der Zielsetzung von PISA

Das utilitaristische Bildungsziel von PISA wird insbesondere von frankophonen Autoren kritisiert: Es bewirke zunächst einmal eine Verzerrung der Testergebnisse zugunsten angelsächsischer Staaten und sodann einen Druck, Lehrpläne in Richtung auf unmittelbar alltagsrelevante Fertigkeiten anzupassen. Das bedrohe zum Beispiel die Spezifität des französischen Mathematikunterrichts, der großen Wert auf strenge Beweise legt. In diesem Zusammenhang wird auf die ökonomische Zielsetzung der OECD und auf die Intransparenz und mangelnde demokratische Legitimität der Entscheidungsprozesse in PISA hingewiesen (Cytermann in DESCO 2003). Ein ähnlicher Einwand lautet, dass PISA mit seinem Schwerpunkt auf den drei Bereichen Mathematik, Muttersprache und Naturwissenschaften die Marginalisierung der Gesellschaftswissenschaften, der Fremdsprachen und der musischen Fächer forciert. Auch im Bereich Deutsch wird die literarische Bildung ausgeklammert. Zentrale Bildungsbereiche wie sprachliches Ausdrucksvermögen, literarisches Wissen, historisches, geographisches, politisches und wirtschaftliches Wissen, religiöse und ethische Grundbildung, ästhetische Grundbildung werden ausgeblendet.news4teachers.de

Jahnke (in Jahnke/Meyerhöfer 2006) kritisiert den Grundgedanken, Bildung »standardisieren« zu wollen (vgl. Bildungsstandards und zur Kritik Brügelmann 2005), und deutet PISA auch als Markterschließung der Testindustrie.

Freerk HuiskenFreerk Huisken: Der "PISA-Schock" und seine Bewältigung. Wieviel Dummheit braucht/verträgt die Republik? VSA-Verlag Hamburg 2005. sieht in PISA den Besitzanspruch von Nation und Wirtschaft auf die Leistungen von Bildung und Wissenschaft dokumentiert bzw. diesen Anspruch als die Frage der nationalen Ehre in der internationalen Konkurrenz aufgeworfen. Die Beschädigung des nationalen Ansehens fällt so betrachtet auf „uns alle“ zurück und fordert zu neuen Höchstleistungen heraus – zum Wohl der Nation. Die Frage nach Interessen der am Bildungsprozess beteiligten Individuen stellt sich insofern nur noch abstrakt und national.

Kritik an der Methodik

Curriculare Validität der Testaufgaben

Über die curriculare Validität, also die Übereinstimmung der Testaufgaben mit dem jeweiligen Lehrplan, bestehen unterschiedliche Anschauungen. Während der Leiter der PISA 2000, Baumert, diese noch kategorisch ablehnte, wird die curriculare Validität von seinem Nachfolger Prenzel kategorisch postuliert.

Qualität der Testaufgaben

Im Anschluss an die Testungen 2000 und 2003 wurde jeweils nur ein kleiner Teil der eingesetzten Aufgaben (der Instrumente in der Sprache der Psychologie) veröffentlicht. Eine Vielzahl von Autoren hat diese Aufgabenbeispiele als teilweise fehlerhaft oder irreführend kritisiert.

Der Mathematikdidaktiker Wolfram Meyerhöfer (2005) argumentiert, dass PISA dem Anspruch, mathematische Leistungsfähigkeit bzw. speziell „Mathematische Literalität“ zu testen, nicht gerecht werde. Mittels Interpretation (Methode: Didaktische Analyse und Objektive Hermeneutik) zeigt er verschiedene Problemkreise auf: Oftmals gibt es so viele Möglichkeiten, zur gewünschten Lösung (die nicht in jedem Fall die richtige Lösung ist) zu gelangen, dass man nicht benennen kann, welche Fähigkeit die Aufgabe eigentlich misst. Das Konstrukt „mathematische Leistungsfähigkeit“ wird damit zu einem zufälligen. Es werden Komponenten von Testfähigkeit mitgemessen. Als Kernkompetenz von Testfähigkeit stellt sich heraus, weder das gestellte mathematische Problem noch die angeblichen realen Probleme ernst zu nehmen, sondern sich stattdessen auf das zu konzentrieren, was die Tester angekreuzt oder hingeschrieben sehen wollen. Prinzipiell erweist es sich als günstig, mittelmäßig zu arbeiten, auf intellektuelle Tiefe in der Auseinandersetzung mit den Aufgaben also zu verzichten. Man kann bei Multiple-Choice-Tests raten. Die PISA-Gruppe behauptet zwar, dieses Problem technisch überwinden zu können, dies erweist sich aber als Fehleinschätzung. Die vorgeblich verwendeten didaktischen und psychologischen Theorien sind lediglich theoretische Mäntel für eine theoriearme Testerstellung. Die Tests werden nicht durch Operationalisierungen von Messkonstrukten erstellt, sondern durch systematisches Zusammenstückeln von Aufgaben. Bei PISA sollte „Mathematical Literacy“ getestet werden. Verkürzt sollte das die Fähigkeit sein, „die Rolle, die Mathematik in der Welt spielt, zu erkennen und zu verstehen, begründete mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als eines konstruktiven, engagierten und reflektierten Bürgers entspricht“ (PISA-Eigendarstellung). Von all dem kann angesichts der Aufgaben keine Rede sein. Es zeigt sich ein mathematikdidaktischer Habitus, der unter dem Stichwort der „Abkehr von der Sache“ zusammengefasst wird. Er umfasst folgende Elemente: Manifeste Orientierung auf Fachsprachlichkeit bei latenter Zerstörung des Mathematischen, Illusion der Schülernähe als Verblendung, Kalkülorientierung statt mathematischer Bildung, Misslingen der „Vermittlung“ von Realem und Mathematischem bei realitätsnahen Aufgaben. Letzteres gründet in der Nichtbeachtung der Authentizität sowohl des Realen als auch des Mathematischen.

Zweifel an der Vergleichbarkeit Seit den allerersten vergleichenden Schulstudien wird durch die Übersetzung auf verschiedenen Wegen eine Verzerrung der internationalen Vergleiche bewirkt. Die Aufgaben stammten überwiegend aus dem angelsächsischen Bereich und den Niederlanden. Die reine Textlänge variiert schon um 10 % oder mehr. Einige Texte werden beim Übersetzen länger. Wenn Übersetzer die Aufgabe verstehen, neigen sie dazu, Hilfen zu geben (Freudenthal 1975). Dagegen wurde kritisiert, dass Übersetzer nicht alle Probleme erkennen. Zudem kommen auch Übersetzungsfehler vor.Zum Beispiel wird in einer Multiple-Choice-Aufgabe die Antwort „Die Evolution ist eine Theorie, die durch Forschung bewiesen worden ist“ als falsch gewertet. An der Stelle von „Forschung“ steht im englischen Original nicht „research“, sondern „scientific experiments“. (Joachim Wuttke: PISA: ein teurer Zufallszahlengenerator. In: Berliner Zeitung. 11. Dezember 2007)

Vertrautheit mit dem Aufgabenformat Ein weiteres Problem ist die unterschiedliche Vertrautheit mit dem Aufgabenformat. Meyerhöfer spricht hier von „Testfähigkeit“; in den USA wird schon lange über die Bedeutung von „testwiseness“ diskutiert. Wuttke hatte 2006 entdeckt, dass bis zu 10 % der deutschsprachigen Schüler das Multiple-Choice-Format nicht verstanden und mehr als eine Antwortalternative ankreuzen, wo implizit war, dass genau eine Antwort richtig ist. Laut Joachim Wuttke ist „bei etlichen Aufgaben [...] die Kunst gefragt, einen Antwortsatz hinzuschreiben, der Information aus dem Text aufgreift, ohne sie wörtlich zu wiederholen. Manchmal ist schwer zu erahnen, was die Prüfer hören wollen. Erst die Korrekturanweisungen, die nur in der englischen Aufgabenveröffentlichung vollständig wiedergegeben sind, zeigen, wie sehr das, was hier gemessen wird, von anglo-amerikanischen Prüfungsgewohnheiten geprägt ist.“Joachim Wuttke: PISA: ein teurer Zufallszahlengenerator. In: Berliner Zeitung. 11. Dezember 2007.

Motivation der Testteilnehmer Aus inneramerikanischen Studien ist bekannt, dass der Unterschied zwischen Low-stakes- und High-stakes-Tests eine halbe Standardabweichung und mehr betragen kann. Sjoebergin Hopmann u. a. 2007, S. 220–223. kontrastiert die unbedingte Leistungsmotivation in Taiwan und Korea, wo vor der Testsitzung die Nationalhymne gesungen wird, mit der Mentalität norwegischer und dänischer Schüler, die sich fragen, was der Test ihnen persönlich bringt, und die spätestens dann, wenn die Testaufgaben keinen Spaß machen, sich nicht mehr ernsthaft anstrengen.

Statistische Mängel Bei der Auswertung von PISA und ähnlichen Studien stellt sich das Grundproblem, dass eine Messgenauigkeit im unteren Prozentbereich erforderlich ist, um statistisch signifikante Aussagen über solche Unterschiede treffen zu können. In PISA wird das formal durch die Verwendung sehr großer Stichproben (6116 in Deutschland 2022) erreicht. Die offiziellen Standardfehler berücksichtigen jedoch nicht mögliche systematische Verzerrungen.Wuttke (2007), zuerst in Jahnke/Meyerhöfer (2006).

PISA testete bisher zunächst nur 15-Jährige. In der Türkei zum Beispiel besuchen in diesem Alter nur noch 54 Prozent die Schule, in Mexiko 58 Prozent, in Deutschland aber 96,3 Prozent.

Im Einzelnen wurden folgende Mängel aufgezeigt: