Auswertung der PISA-Studien: Einfluss des sozialen Hintergrunds

Die PISA-Schulstudien der OECD umfassen einen zweistündigen Leistungstest sowie eine knapp einstündige Fragebogensitzung. In den Fragebögen werden insbesondere Daten zum sozialen Hintergrund erhoben. Im Rahmen der Auswertung der PISA-Studien wurde der Einfluss des sozialen Hintergrunds auf die Testergebnisse ausführlich untersucht.

In der internationalen Auswertung der einzelnen PISA-ZyklenOECD 2001, 2004, 2007 ist jeweils ein Kapitel dem Zusammenhang zwischen der TestleistungWährend die internationalen Berichte vorsichtig von „performance“ sprechen, werden die Testleistungen in den deutschen Berichten ohne weiteres als „Kompetenz“ oder sogar als „Kompetenzerwerb“ bezeichnet. und verschiedenen Hintergrundvariablen gewidmet. Dabei wird im Wesentlichen nur die Leistung im jeweils schwerpunktmäßig getesteten Aufgabengebiet analysiert (Lesen in PISA 2000, Mathematik im Jahr 2003, Naturwissenschaften im Jahr 2006). Präsentation und Interpretation der Daten erfolgen aber jedes Mal in ähnlicher Weise. Dabei wird eine Vielzahl von Kennziffern produziert und in verschiedenerlei Tabellen und Grafiken mitgeteilt. Zum Teil können diese Ergebnisse als Länder-Ranglisten gelesen werden.

Um sozialen Hintergrund eindimensional zu quantifizieren, wird unter anderem ein „International Socio-Economic Index of Occupational Status“ (ISEI) verwendet, genauer gesagt der Wert des höher bewerteten Elternteil (highest ISEI = HISEI).Dieser Index stammt aus einer Meta-Studie von Ganzeboom u. a. (1992). Wuttke (2007) weist darauf hin, dass der ISEI ausdrücklich nur für Männer konstruiert wurde, in PISA aber auch auf die Berufe der Mütter angewandt wird, dass Ganzeboom auf veraltete Quellen aus den 1960er Jahren zurückgreift, dass die Korrelation mit dem jüngsten Allensbacher Berufsprestigeindex nur 0.06 beträgt, und dass etliche Bewertungen offenkundig absurd sind: Kraftwerksoperateur weit unter Stromableser, Musikinstrumentenmacher weit unter Zahnarztrezeptionist, Dirigent weit unter Tänzer, Manager weit unter Politologe, Parlamentsabgeordneter weit unter Armeeoffizier. Der Zusammenhang zwischen der Testleistung und diesem Index ist in Deutschland überdurchschnittlich stark. Im Jahr 2000 wurde im Schwerpunktgebiet Lesen für Deutschland unter allen 32 Teilnehmerstaaten der stärkste HISEI-Gradient ermittelt (gefolgt von der Tschechischen Republik, der Schweiz und Luxemburg).OECD 2001, Anhang B1, S. 283, Tabelle 6.1a. Dieser ungünstige Spitzenplatz wurde in der nationalen Auswertung durch die deutsche Projektleitung deutlich herausgestelltArtelt u. a. 2001, S. 40f. und erreichte eine breite Öffentlichkeit. Wegen dieser nachhaltigen Wirkung, die sich auch in umfangreicher Literatur niedergeschlagen hat, konzentriert sich die folgende Darstellung auf die Ergebnisse für Deutschland.

Beachtung haben in Deutschland insbesondere die folgenden Ergebnisse gefunden: Starker Zusammenhang zwischen Testleistung und sozialer Schichtzugehörigkeit; im internationalen Vergleich extrem starker Einfluss des Migrationshintergrunds, der aber mehrheitlich mit ungünstigen sozialen Bedingungen parallel läuft; erhebliche soziale Bedingtheit der Schulwahl auch bei gleicher Testleistung; Ost-West- und Nord-Süd-Unterschiede im Bundesländervergleich, die angesichts der schieren Menge an Teilergebnissen aber kein klares Bild ergeben.

Methodik Leistungsdaten Jeder Testteilnehmer bearbeitet etwa 45 bis 60 Testaufgaben, die ganz überwiegend nur mit „richtig“ oder „falsch“ bewertet werden. Entsprechend der Anzahl richtiger Aufgabelösungen wird jedem Probanden pro Aufgabengebiet ein Punktwert zugeschrieben, der als „Kompetenz“ interpretiert wird.In Wahrheit wird in PISA ein probabilistisches Modell des Schülerverhaltens verwendet und deshalb jedem Probanden nicht ein Kompetenzwert zugeordnet, sondern deren fünf. Über diese verschiedenen Schätzungen „plausibler“ Personenparameter wird erst am Ende jeder Auswertung gemittelt. Vgl. Methodik der PISA-Studien. Kritiker weisen darauf hin, dass PISA-Ergebnisse nicht nur fachbezogene Fähigkeiten widerspiegeln, sondern zum Beispiel auch Motivation und Testfähigkeit (Vertrautheit mit dem Aufgabenformat, qualifiziertes Raten, Zeiteinteilung, Stressresistenz).

PISA testet nicht nur Schulwissen, sondern auch die Fähigkeit, dieses Wissen zu reflektieren und auf Alltagsfragen anzuwenden.OECD 2001, S. 14. Dieses Bildungsziel wird im Englischen als literacy bezeichnet; in den deutschen Berichten wird der Begriff unübersetzt übernommen.Prenzel u. a. 2004, S. 48, S. 64. Um literacy zu testen, beginnen sämtliche Mathematik- und Naturwissenschaftsaufgaben mit zum Teil umfangreichen Einleitungstexten. Da der gesamte Test unter erheblichem Zeitdruck stattfindet,Wuttke 2007, S. 181ff. hängen sämtliche Leistungsergebnisse, nicht nur im Aufgabenbereich Lesen, erheblich von der Fähigkeit zu schnellem, sinnerfassendem Lesen ab. Im internationalen Vergleich führt das zu Verzerrungen, weil die Aufgabentexte in verschiedenen Sprachen unterschiedlich lang und unterschiedlich schwer zu lesen sind. Zum Beispiel umfassen die Mathematikaufgaben im Deutschen 16 % mehr Buchstaben als im Englischen.Puchhammer 2007, S. 132.

Sozialdaten Mit dem Questionnaire werden Hintergrunddaten im Umfang von mehreren Hundert Bits pro Testteilnehmer erhoben. Manche Auswertungen (zum Beispiel zum Migrationshintergrund) beziehen sich auf ganz bestimmte Bits. Andere Auswertungen folgen dem Ansatz des Konsortiums, Informationen zum sozialen Hintergrund in eine globale Kennzahl zusammenzufassen.

In PISA 2000 wurde der soziale Hintergrund allein aufgrund eines sozioökonomischen Indexwertes des elterlichen Berufs (HISEI) bewertet.

In PISA 2003 wurde ein neudefinierter „index of economic, social and cultural status“ (ESCS) verwendet, der als Hauptkomponente (Eigenvektor zum größten Eigenwert der Matrix der Korrelationskoeffizienten) der folgenden drei Subindizes bestimmt wird:OECD 2005, S. 316f.

Der schon erwähnte „international socio-economic index of occupational status“ (ISEI) nach Ganzeboom (1992), wobei nur der Wert des diesbezüglich höher bewerteten Elternteils berücksichtigt wird („highest ISEI“ = HISEI); die Ausbildungsdauer des länger ausgebildeten Elternteils, erschlossen aus den Schülerangaben zu den Ausbildungsabschlüssen der Eltern; eine Rasch-skalierte Kennzahl, die die Ausstattung des Haushalts mit einzelnen Kulturgütern (Geschirrspülmaschine, Taschenrechner, Internetzugang, Gedichtbände, Kunstwerke, …) zusammenfasst.

Die Autoren der deutschen Berichte äußern theoretische Vorbehalte gegenüber dem ISEI,Baumert, Schümer 2002, S. 328, und gleichlautend in den Folgeberichten den sie für wenig fundiert und unanschaulich halten, und vor allem gegenüber dem ESCS, dem sie vorwerfen, er verstelle den Blick für die tatsächlichen sozialen UngleichheitsverhältnisseBaumert, Stanat, Watermann 2006, S. 9. und er sei weder von Land zu Land, noch von Testzyklus zu Testzyklus vergleichbar.Ehmke, Baumert 2007, S. 314.Andererseits hat Ehmke in der Zeitschrift für Erziehungswissenschaften (8(4) 2007, S. 521–540) den ESCS als „validen und theoretisch umfassenden Index“ eingeschätzt; zu diesem Widerspruch siehe auch: Thorsten Stegemann: Streit um die Pisa-Studie. auf: heise.de 4. Dezember 2007.

Für eigene Auswertungen bevorzugt das deutsche Konsortium eine gröbere Einteilung der elterlichen Berufe in sieben Sozialschichten.Baumert, Schümer 2002, S. 328 und S. 338f. Unter Berufung auf Erikson/Goldthorpe/Portocarero (1979) werden diese Schichten auch als EGP-Klassen bezeichnet. Für Deutschland wurde in PISA 2000 folgende Schichtverteilung der Schülereltern gefunden:Baumert, Schümer 2002, S. 338.

EGP Sozialschicht Vater Mutter I Obere Dienstklasse 20,7 % 7,4 % II Untere Dienstklasse 16,5 % 22,8 % III Routinedienstleistungen in Handel und Verwaltung 4,9 % 39,4 % IV Selbständige 12,5 % 5,9 % V,VI Facharbeiter und Arbeiter mit Leitungsfunktion 26,0 % 7,3 % VII An- und ungelernte Arbeiter, Landarbeiter 19,5 % 17,1 %

In PISA 2003 konnte wegen fehlender Angaben keine EGP-Schichtzugehörigkeit ermittelt werden; in PISA 2006 hat der Anteil der Selbständigen und Routinedienstleister (IV,III) leicht abgenommen, der der oberen Dienstklasse zugenommen.Ehmke, Baumert 2006, S. 324.

Umgang mit fehlenden Daten Wie in fast allen umfragebasierten Sozialstudien wird auch in PISA die Datenauswertung durch einen nicht unerheblichen Anteil fehlender Antworten erschwert. Einige Schüler brechen den Test vor oder während der Fragebogen-Sitzung ab, andere beantworten nicht alle Fragen.Wenn unter Tausenden Schülern kein einziger bestimmte Fragen unbeantwortet lässt, wie 2003 in Polen, dann liegt ein Manipulationsverdacht nahe (Wuttke 2007, S. 125.) Wenn man sämtliche Teilnehmer, die irgendeine Frage nicht beantwortet haben, von der Auswertung ausschlösse, wäre der Datensatz so stark reduziert, dass man mit unabsehbaren Verzerrungen rechnen müsste. Ein besseres Vorgehen wäre, fallweise bei jeder Teilauswertung nur diejenigen Schüler auszuschließen, bei denen konkret benötigte Einzelangaben fehlen. Allerdings würde dann jedem Teilergebnis eine andere Teilstichprobe zugrunde liegen, und von Fall zu Fall wäre immer noch mit erheblichen Verzerrungen zu rechnen.Hagemeister (in Jahnke, Meyerhöfer: PISA & Co - Kritik eines Programms. 1. Auflage. 2006, S. 269) zeigt beispielhaft, wie sich Länder-Ranglisten ändern, wenn man unvollständige Datensätze von der Auswertung ausschließt.

Stattdessen werden in PISA fehlende Antworten imputiert: Es wird angenommen, dass die jeweils gegebenen Antworten ausreichen, um den sozialen Hintergrund eines Schülers so genau zu charakterisieren, dass die fehlenden Angaben durch Zufallszahlen ersetzt werden können, deren Häufigkeitsverteilung sich an den Antworten der übrigen Schüler mit vergleichbarem Hintergrund orientiert. Konkret wird im internationalen Datensatz der ESCS-Index imputiert, wenn aufgrund der Schülerangaben eigentlich nur zwei der benötigten drei Subindizes berechnet werden können.sehr knapp beschrieben in OECD 2005, S. 316. Das deutsche PISA-Konsortium geht darüber hinaus und imputiert den ESCS auch dann, wenn weniger als zwei Subindizes vorliegen. Grund ist wahrscheinlich, dass in Deutschland eine besonders gründliche Stichprobe unter Einschluss von Sonderschulen gezogen wurde und der Primärdatensatz deshalb überdurchschnittlich lückenhaft ist.Wuttke 2007, S. 189ff. Die Restunsicherheit der Daten nach Imputation der fehlenden Angaben scheint bisher nicht quantitativ abgeschätzt worden zu sein.

Zuverlässigkeit der Schülerangaben Französische Regierungsstellen haben die OECD vor der Verwendung des ISEI gewarnt, weil Schülerauskünfte über Beruf und Ausbildung ihrer Eltern zu unzuverlässig seien.Bonnet 2002 Die OECD akzeptierte diesen Einwand nur für das Land, aus dem er erhoben wurde: „In the case of France, questions remain about the reliability of students' responses regarding parental occupation and education“.OECD 2001, S. 221.

In Deutschland wurden die Schülerangaben durch eine Befragung der Eltern validiert.Maaz, Kreuter, Watermann, in Baumert, Stanat, Watermann 2006, S. 31–59. Bei den Angaben zum Schulabschluss der Eltern lag die Übereinstimmung von Schüler- und Elternangaben bei den häufigsten Abschlüssen um die 70 %, bei „exotischen“ Abschlüssen deutlich darunter. Hatten die Eltern die Fachhochschulreife, gaben das nur 27 % der Kinder korrekt an (Müttern wird in diesem Fall eher die Mittlere Reife, Vätern das Abitur zugeschrieben). Beim beruflichen Bildungsabschluss und beim vierstellig kodierten Beruf lag die Übereinstimmung von Schüler- und Elternangaben bei rund 40 %; beim daraus resultierenden, zweistellig kodierten ISEI bei ungefähr 45 %. Dennoch meinen Maaz u. a. zusammenfassend, dass Schüler als „zuverlässige Informanten zur Erhebung von Bildungs- und Berufsmerkmalen der Eltern“ angesehen werden können.Maaz, Kreuter, Watermann, in Baumert, Stanat, Watermann 2006, S. 55.