Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.

Derbe Forscher-Schelte: "Pisa ist spektakulär gescheitert"

Von

In einem neuen Buch holen neun Wissenschaftler zu einem Rundumschlag gegen die Pisa-Studien aus. Kapitale Programmierfehler, unseriöse Methodik, wertlose Ergebnisse - so lauten ihre Vorwürfe. Die Pisa-Macher halten das für abwegig und wundern sich über den späten Alarm.

In der mittlerweile dritten Runde sorgt der Pisa-Test nur noch selten für Aufregung. Vor über sechs Jahren wurden zum ersten Mal 15-jährige Schüler in der internationalen Studie miteinander verglichen - eine Blamage für die deutschen Schulen, die überraschend schwach abschnitten. 2003 folgte der nächste große Vergleichstest mit neuem Schwerpunkt, vor kurzem wurde die dritte Datenerhebung abgeschlossen. Mittlerweile planen die Kultusminister einen nationalen Pisa-Test, regelmäßig erscheinen zusätzliche Auswertungen wie Ländervergleiche. Und bald steht die nächste Veröffentlichung ins Haus: In einer Nachfolgestudie wird kommende Woche eine Analyse des Leistungsstands von Schülern ein Jahr nach ihrer Befragung im Pisa-Test 2003 vorgestellt.

Jetzt sorgt harsche Methodenkritik mehrerer Forscher für Aufsehen - verblüffend spät, nämlich gut fünf Jahre nach der ersten Pisa-Veröffentlichung. Im Sammelband "Pisa und Co. Kritik eines Programms" wettern neun Wissenschaftler gegen Sinn und Zweck der Studie: Der Pisa-Test leite einen Prozess der intellektuellen Verarmung und geistigen Enge ein, weil Bildung auf ein Mittelmaß standardisiert werde, so die zentrale These des Buches.

Pisa-Studie der OECD 2003
Bei Pisa 2000 erreichte Deutschland im Fach Mathematik Rang 20. Unter den damals vertretenen Ländern würde Deutschland heute Rang 16 belegen. Im Bereich Lesen damals Rang 21, heute Rang 18. In den Naturwissenschaften damals Rang 20, heute Rang 15.

Mathematik

Lesen

Naturwissenschaften

Klicken Sie auf die Grafiken, um zu den Ranglisten zu gelangen.


In der Aufsatz-Sammlung setzen die neun Forscher zur Fundamentalkritik an. Der Münchner Physiker Joachim Wuttke wirft dem Pisa-Institut der OECD "spektakuläres Scheitern" vor. Der "Berliner Zeitung" sagte er, die Studie sei wissenschaftlich unseriös, weil die Daten fehlerhaft ausgewertet worden seien. Wuttke spricht von "gravierenden, irreführenden Dokumentationsmängeln", denen er durch selbst programmierte Datenauswertungen und "geradezu kriminalistische Analyse" auf die Schliche gekommen sei.

Unter den Teppich gekehrte Auswertungsfehler?

Wuttke hat in seinem 54-seitigen Buchbeitrag den seit 2005 öffentlich vorliegenden Datensatz von Pisa 2003 nochmals ausgewertet. Bei der Vorbereitung auf ein Pisa-Referat sei er zufällig auf Ungereimtheiten gestoßen und zu dem Schluss gekommen, dass dem internationalen Projektzentrum in Australien "ein kapitaler Programmierfehler unterlaufen ist", den es dann unter der Teppich gekehrt habe, sagte Wuttke dem Blatt. Die Folge: Über das Können deutscher Schüler etwa in Mathematik könne man keine wirklichen Aussagen treffen. Die bei Pisa ermittelten Kompetenzstufen halte er für wertlos; die Schwierigkeitsgrade der Aufgaben schätze er völlig anders ein.

"Das ist Blödsinn", kontert der Leiter der deutschen Pisa-Tests, Manfred Prenzel vom Leibniz-Institut für die Pädagogik der Naturwissenschaften in Kiel. Wuttke habe "vieles von Pisa nicht verstanden", so Prenzel. "Wir rechnen die Pisa-Tests alle selbst parallel zu den Australiern durch", sagte er der "taz". Der australische Fehler werde, wenn es ihn denn gibt, in Deutschland nicht wiederholt.

Pisa-Studie: Schwere Blamage oder halb so schlimm?
DPA

Pisa-Studie: Schwere Blamage oder halb so schlimm?

Auch die OECD in Paris, wo die internationale Studie koordiniert wird, nimmt die Vorwürfe nicht ernst. "Ganz offensichtlich kennt Herr Wuttke das Pisa-Programm nicht wirklich", bügelt Pisa-Koordinator Andreas Schleicher den Tadel des Physikers ab. "100 Experten in 30 Ländern arbeiten seit Jahren an diesem System. Alle Vorgänge sind im technischen Bericht öffentlich zugänglich" - den müsse man allerdings genau genug lesen, sagte Schleicher SPIEGEL ONLINE.

Wuttke indes hält die Pisa-Studie für nicht repräsentativ, unter anderem wegen der unterschiedlichen Teilnahmequoten in den OECD-Ländern. So liege die Quote in Deutschland bei 98,8 Prozent, in den USA bei nur 68,1 Prozent. Das habe die Ergebnisse verfälscht. "Obwohl solche Quoten nach den selbst gegebenen Regeln des Konsortiums ursprünglich als 'non acceptable' eingestuft worden waren", seien sie in die Auswertung einbezogen worden, rügt Wuttke. Seine Erklärung: "Man hat sich schlicht nicht getraut, den größten Geldgeber rauszuschmeißen."

Pisa-Schock reiner Medienrummel?

"Mr. Pisa" Andreas Schleicher bleibt auch bei solch herben Vorwürfe kühl. "Das ist Unsinn", sagt er gelassen, "alle Teilnahmequoten sind transparent." Bei Ländern, die die angestrebte 85-Prozent-Quote nicht erreichten, sei mit einer so genannten Bias-Analyse berechnet worden, inwieweit die Zahlen das Ergebnis beeinflussten. Dies sei zum Beispiel bei England im Pisa-Test 2003 oder den Niederlanden im Jahr 2000 der Fall gewesen - und deshalb seien diese Länder auch nicht in der Auswertung aufgetaucht.

Physiker Wuttke hält das deutsche Abschneiden für weit weniger desaströs, als es aus den veröffentlichen Pisa-Ergebnissen hervorgeht. Dafür nennt er zwei Indizien: Bei Pisa seien 15-jährige Schüler getestet worden. In diesem Alter besuche ein großer Teil der Jugendlichen in anderen Ländern schon keine Schule mehr, in Deutschland aber nahezu alle - und das drücke das Niveau der Pisa-Ergebnisse. Als zweites Indiz nennt Wuttke die Sonderschüler: Nach seinen Berechnungen wäre Deutschland bei Pisa 2003 vom 18. auf den zwölften Rang unter 30 Ländern vorgerutscht, hätte man OECD-weit alle Tests für Sonderschüler aus der Auswertung ausgeklammert. Denn diese Tests seien ohnehin nur in sieben Staaten gemacht worden.

Sonderschüler in eigenen Schulformen gebe es nur in Deutschland und fünf weiteren Staaten; eigens für sie habe man ein spezielles Pisa-Testheft kreiert, widerspricht der deutsche Testleiter Manfred Prenzel in der "taz". "Völlig abwegig" nennt auch Priska Hinz, bildungspolitische Sprecherin der Bundestags-Grünen, die Kritik. In den meisten europäischen Ländern würden Sonderschüler ins allgemeine Schulsystem integriert. "Trotzdem schneiden diese Länder besser ab als Deutschland", so die Politikerin. Sie finde es "höchst erstaunlich, dass sich Wissenschaftler zusammentun, um die Studie in Misskredit zu bringen". Vermutlich sei das Ziel der Pisa-Schelte, geplante Reformen im Schulsystem anzugreifen, die auf die Integration von Benachteiligten zielten. Schließlich hätten auch viele weitere Studien die deutschen Bildungsmängel belegt.

Die Kultusministerkonferenz (KMK) kündigte eine Überprüfung der deutschen Pisa-Ergebnisse an, äußerte sich aber nicht inhaltlich zu den Vorwürfen. KMK-Generalsekretär Erich Thies sagte der Tageszeitung "Die Welt", er habe veranlasst, dass geprüft werde, ob Wuttkes Ergebnisse stichhaltig seien. Die Politik sei nicht in der Lage, die Richtigkeit eines empirischen Verfahrens zu prüfen. Sie müsse sich dabei voll auf die Wissenschaft verlassen können.

Diesen Artikel...

© SPIEGEL ONLINE 2006
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH




Social Networks