• Nachrichten
• > UniSPIEGEL
• > Studium
• > Studium und Internet

ThemaStudium und Internet

Alle Artikel und Hintergründe

Prüfungen

Zensuren aus dem Rechner

In den USA bewerten Computerprogramme Essays, die Bewerber für Aufnahmeprüfungen an Wirtschaftsschulen schreiben. Das klingt absurd, aber die Ergebnisse sind verblüffend: Fast immer urteilen die Elektronenhirne ganz ähnlich wie menschliche Gutachter. Und beherrschen sogar einen strengen Lehrerjargon.

Dass Computer die Rechtschreibung prüfen oder Multiple-Choice-Tests auswerten, ist allgemein akzeptiert. Doch nun bewerten Rechner, zumindest in den USA, auch Aufsätze. Das klingt zunächst abenteuerlich, denn schließlich gibt es einen Vorteil, den der Mensch der Maschine gegenüber (noch) verteidigt: Den Sinn seiner Gedanken und Argumentation kann bisher keine Software ergründen.

Macht nichts, sagen die Erfinder von Aufsatzbenotungs-Programmen wie "e-rater", "IEA" oder "IntelliMetric", auf deren Websites man sich Demo-Versionen ansehen kann.

Schiere Rechenkapazität soll ausgleichen, was den Elektronenhirnen an Vernunft fehlt. Vor dem Einsatz müssen die Rechner allerdings mehrere hundert herkömmlich benotete Vergleichsaufsätze verschiedener Güte zum gewünschten Thema verarbeiten.

Der Rechner spart Kosten

Die Benotungsprogramme prüfen auf Satzbau, Wortschatz, Grammatik und filtern unsinnige Formulierungen heraus. Außerdem werden Schlüsselworte erkannt, die bei der Behandlung eines vorgegebenen Themas vorkommen sollten. Für die Verwendung von Begriffen wie "denn", "möglicherweise" oder "Schlussfolgerung" gibt das System Bonuspunkte - es mutmaßt, dass der Schreiber, der sie benutzt, differenzieren und Kausalbeziehungen herstellen kann.

Absurd? Eine Tatsache kommt e-rater & Co. zugute: Auch menschliche Prüfer sind sich längst nicht immer einig über die Qualität eines Aufsatzes. Die Softwarehersteller können belegen, dass die Noten, die ihr Programm erteilt, sich von der eines Menschen nicht stärker unterscheiden als Bewertungen, die zwei verschiedene Lehrer für denselben Aufsatz vergeben.

Dafür sind die Programme billiger. Schon seit 1999 ist deshalb der e-rater zum Beispiel als Prüfinstanz für jene Essays im Einsatz, die für den GMAT geschrieben werden müssen, die Aufnahmeprüfung zu fast allen amerikanischen Business Schools, der sich jährlich 270000 Kandidaten unterziehen. Kostenersparnis: 1,7 Millionen Dollar.

Völlig verlässt sich die Testbürokratie allerdings nicht auf die Technik. Parallel zum e-rater urteilt auch ein Professor über die Arbeiten.

Wenn die beiden Instanzen mehr als eine Note auseinander liegen, entscheidet ein (menschlicher) Drittgutachter. Doch das ist meist nicht nötig, denn die Übereinstimmung zwischen menschlicher und maschineller Benotung beträgt derzeit schon 98 Prozent.

Computer sind doof, Irren ist menschlich

Nützlich seien elektronische Prüfer nicht nur als Notenautomaten, sondern auch um Übenden schnell Feedback zu geben, glauben die Befürworter. Einen strengen Lehrerjargon beherrschen die Maschinen schon. "Ein ziemlich fehlerhafter Aufsatz", wettert IntelliMetric in einem Beispiel seiner Demoversion, "der Schreiber bezieht keinen klaren Standpunkt und zeigt begrenztes Talent, seine Ideen zu entwickeln...".

Der Triumph der künstlich pädagogischen Intelligenz scheint programmiert - wäre da nicht der menschliche Faktor, der die Perfektion der maschinellen Konkurrenz vereiteln kann, selbst bei simpelsten Multiple-Choice-Aufgaben: Der versierteste Computer ist gegen Fehlbenotung nicht gefeit, wenn das Personal unfähig ist, ihn korrekt zu füttern.

Diese Erfahrung mussten zum Beispiel 8000 Schüler in St. Paul (US-Bundesstaat Minnesota) machen, die bei einer Mathematikprüfung durchfielen, weil der Rechner mit dem falschen Antwort-Schlüssel gearbeitet hatte. Nach einem Urteil vom November 2002 erhielt jeder von ihnen von der verantwortlichen Firma "NCS Pearson" ein Schmerzensgeld zwischen 362,50 und 16.000 Dollar.

Von Hanne Tügel / "GEO WISSEN"