Ein Brite gesteht Sorry, unsere Uni-Rankings waren Quatsch

Höchst selbstbewusst stellt das "Times"-Ranking seit sechs Jahren die besten Unis der Welt vor. Höchst selbstkritisch sagt jetzt der Macher der Liste, dass die bisherigen Rankings beinahe wertlos waren und zu wenige Hochschullehrer befragt wurden - aus Deutschland nicht einmal 200.

Von und

Phil Baty arbeitet beim britischen Magazin "Times Higher Education" - und ist mit den bisherigen Rankings sehr unzufrieden
Peter Searle

Phil Baty arbeitet beim britischen Magazin "Times Higher Education" - und ist mit den bisherigen Rankings sehr unzufrieden


Hochschul-Ranglisten gibt es in Deutschland seit gut 20 Jahren, einige internationale Rankings kommen hinzu. Sie sind so folgenreich wie umstritten: Gute oder schlechte Platzierungen können an Universitäten zu starken Schwankungen der Bewerberzahlen führen - was die Finanzierung dort, wo hohe Studiengebühren fällig werden, direkt beeinflusst. Für Hochschullehrer ist der Ruf einer Hochschule ein Entscheidungsfaktor in ihrer Karriereplanung, und auch die Politik bleibt nicht unbeeinflusst von Ranking-Ergebnissen.

Wie die Leistungen in Forschung und Lehre erfasst, nach welchem Schema sie gewichtet werden, das ist für die Hochschulen von hoher Bedeutung. Bei Professoren hat sich viel Groll und Frust angestaut. Dass nun aber ein Macher einer wichtigen internationalen Rangliste das Werk seines Arbeitgebers attackiert, ja regelrecht zerlegt, ist neu: "Ich muss Ihnen ein Geständnis machen", beginnt Phil Baty, stellvertretender Herausgeber des britischen Hochschulmagazins "Times Higher Education", sein Bekenntnis. Das Ranking, auf das seit 2004 viele Unis auch in Deutschland jeden Oktober gespannt warten, habe bislang "schwerwiegende Mängel aufgewiesen", schreibt Baty in der Wochenzeitung "Die Zeit".

Baty trägt seit 2009 die Verantwortung für das weltweite Uni-Ranking der "Times". Erst dann hätten er und seine Kollegen die Daten, auf denen die Rangliste basierte, komplett auf den Prüfstand gestellt - und "was wir dabei feststellten, gefiel uns ganz und gar nicht". Auf Anfrage von SPIEGEL ONLINE schreibt Baty in einer E-Mail, es habe sich der Verdacht erhärtet, "dass die Rankings, die wir in unserem Namen veröffentlicht hatten, nicht solide waren".

"Lächerliche 182 Antworten als Rücklauf"

Zahlreiche Beschwerden über die Daten und die Methodik von Wissenschaftlern und Hochschul-Chefs hätten den Verlag erreicht, besonders in jüngerer Zeit. "Wir kamen zu dem Schluss, dass ein Großteil der Kritik berechtigt war", so Baty zu SPIEGEL ONLINE.

Das Hauptproblem, schreibt der reuige Ranking-Macher in der "Zeit", stecke im sogenannten Peer Review, also der Befragung von Wissenschaftlern, welche Hochschule sie in ihrem Land für spitze halten. Fast die Hälfte ihrer Punkte, nämlich 40 Prozent, erhielten die Universitäten über die Einschätzung der Fachwelt - doch was, wenn diese "Fachwelt" nur einen sehr kleinen Ausschnitt umfasst?

Als Baty sich die Datenbasis früherer "Times"-Rankings ansah, wurde er wohl blass: 2008 etwa habe das Gesamtergebnis auf der Rückmeldung von 3500 Wissenschaftlern beruht - einem "Bruchteil von Millionen Wissenschaftlern in aller Welt", räumt Baty zerknirscht ein. So waren es selbst aus Großbritannien nur Antworten von 563 Hochschulmitarbeitern.

Aus Deutschland - "ich schäme mich fast, es zuzugeben", so Baty - kamen "lächerliche 182 Antworten als Rücklauf". Deutschland hat immerhin fast 400 Hochschulen mit über 13.000 Studienangeboten. Da sind Einschätzungen von 182 Wissenschaftlern ziemlich mickrig - zumal dann, wenn sie den Ruf anderer Hochschulen beurteilen sollen, die sie häufig nur vom Hörensagen kennen.

Batys Vorwurf: Die geringe Zahl der Befragten habe zu dramatischen Sprüngen geführt, als etwa die FU Berlin im Vergleich zu 2008 binnen Jahresfrist um 43 Plätze nach oben schnellte - oder auch die RWTH Aachen, die sich vom Platz 216 auf Rang 182 verbessern konnte.

Hart ins Gericht geht Baty mit dem Dienstleister, der die Umfragedaten bis 2009 an den Verlag lieferte. Dieser reagierte inzwischen auf Batys Vorwürfe, wies sie zurück - und teilte mit, im Jahr 2009 habe die Untersuchung auf 9386 Antworten von Wissenschaftlern basiert. Auf nähere Fragen von SPIEGEL ONLINE zu den geringen Zahlen in einzelnen Ländern ging das Unternehmen nicht ein.

Wird künftig alles gut?

Künftig solle alles besser werden, gelobt der Herr des "Times"-Rankings. Man werde deutlich mehr Stimmen einholen, von den Befragten werden nur noch Urteile über ihre eigenen Fachbereiche gesammelt. Auch soll ein größeres Augenmerk auf die Geistes- und Sozialwissenschaften gelegt werden. Das Magazin will die Leistungen in Forschung und Lehre präziser erfassen und etwa die "unterschiedlichen Zitiergewohnheiten der Disziplinen berücksichtigen".

Die muntere öffentliche Selbstkritik des britischen Magazins ist ungewöhnlich und bemerkenswert. Sie dürfte aber auch Wasser auf die Mühlen jener Kritiker sein, die Uni-Rankings allenfalls als eine Art Gesellschaftsspiel der akademischen Welt sehen - oder generell für lästig, wissenschaftlich wertlos, für Schmu halten. Die Kriterien der nationalen und der internationalen Ranglisten ähneln sich. Und jedes einzelne ist diskutabel; die Gesamtergebnisse mit den Auf- und Absteigern, die fürs Publikum am interessantesten sind, erst recht. Meist zählen harte und weiche Faktoren wie diese:

  • Eine verbreitete Messgröße sind die Resultate des "Peer Review". Meist sitzen Hochschullehrer über die Reputation ihrer eigenen und anderer Hochschulen zu Gericht. Anders formuliert: In einer Meinungsumfrage vergeben sie Noten - über Universitäten, über die sie mal viel, mal wenig, mal gar nichts wissen.
  • Ähnliche Befragungen gibt es auch unter Arbeitgebern, unter Absolventen oder den aktuellen Studenten von Hochschulen - mit den gleichen Schwächen wie bei den Professoren-Umfragen.
  • Die Forschung lässt sich leichter in Zahlen und Listen erfassen als die Lehre. Mitunter von Bedeutung sind aktive und ehemalige Forscher, die den Nobelpreis und andere wichtige Wissenschaftspreise gewonnen haben. Beim großen Messen und Wiegen punkten Hochschulen vor allem mit einem hohen Ausstoß von wissenschaftlichen Publikationen und von Veröffentlichungen, die in der Fachwelt häufig zitiert werden. Im Output und im Umgang mit Zitaten unterscheiden sich die Fachkulturen allerdings sehr stark. Und gezählt werden vor allem Artikel in renommierten internationalen Zeitschriften - die fast nie auf Deutsch, Ungarisch oder Japanisch erscheinen: Englisch ist die Lingua franca der Wissenschaft.
  • Auf der Suche nach "harten", also mess- und überprüfbaren Faktoren werden oft das Betreuungsverhältnis zwischen Professoren und Studenten sowie der Anteil ausländischer Studenten und Dozenten einbezogen, manchmal auch die Karriere von Absolventen in Unternehmen. Wer aber als Hochschullehrer gilt, ist in den Ländern recht unterschiedlich. Und nicht zwangsläufig sagt eine geringe Studentenzahl pro Dozent oder ein hoher Grad an Internationalisierung etwas über die Qualität der Lehre aus.

Generell ist die Messung der Leistungen von Hochschulen und Fakultäten alles andere als wissenschaftsfremd. Forscher liefern sich ja jeden Tag nationale wie internationale Wettrennen um Publikationen in Fachmedien oder um die Projektförderung durch Institutionen wie die Deutsche Forschungsgemeinschaft. Auch die Exzellenzinitiative soll den Wettbewerbsgedanken unter Hochschulen noch stärker verankern. Alle Ranglisten indes bewegen sich mitten in der akademischen Welt; jedes einzelne Kriterium, erst recht die Mischung ist angreifbar und wird auch vielfach angegriffen.

Aus kontinentaleuropäischer Sicht besonders ärgerlich ist die angelsächsische Dominanz in den großen weltweiten Rankings: Stets, darauf kann man solide wetten, werden sich Harvard und Yale, Oxford und Cambridge in den Top Five finden. Und ebenso sicher schaffen es nur wenige französische, spanische, deutsche oder asiatische Universitäten auf die sonnigen Plätze. Schon seit längerem strickt darum das Centrum für Hochschulentwicklung im Auftrag der EU an einer eigenen weltweiten Rangliste. Geplante Veröffentlichung: Sommer 2011.

Anmerkung der Redaktion: In einer früheren Version dieses Artikels stand, dass die Forscher des Hochschul-Informations-Systems in Hannover ein Ranking im Auftrag der EU entwickeln. Daran arbeitet aber das Centrum für Hochschulentwicklung, wie auch aus dem verlinkten Text hervorgeht. Der Fehler wurde berichtigt, wir bitten um Entschuldigung.

Update: Mehrere Wochen nach Veröffentlichung von Batys Vorwürfen hat der zuständige Dienstleister Batys Vorwürfe zurückgewiesen und Rücklaufzahlen für 2009 genannt. Wir haben den Text aktualisiert.



Forum - Diskussion über diesen Artikel
insgesamt 6 Beiträge
Alle Kommentare öffnen
Seite 1
trolls99 10.06.2010
1. Rankings unmöglich
Die Rankings sind vollkommen unmöglich, weil die Strukturen in einzelnen Ländern zu verschieden sind. Beispiel Forschung: In Amerika findet der Großteil der öffentlich finanzierten Forschung an den Unis oder jedenfalls an assoziierten Instituten statt. In Deutschland habe wir über 500 öffentlich finanzierte Forschungsinstitute so wie die Institute der Max-Plank-Gesellschaft, der Leibniz-Gemeinschaft, der Helmholtz-Gemeinschaft, der Fraunhofer-Gesellschaft oder die Ressortforschungsinstitute der Ministerien (Paul-Ehrlich, Robert Koch). Beispiel Lehre: Es gibt hier zB dieses berühmte Verhältnis Student pro Professor. Nur zählt in Amerika schon jemand als Professor (Assistant, Associate), der hier als PostDoc oder Laborleiter firmiert. Alles nicht vergleichbar.
Gerixxx 10.06.2010
2. That's marketing baby....
Zitat von trolls99Die Rankings sind vollkommen unmöglich, weil die Strukturen in einzelnen Ländern zu verschieden sind. Beispiel Forschung: In Amerika findet der Großteil der öffentlich finanzierten Forschung an den Unis oder jedenfalls an assoziierten Instituten statt. In Deutschland habe wir über 500 öffentlich finanzierte Forschungsinstitute so wie die Institute der Max-Plank-Gesellschaft, der Leibniz-Gemeinschaft, der Helmholtz-Gemeinschaft, der Fraunhofer-Gesellschaft oder die Ressortforschungsinstitute der Ministerien (Paul-Ehrlich, Robert Koch). Beispiel Lehre: Es gibt hier zB dieses berühmte Verhältnis Student pro Professor. Nur zählt in Amerika schon jemand als Professor (Assistant, Associate), der hier als PostDoc oder Laborleiter firmiert. Alles nicht vergleichbar.
Eine internationale Vergleichbarkeit würde einen enormen Aufwand an Personal (inkl. Kenntnis aller Landessprachen und Besonderheiten im Uni-/Hochschulbetrieb), Research und analytischer Expertise erfordern, dass es beinahe unbezahlbar wird. Wie will nan grosse und kleine Unis, Länder und Sprachgemeinschaften vergleichen ? Wie ist das mit den Unterschieden je Fachgebiet ? Und Publikations- und Zitierzahlen ? Wie will man da die Qualität messen ? Jedliche Schlussfolgerung oder Verallgemeinerung ist sehr gewagt und eingeschränkt in ihrer Aussage. Der eigentliche Skandal liegt doch auch woanders: Wie ist es möglich, dass irgendeine dahergelaufene Zeitung (sorry-aber bei dem bisher selbst erhobenen Anspruch ist auch eine Times ein nobody) eine Rennliste aufgrund von kaum hinterfragten Kriterien erstellt diese in den Medienmarkt drückt und - welch grandiose Lobbyarbeit und Marketingleistung der permanenten Gewinnerunis - alle möglichen Interessenten weltweit - vom Studenten über den Professor bis zum Arbeitgeber - dies für das Allerheilgste halten und offenbar auch noch als Entscheidungsgrundlage nutzen ??? Wie ist es möglich, dass es so lange dauert bis bei allen darin verzerrt bewerteten und benachteiligten Unis bzw. ganzen Ländern mal die Idee aufkommt, dass das vor allem enorme ideelle und wirtschaftliche Nachteile bringt (Studenten, Wissenschaftler- und Ressourcenallokation) - ganz zu Schweigen von der offenbar keinesfalls gesicherten wissenschaftlichen und bildungstechnischen Hegemonie der bisherigen Sieger (die Rennliste macht's vielleicht gar erst möglich - self fulfilling prophecy) ? Und wieviel Zeit musste ins Land gehen bis dann überhaupt reagiert und was dagegen unternommen wird - und sei es nur eine eigene Studie. Und last not least - die Frage mus auch erlaubt sein - wie beeinflussbar oder schlichtweg voreingenommen sind massgebliche Teile unserer (Wissenschafts- und Meinungs-)Eliten, dass sie sich - gerade auch von anglosächsischen Entwicklungen und "Vorbildern" so einwickeln lassen -- -- oder sind wir einfach nur zu dämlich - sorry - um unsere eigenen nationalen oder europäischen Interessen mit angemessenem Nachdruck zu vertreten und uns auch zu vermarkten ??
Dumme Fragen 11.06.2010
3. -Re
Zitat von trolls99Die Rankings sind vollkommen unmöglich, weil die Strukturen in einzelnen Ländern zu verschieden sind. Beispiel Forschung: In Amerika findet der Großteil der öffentlich finanzierten Forschung an den Unis oder jedenfalls an assoziierten Instituten statt. In Deutschland habe wir über 500 öffentlich finanzierte Forschungsinstitute so wie die Institute der Max-Plank-Gesellschaft, der Leibniz-Gemeinschaft, der Helmholtz-Gemeinschaft, der Fraunhofer-Gesellschaft oder die Ressortforschungsinstitute der Ministerien (Paul-Ehrlich, Robert Koch). Beispiel Lehre: Es gibt hier zB dieses berühmte Verhältnis Student pro Professor. Nur zählt in Amerika schon jemand als Professor (Assistant, Associate), der hier als PostDoc oder Laborleiter firmiert. Alles nicht vergleichbar.
Das ist der Grund, warum die deutschen Unis so schlecht sind... Die MPIs haben viel Geld, keine/kaum Lehrverpflichtung und einen guten Ruf... Um Spitzenunis in D zu bekommen: einfach die MPIs mit den Unis fusionieren, und ausserdem die Unis an einzelnen Standorten fusionieren: FU, TU und FH unter ein Dach, und schon ist die Gesamtanzahl der Publikationen pro Uni doch relativ hoch... Aber so ein MPI nebenan ist praktisch, in der Bibliothek kann man sich die Paper vom Rechner auf den USB-Stick kopieren... Die haben ja schon ein paar Abos mehr als unsere Staatsuniverstitätsbibliothek... Ne, die PostDocs dort und hier sind meistens ähnlich angestellt. Jedenfalls bei denen, die ich kenne. Auch wenn viele PostDocs jetzt hierzulande die klassischen C1-Stellen ersetzen. Bisher aber waren viele der Rankings (u.a. das chinesische) doch recht zutreffend, bzw. man konnte aus den Daten schon was rauslesen. V.a. wenn man sie mit externen zusätzlichen Daten zusammenführt: wie oft wird z.B. eine bestimmte Universtität bei SPON zitiert? Das ultimative Ranking ist natürlich nur das Ranking, bei dem die 10 besten Journals (höchste IF) einer Disziplin ausgewertet werden... Rankings, bei denen Professoren direkt befragt werden, sind aber in der Tat wertlos.
Dumme Fragen 11.06.2010
4. re
Zitat von GerixxxEine internationale Vergleichbarkeit würde einen enormen Aufwand an Personal (inkl. Kenntnis aller Landessprachen und Besonderheiten im Uni-/Hochschulbetrieb), Research und analytischer Expertise erfordern, dass es beinahe unbezahlbar wird. Wie will nan grosse und kleine Unis, Länder und Sprachgemeinschaften vergleichen ? Wie ist das mit den Unterschieden je Fachgebiet ? Und Publikations- und Zitierzahlen ? Wie will man da die Qualität messen ? Jedliche Schlussfolgerung oder Verallgemeinerung ist sehr gewagt und eingeschränkt in ihrer Aussage. Der eigentliche Skandal liegt doch auch woanders: Wie ist es möglich, dass irgendeine dahergelaufene Zeitung (sorry-aber bei dem bisher selbst erhobenen Anspruch ist auch eine Times ein nobody) eine Rennliste aufgrund von kaum hinterfragten Kriterien erstellt diese in den Medienmarkt drückt und - welch grandiose Lobbyarbeit und Marketingleistung der permanenten Gewinnerunis - alle möglichen Interessenten weltweit - vom Studenten über den Professor bis zum Arbeitgeber - dies für das Allerheilgste halten und offenbar auch noch als Entscheidungsgrundlage nutzen ??? Wie ist es möglich, dass es so lange dauert bis bei allen darin verzerrt bewerteten und benachteiligten Unis bzw. ganzen Ländern mal die Idee aufkommt, dass das vor allem enorme ideelle und wirtschaftliche Nachteile bringt (Studenten, Wissenschaftler- und Ressourcenallokation) - ganz zu Schweigen von der offenbar keinesfalls gesicherten wissenschaftlichen und bildungstechnischen Hegemonie der bisherigen Sieger (die Rennliste macht's vielleicht gar erst möglich - self fulfilling prophecy) ? Und wieviel Zeit musste ins Land gehen bis dann überhaupt reagiert und was dagegen unternommen wird - und sei es nur eine eigene Studie. Und last not least - die Frage mus auch erlaubt sein - wie beeinflussbar oder schlichtweg voreingenommen sind massgebliche Teile unserer (Wissenschafts- und Meinungs-)Eliten, dass sie sich - gerade auch von anglosächsischen Entwicklungen und "Vorbildern" so einwickeln lassen -- -- oder sind wir einfach nur zu dämlich - sorry - um unsere eigenen nationalen oder europäischen Interessen mit angemessenem Nachdruck zu vertreten und uns auch zu vermarkten ??
In den naturwissenschaftlichen Fachgebieten und der Medizin ist es relativ "einfach": Rankings bei "DummeFragen"-Dienstleistungs gGmbH: Beispielrechnung: FB Uni 1: 10 Profs mit 27 Publikationen pro Jahr mit einem IF von durchschnittlich 8,7 FB Uni 2: 83 Profs mit 283 Publikationen pro Jahr mit einem IF von durchschnittlich 2,8 Ranking 1: ExzellenzRankingPunkte= Summe(Publikationen)*(Impactfactor der einzelnen Publikation)/Summe(Professoren) Uni 1: 234,9 Punkte Uni 2: 9,55 Punkte Ranking 2: Gesamtanzahl Publikationen: Uni 2: 283 Uni 1: 27 Ranking 3: GlobalImpact-Ranking: Summe(Publikationen)*(durchschnittlicher IF) Uni 2: 792,4 Uni 1: 234,9 Wie man sieht, kann man im Prinzip die Rankingberechnung so betreiben, dass man die Uni, die oben sein soll, auch nach oben bekommt. Und das waren jetzt nur einige wenige Parameter, und ich hab noch nicht mal die Standardabweichung bzw. den Standardfehler (der ist ja kleiner und macht sich bei Publikationsabbildungen besser...:-) mit einbezogen... *grins*
Dumme Fragen 11.06.2010
5. Rettet die Uni Lübeck!
Leicht OT, aber passt schon: die Uni Lübeck ist sehr gut, die Mediziner sind spitze, und jetzt werden sie platt gemacht! http://www.luebeck-kaempft.de/
Alle Kommentare öffnen
Seite 1
Diskussion geschlossen - lesen Sie die Beiträge! zum Forum...

© SPIEGEL ONLINE 2010
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.