Was Umfragen wert sind Wir würfeln uns eine "Studie"

Wo wohnen die ängstlichsten Deutschen? Und gehen Thüringer besonders häufig fremd? All das sollen Umfragen verraten. Was solche Statistiken wert sind, erklärt unsere neue Kolumne "Angezählt".

Von Björn Christensen und Sören Christensen

Würfel: Fast überall hat der Zufall seine Hände im Spiel - auch bei Umfragen
Corbis

Würfel: Fast überall hat der Zufall seine Hände im Spiel - auch bei Umfragen


Angezählt - die Statistikkolumne

Trau keiner Statistik, die du nicht verstanden hast: Die Brüder Björn und Sören Christensen hinterfragen Umfragen und Studien, denen wir täglich begegnen.

  • Björn Christensen lehrt als Professor für Statistik und Mathematik am Fachbereich Wirtschaft der Fachhochschule Kiel.
  • Sören Christensen ist Associate Professor für Mathematische Statistik an den Universitäten Göteborg und Chalmers (Schweden).
  • Zur Website der beiden Zahlenprofis
Nach Bundesländern aufgeschlüsselte Umfrageergebnisse werden gern zitiert. Wer will nicht wissen, ob der Berliner wirklich unfreundlicher als der Hamburger ist! Solche Statistiken sind eine Steilvorlage für jede Lokalzeitung. Unternehmen nutzen das für PR-Zwecke aus, indem sie eine wahre Flut an Befragungen durchführen lassen, für die auch regionale Ergebnisse ausgewiesen werden.

Nun mögen die regionalen Ergebnisse durchaus interessant sein. Es stellt sich aber die Frage, welchen Wert sie haben. Liegen nämlich nur geringe Fallzahlen je Region zugrunde, führt dies zu erheblicher statistischer Unsicherheit.

Nachvollziehen lässt sich das Problem leicht, wenn man zum Beispiel eine Münze wirft. Bei 100 Würfen liegen nur in etwa 8 Prozent der Fälle genau 50-mal Wappen und 50-mal Zahl oben. Meist tritt durch Zufall eine der beiden Seiten häufiger auf. Man kann sogar in mehr als jeder vierten Wurfserie erwarten, dass die beiden Anzahlen um mehr als 10 auseinanderliegen - und das rein durch Zufall. Würde man die Münze hingegen deutlich häufiger werfen, sollte sich das Verhältnis von Zahl und Wappen tendenziell ausgleichen.

Ist das signifikant?

Nun werden bei Umfragen keine Münzen geworfen. Trotzdem passiert dabei ganz Ähnliches. Denn bei der Auswahl der Befragten ist zwangsläufig Zufall im Spiel. Wie bei 100 Münzwürfen eine Seite deutlich dominieren kann, können auch unter 100 Befragten Vertreter einer bestimmten Meinung zufällig überrepräsentiert sein.

Wie sehr man den Daten trauen darf, verrät eigentlich die sogenannte statistische Signifikanz. Signifikanz bedeutet dabei vereinfacht ausgedrückt, dass die beobachteten Ergebnisse nicht rein durch Zufall zu erklären sind. Grundsätzlich gilt: Befragungen sind umso vertrauenswürdiger, je mehr Teilnehmer sie haben.

Wie stark der Zufall die Ergebnisse bei geringen Fallzahlen beeinflusst, zeigt unsere folgende kleine Zahlenspielerei zu Seitensprüngen der Deutschen. Meinungsforscher hatten 1600 Bundesbürgern, je Bundesland 100, folgende Frage gestellt: "Hatten Sie schon einmal eine Affäre während einer festen Partnerschaft?"

Ein Fünftel der Deutschen ist untreu

21 Prozent der Befragten antworteten mit "ja", sodass man die meisten Deutschen wohl als eher treu bezeichnen kann. Aber die Umfrage ergab auch regionale Unterschiede. Die Berliner sind mit 32 Prozent angeblich am wenigsten treu - darüber und auch über die Unterschiede zwischen den anderen Bundesländern wurde viel diskutiert. Aber sind diese real oder allein mit dem Zufall zu erklären?

Sie können sich davon selbst ein Bild machen. Wir haben eine Karte mit den wahren Umfrageergebnissen erstellt und vier weitere hinzugefügt. Letztere zeigen rein fiktive Umfrageergebnisse, die wir quasi am Computer gewürfelt haben.

Stellen Sie sich eine gezinkte Münze vor, die in 21 Prozent aller Würfe Zahl zeigt (= Ich bin schon fremdgegangen) und in 79 Prozent der Würfe das Wappen (= Ich war immer treu). Das Werfen dieser gezinkten Münze kann der Zufallsgenerator in einem Computer übernehmen.

Für jedes Bundesland hat der Computer hundertmal die Münze geworfen, was genau hundert befragten Personen entspricht. Die Ergebnisse der vier simulierten und der realen Umfrage finden Sie in den folgenden Karten und Tabellen. Karte Nummer 2 zeigt übrigens die richtigen Ergebnisse. Hätten Sie's erkannt?



Es fällt auf, dass sich die fünf Datensätze strukturell stark ähneln. Die niedrigste Fremdgehquote liegt bei 13 bis 14 Prozent, die höchste zwischen 27 und 32 Prozent. Nur wo ein Bundesland in der Tabelle steht, das ändert sich von Datensatz zu Datensatz - dahinter steckt letztlich der Zufall.

Versuchen Sie es gerne noch mit einem zweiten Beispiel. Es basiert auf der kürzlich publizierten Studie "Die Ängste der Deutschen 2015" - durchgeführt im Auftrag einer namhaften Versicherung. Der Befragung lag eine Stichprobe von knapp 2400 Personen zugrunde, was für solche Umfragen schon eine eher große Zahl ist.

Auch hier wurden die zugrunde liegenden Ergebnisse nach Bundesländern getrennt ausgewertet. Dabei fassten die Autoren Bremen, das Saarland und Schleswig-Holstein jeweils mit Nachbarbundesländern zusammen, sodass sich 13 Regionen ergaben. Auch wenn die Gesamtzahl der Teilnehmer also groß war, ist die Zahl der Befragten in den einzelnen Regionen schon deutlich niedriger.

Fürchten Sie sich mehr?

Die Karten zeigen die Veränderung der Anteile an sorgenvollen Menschen zwischen den Jahren 2014 und 2015. Wie viel Prozent der Befragten sind ängstlicher geworden? Oder ist der Anteil ängstlicher Menschen im Vergleich zum Vorjahr gesunken - erkennbar an einer negativen Prozentzahl?

Wiederum haben wir den Computer durch zufällige Auswahl der Befragten vier weitere Deutschlandkarten berechnen lassen. Diesen liegt die Annahme zugrunde, dass sich an den Ängsten der Menschen in den Regionen in Wirklichkeit nichts geändert hat. Finden Sie jetzt die wahren Ergebnisse?



Die Umfrageergebnisse stecken in Datensatz 3! Und auch dieses Beispiel zeigt, dass die vom Computer gewürfelten Daten ganz ähnlich strukturiert sind wie die Umfragedaten.

Sie sehen: Manchmal ist es gar nicht so einfach zu entscheiden, ob regionale Ergebnisse von Befragungen aufgrund geringer Fallzahlen nur dem Zufall geschuldet sind oder ob sie einen inhaltlichen Hintergrund haben. Vielleicht sollte man solchen regionalen Vergleichen in Zukunft eher unterhaltsamen als ernst zu nehmenden Wert beimessen.

Mehr zum Thema


© SPIEGEL ONLINE 2015
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.