Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.

Fragwürdige Umfragen: Von wegen repräsentativ

Von Björn Christensen und Sören Christensen

Dummys im Callcenter (Archivbild): Ist der Kreis der Befragten zu speziell? Zur Großansicht
Corbis

Dummys im Callcenter (Archivbild): Ist der Kreis der Befragten zu speziell?

Was halten Sie von Merkel? Shoppen Sie online? Umfragen sollen enthüllen, was die Deutschen denken. Doch anders als die Befrager behaupten, sind die Ergebnisse nicht immer repräsentativ.

Ein Text über repräsentative Befragungen? Den beginnen wir am besten mit einer kleinen Umfrage:

Haben Sie in dieser Woche ein Online-Nachrichtenportal besucht?

[ ] Ja

[ ] Nein

Sie werden sicher selbst bemerken, dass das Ergebnis dieser Umfrage vermutlich nur wenig Erkenntnis bringen kann. Schließlich richten wir diese Frage ja hier an Besucher eines Online-Nachrichtenportals.

Von kleineren Spitzfindigkeiten einmal abgesehen, kann die einzig wahrheitsgemäße Antwort also nur "Ja" lauten. Die Aussage "100 Prozent der Deutschen besuchten diese Woche ein Online-Nachrichtenportal" auf Basis unserer Umfrage wäre also offensichtlich Blödsinn.

Anders als beim Problem regionaler Auswertungen - siehe unsere letzte Kolumne - liegt die Schwierigkeit im vorliegenden Fall also nicht in einer zu kleinen Anzahl an Befragten. Auch wenn Tausende Besucher tatsächlich an der Umfrage teilnähmen, würde sich das Ergebnis nicht ändern. Vielmehr ist hier die zu spezielle Zusammensetzung der Umfrageteilnehmer das Problem.

Fehlende Repräsentativität

Die Umfrage oben ermittelt die Antworten derjenigen, die diese Webseite besuchen und an der Umfrage teilnehmen - nicht mehr und nicht weniger. Eine Verallgemeinerung zum Beispiel auf alle Deutschen ist also nicht legitim, da die gewonnenen Ergebnisse keine Aussagen über die Gesamtheit zulassen. Man nennt dies fehlende Repräsentativität.

Es ist aber auffällig, wie häufig die Ergebnisse von Umfragen, die in ganz speziellen Gruppen durchgeführt wurden, als allgemeingültig dargestellt werden. So konnte man im März dieses Jahres auch auf SPIEGEL ONLINE lesen: "Botnetze: 40 Prozent der PC in Deutschland infiziert". Die Meldung beruhte dabei auf einer Meldung des Anti-Botnet-Beratungszentrums des Verbands der deutschen Internetwirtschaft. Das Zentrum hatte im Jahr 2014 mehr als 220.000 Rechner auf Botnetze gescannnt und bei rund 40 Prozent Trojaner-Software entdeckt.

Angezählt - die Statistikkolumne

Trau keiner Statistik, die du nicht verstanden hast: Die Brüder Björn und Sören Christensen hinterfragen Umfragen und Studien, denen wir täglich begegnen.

  • Björn Christensen lehrt als Professor für Statistik und Mathematik am Fachbereich Wirtschaft der Fachhochschule Kiel.
  • Sören Christensen ist Associate Professor für Mathematische Statistik an den Universitäten Göteborg und Chalmers (Schweden).
  • Zur Website der beiden Zahlenprofis
Dabei muss man wissen, dass der Scan nicht etwa bei zufällig ausgewählten Rechnern durchgeführt wurde, sondern die Nutzer ihre Rechner einem freiwilligen Test unterzogen. Es ist durchaus plausibel oder zumindest nicht ausgeschlossen, dass vermehrt solche Nutzer diesen Scan durchführen lassen, die den Verdacht hegen, dass ihre Rechner eventuell infiziert sind. Das Ergebnis ist erschreckend genug, aber mit Sicherheit darf daraus nicht der Schluss gezogen worden, dass 40 Prozent aller Rechner in Deutschland infiziert sind. Die untersuchte Gruppe stellt vermutlich eine ganz spezielle Auswahl dar.

Gar noch mehr Antibiotika?

Auch in der Wissenschaft ist die Repräsentativität von Befragungen oft nicht vollständig sichergestellt. Hier kann die - meistens auch gesetzlich vorgeschriebene - Freiwilligkeit der Studienteilnahme ein Problem darstellen. So wurde im Juli 2013 eine gemeinsame Studie der Tierärztlichen Hochschule Hannover, der Universität Leipzig und des Bundesinstituts für Risikobewertung vorgestellt, in der die Verbrauchsmengen des Einsatzes von Antibiotika in der Nutztierhaltung erstmals vermeintlich repräsentativ erfasst wurden. Die darin ausgewiesenen Antibiotikamengen waren erschreckend hoch.

Allerdings war die Teilnahme an der Studie freiwillig. Es steht dabei zu befürchten, dass gerade Landwirte mit einem wenig verantwortungsvollen Antibiotikaeinsatz die Teilnahme an der Studie verweigerten. Die in der Studie ausgewiesenen Einsatzmengen dürften in Wirklichkeit also Untergrenzen darstellen.

Fotostrecke

4  Bilder
Umfragen: Unvermeidlich verzerrt
Das Problem der Freiwilligkeit der Teilnahme an Befragungen stellt sich in vielen Fällen. Niemand würde auf die Idee kommen, eine Studie zur Gewalt gegen Kinder rein auf Basis von Auskünften freiwillig teilnehmender Eltern durchzuführen. Aber häufig ist das Problem der freiwilligen Auskunft viel diffiziler. So gibt es oft Befragte, bei denen nicht klar ist, wieso die Auskunft verweigert wird. Was kann man in solchen Fällen also machen, um trotzdem solide Ergebnisse zu erhalten?

In der Umfrageforschung wird zumeist versucht, Personen, die nicht erreicht werden können oder die Auskunft verweigern, durch entsprechende Gewichtungen zu berücksichtigen. Stellen wir uns einmal vor, in einer bestimmten Region haben besonders viele Befragte die Auskunft verweigert. Dann könnten die erfolgreichen Antworten der Befragten der Region hochgewichtet werden, in der Hoffnung, dass die antwortgebenden Befragten stellvertretend für alle Personen in dieser Region stehen. So wurde in der oben genannten Studie zur Tiermast zum Beispiel darauf geachtet, dass die vier Agrarregionen Deutschlands gleichmäßig berücksichtigt wurden.

Stellvertretend für Grundgesamtheit?

Tatsächlich wird solche Nachgewichtung oft anhand von deutlich mehr Merkmalen (Alter, Beruf, Bildungsstand etc.) vorgenommen. Allerdings bleibt unsicher, ob die Auskunft gebenden Personen tatsächlich die gleiche Meinung vertreten wie die eine Antwort verweigernden Personen.

Sie merken: Repräsentativität ist nur sehr schwer zu erreichen. Auch mit den besten statistischen Methoden gelingt es nicht zwingend, die Mängel einer Befragung auszugleichen, damit die Ergebnisse tatsächlich stellvertretend für die Grundgesamtheit stehen.

Gerade bei der Vielzahl der heutigen Online-Umfragen ist immer eine gewisse Skepsis geboten, denn dort ist die Teilnahme typischerweise auf freiwilliger Basis und - je nach Fragestellung - die notwendige Onlineaffinität ein potenzieller Grund für verzerrte Antworten.

Selbst Telefonumfragen können verzerrt sein, wenn ein Teil der Angerufenen die Teilnahme verweigert und einfach auflegt. Ob sich die Ergebnisse sinnvoll auf alle Deutschen übertragen lassen, hängt sehr von der Fragestellung ab. Häufig hilft nur der gesunde Menschenverstand, um die Ergebnisse einer Umfrage richtig bewerten zu können.

Angezählt: Das Problem regionaler Studien

Diesen Artikel...
Forum - Diskutieren Sie über diesen Artikel
insgesamt 92 Beiträge
Alle Kommentare öffnen
    Seite 1    
1. nicht zwingend
babylon2209 16.10.2015
Ich glaube, da fehlt ein "nicht": Auch mit den besten statistischen Methoden gelingt es zwingend, die Mängel einer Befragung auszugleichen, damit die Ergebnisse tatsächlich stellvertretend für die Grundgesamtheit stehen.
2. Es kann gar nicht genug auf Verzerrungen hingewiesen werden
pandur1234567@yahoo.com 16.10.2015
Bei peinlichen oder politisch unkorrekten Fragen ist zu bedenken das selbst bei Annonymität der Befragte seine ehrliche Meinung sagt. Viele möchten moralisch positiv gesehen werden. Auch interressant ob der Befragte anhand der Fragestellung in eine bestimmte Richtung gedrängt wird. Dieselbe Frage zur Arbeitszeit könnte lauten: Sind sie bereit länger zu arbeiten wenn das überleben der Firma davon abhängt? oder Wären sie froh darüber mehr Freizeit zu haben? Mit Sicherheit kommen total unterschiedliche Ergebnisse heraus zur gleichen Frage.
3. seine Meinung auf Andere anzupassen ist eine schlechte Einstellung
GoaSkin 16.10.2015
Umfragen erzählen nicht nur viel Mist, sondern verraten zum Teil offensichtlich, dass es nicht wirklich eine Umfrage ist. Wie oft wird z.B. ein Produkt, was noch nicht einmal lieferbar ist, vom Händler schon als Bestseller oder Klassiker bezeichnet? Oder angeblich öfters mit etwas Anderem zusammen verkauft? Und wenn im Fernsehen zwei Leute auf der Straße nach ihrer Meinung gefragt werden - warum sollte das repräsentieren, was Deutschland denkt? Und überall wird viel herein interpretiert, welche Partei den vielen Nichtwählern fehlt, damit sie zur Wahl gehen. Viele Umfragen zeigen, dass die Nichtwähler fast alle der selben politischen Richtung angehören, für die es keine Partei gibt. Diese Richtung ist aber abhängig von der Umfrage oftmals eine ganz Andere. Am besten einfach nicht beachten. Was andere denken, ist kein Anlass, seine eigene Meinung darauf auszurichten.
4. Feststellung
kurzschlussingenieur 16.10.2015
Der Spiegel hat also nach unzähligen "Nachrichten" über Studien basierend auf Umfragen festgestellt das diese kaum aussagekräftig sind. Das ist morgen zwar wieder vergessen, aber gut. Ich möchte eine kleine Anekdote einwerfen die sich in meinem Heimatort abspielte: Wir haben dort DDR-Restbestandsplattenbauten. Aus der ehemals großen Siedlung wurde ein kleiner Rest mit wenigen Gebäuden. Nun "stritt" der Ort (~20k EW) geraume Zeit darüber wie man mit denen verfahren soll, abreißen? Sanieren? Auffälig war das im Rathaus eine exakt andere Meinung als unter den Bürgern herschte. Bei einer "repräsentativen" Telefonumfrage durch die Lokalzeitung waren erstaunlicherweise der überwältigende Großteil der Bürger auf der Seite des Rathauses. Aber nur kurz. Es stellte sich heraus, das mehrere hundert Anrufe aus dem Büro des Bürgermeisters kamen. Nun, der gute Herr wurde zeitnah, "aus anderen Gründen" aus seiner Partei (die wo der Daumen rechts ist) ausgeschlossen und durch den Wähler abgestraft.
5. Was nicht passt, wird passend gemacht
lemmy 16.10.2015
Man braucht sich nur die jeweiligen Auftraggeber von Umfragen anzusehen. Da ist dann das Ergebnis schon quasi vorprogrammiert. Der alte Spruch: Glaube keiner Statistik, die du nicht selbst gefälscht hast, trifft auch auf Umfragen zu. Alleine was in den letzten Wochen für widersprüchliche Umfragewerte zur Flüchtlingsfrage publiziert wurden, sagt schon alles.
Alle Kommentare öffnen
    Seite 1    

© SPIEGEL ONLINE 2015
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH



Anzeige
  • Björn und Sören Christensen:
    Achtung! Statistik

    150 Kolumnen zum Nachdenken und Schmunzeln

    Springer Spektrum; 319 Seiten; 14,99 Euro.

  • Bei Amazon bestellen.


Der kompakte Nachrichtenüberblick am Morgen: aktuell und meinungsstark. Jeden Morgen (werktags) um 6 Uhr. Bestellen Sie direkt hier: