Fragwürdige Umfragen Von wegen repräsentativ
Dummys im Callcenter (Archivbild): Ist der Kreis der Befragten zu speziell?
Foto: CorbisEin Text über repräsentative Befragungen? Den beginnen wir am besten mit einer kleinen Umfrage:
Haben Sie in dieser Woche ein Online-Nachrichtenportal besucht?
[ ] Ja
[ ] Nein
Sie werden sicher selbst bemerken, dass das Ergebnis dieser Umfrage vermutlich nur wenig Erkenntnis bringen kann. Schließlich richten wir diese Frage ja hier an Besucher eines Online-Nachrichtenportals.
Von kleineren Spitzfindigkeiten einmal abgesehen, kann die einzig wahrheitsgemäße Antwort also nur "Ja" lauten. Die Aussage "100 Prozent der Deutschen besuchten diese Woche ein Online-Nachrichtenportal" auf Basis unserer Umfrage wäre also offensichtlich Blödsinn.
Anders als beim Problem regionaler Auswertungen - siehe unsere letzte Kolumne - liegt die Schwierigkeit im vorliegenden Fall also nicht in einer zu kleinen Anzahl an Befragten. Auch wenn Tausende Besucher tatsächlich an der Umfrage teilnähmen, würde sich das Ergebnis nicht ändern. Vielmehr ist hier die zu spezielle Zusammensetzung der Umfrageteilnehmer das Problem.
Fehlende Repräsentativität
Die Umfrage oben ermittelt die Antworten derjenigen, die diese Webseite besuchen und an der Umfrage teilnehmen - nicht mehr und nicht weniger. Eine Verallgemeinerung zum Beispiel auf alle Deutschen ist also nicht legitim, da die gewonnenen Ergebnisse keine Aussagen über die Gesamtheit zulassen. Man nennt dies fehlende Repräsentativität.
Es ist aber auffällig, wie häufig die Ergebnisse von Umfragen, die in ganz speziellen Gruppen durchgeführt wurden, als allgemeingültig dargestellt werden. So konnte man im März dieses Jahres auch auf SPIEGEL ONLINE lesen: "Botnetze: 40 Prozent der PC in Deutschland infiziert". Die Meldung beruhte dabei auf einer Meldung des Anti-Botnet-Beratungszentrums des Verbands der deutschen Internetwirtschaft. Das Zentrum hatte im Jahr 2014 mehr als 220.000 Rechner auf Botnetze gescannnt und bei rund 40 Prozent Trojaner-Software entdeckt.
Trau keiner Statistik, die du nicht verstanden hast: Die Brüder Björn und Sören Christensen hinterfragen Umfragen und Studien, denen wir täglich begegnen.
Björn Christensen lehrt als Professor für Statistik und Mathematik am Fachbereich Wirtschaft der Fachhochschule Kiel.
Sören Christensen ist Professor für Stochastische Prozesse an der Universität Hamburg.Achtung! Statistik - Kolumnen von Björn und Sören Christensen
Dabei muss man wissen, dass der Scan nicht etwa bei zufällig ausgewählten Rechnern durchgeführt wurde, sondern die Nutzer ihre Rechner einem freiwilligen Test unterzogen. Es ist durchaus plausibel oder zumindest nicht ausgeschlossen, dass vermehrt solche Nutzer diesen Scan durchführen lassen, die den Verdacht hegen, dass ihre Rechner eventuell infiziert sind. Das Ergebnis ist erschreckend genug, aber mit Sicherheit darf daraus nicht der Schluss gezogen worden, dass 40 Prozent aller Rechner in Deutschland infiziert sind. Die untersuchte Gruppe stellt vermutlich eine ganz spezielle Auswahl dar.
Gar noch mehr Antibiotika?
Auch in der Wissenschaft ist die Repräsentativität von Befragungen oft nicht vollständig sichergestellt. Hier kann die - meistens auch gesetzlich vorgeschriebene - Freiwilligkeit der Studienteilnahme ein Problem darstellen. So wurde im Juli 2013 eine gemeinsame Studie der Tierärztlichen Hochschule Hannover, der Universität Leipzig und des Bundesinstituts für Risikobewertung vorgestellt, in der die Verbrauchsmengen des Einsatzes von Antibiotika in der Nutztierhaltung erstmals vermeintlich repräsentativ erfasst wurden. Die darin ausgewiesenen Antibiotikamengen waren erschreckend hoch.
Allerdings war die Teilnahme an der Studie freiwillig. Es steht dabei zu befürchten, dass gerade Landwirte mit einem wenig verantwortungsvollen Antibiotikaeinsatz die Teilnahme an der Studie verweigerten. Die in der Studie ausgewiesenen Einsatzmengen dürften in Wirklichkeit also Untergrenzen darstellen.
Umfragen: Unvermeidlich verzerrt
Das Problem der Freiwilligkeit der Teilnahme an Befragungen stellt sich in vielen Fällen. Niemand würde auf die Idee kommen, eine Studie zur Gewalt gegen Kinder rein auf Basis von Auskünften freiwillig teilnehmender Eltern durchzuführen. Aber häufig ist das Problem der freiwilligen Auskunft viel diffiziler. So gibt es oft Befragte, bei denen nicht klar ist, wieso die Auskunft verweigert wird. Was kann man in solchen Fällen also machen, um trotzdem solide Ergebnisse zu erhalten?
In der Umfrageforschung wird zumeist versucht, Personen, die nicht erreicht werden können oder die Auskunft verweigern, durch entsprechende Gewichtungen zu berücksichtigen. Stellen wir uns einmal vor, in einer bestimmten Region haben besonders viele Befragte die Auskunft verweigert. Dann könnten die erfolgreichen Antworten der Befragten der Region hochgewichtet werden, in der Hoffnung, dass die antwortgebenden Befragten stellvertretend für alle Personen in dieser Region stehen. So wurde in der oben genannten Studie zur Tiermast zum Beispiel darauf geachtet, dass die vier Agrarregionen Deutschlands gleichmäßig berücksichtigt wurden.
Stellvertretend für Grundgesamtheit?
Tatsächlich wird solche Nachgewichtung oft anhand von deutlich mehr Merkmalen (Alter, Beruf, Bildungsstand etc.) vorgenommen. Allerdings bleibt unsicher, ob die Auskunft gebenden Personen tatsächlich die gleiche Meinung vertreten wie die eine Antwort verweigernden Personen.
Sie merken: Repräsentativität ist nur sehr schwer zu erreichen. Auch mit den besten statistischen Methoden gelingt es nicht zwingend, die Mängel einer Befragung auszugleichen, damit die Ergebnisse tatsächlich stellvertretend für die Grundgesamtheit stehen.
Gerade bei der Vielzahl der heutigen Online-Umfragen ist immer eine gewisse Skepsis geboten, denn dort ist die Teilnahme typischerweise auf freiwilliger Basis und - je nach Fragestellung - die notwendige Onlineaffinität ein potenzieller Grund für verzerrte Antworten.
Selbst Telefonumfragen können verzerrt sein, wenn ein Teil der Angerufenen die Teilnahme verweigert und einfach auflegt. Ob sich die Ergebnisse sinnvoll auf alle Deutschen übertragen lassen, hängt sehr von der Fragestellung ab. Häufig hilft nur der gesunde Menschenverstand, um die Ergebnisse einer Umfrage richtig bewerten zu können.
