Sozio-ökonomisches Panel: Wie eine Interviewerin Befragungen von Flüchtlingen fälschte

Das sozio-ökonomische Panel gilt als eine der renommiertesten Umfragen Deutschlands. Doch eine Interviewerin manipulierte reihenweise Antworten von Flüchtlingen. Wie kam es dazu - und was hatte es für Folgen?

Flüchtlinge beim Deutschunterricht

Foto: Frank Rumpenhorst/ dpa

Die interne Warnung kommt per E-Mail. Am 19. Dezember 2017 um 14.21 Uhr informiert das sozio-ökonomische Panel (SOEP) Forscher in ganz Deutschland über den größten Betrugsfall seiner Geschichte. Man habe in einem Datensatz zu Flüchtlingen leider "betrügerische Interviews" entdeckt. Von finalen Analysen solle man absehen, bis ein korrigierter Datensatz zur Verfügung stehe.

Die Datensätze M3 und M4, so werden sie SOEP-intern genannt, enthalten politisch wichtige Zahlen. Es geht um die Bildung von Flüchtlingen, darum, wie gut sie lesen und schreiben können, um den Familiennachzug und die Einstellung gegenüber Frauen. Das SOEP ist eine der größten, wichtigsten und renommiertesten Befragungen Deutschlands. Und ausgerechnet da wurde nicht sauber gearbeitet?

Eine SPIEGEL-Recherche hat in dieser Woche Betrug in der Marktforschung aufgedeckt. Umfragen wurden demnach nicht so durchgeführt, wie sie Unternehmen in Auftrag gegeben hatten. Statt Hunderte oder Tausende Personen anzurufen, wurden teilweise nur kleine Stichproben ermittelt und dann vervielfältigt. Zu testende Produkte wurden entsorgt, die Bewertungen erfunden.

Die Berichte rücken die Qualität von Umfragen allgemein in den Fokus. Wenn an der einen Stelle gefälscht wird, welcher Studie kann man dann noch trauen?

Genau deshalb ist es so wichtig, sich den SOEP-Fall genau anzuschauen - denn er zeigt, dass man unterscheiden muss: zwischen planmäßigem Betrug auf der Ebene von Entscheidern und dem Fehlverhalten einzelner Mitarbeiter.

Worum ging es bei der SOEP-Befragung?

Es handelte sich nicht um die normale SOEP-Befragung, die seit rund 30 Jahren in Deutschland durchgeführt wird. Stattdessen wollte das SOEP in einer gesonderten Erhebung repräsentative Zahlen über Flüchtlinge in Deutschland bekommen. Zusammen mit dem Institut für Arbeitsmarkt- und Berufsforschung und dem Bundesamt für Migration und Flüchtlinge. Dafür wurde im Jahr 2016 das Institut Kantar Public beauftragt, mehrere Tausend zufällig ausgewählte Flüchtlinge zu befragen.

Wie wurde betrogen?

Eigentlich sollten die Interviewer die Flüchtlinge in ihren Wohnungen befragen und die Antworten am Laptop protokollieren. Doch eine Interviewerin hat die Flüchtlinge offenbar entweder gar nicht befragt - oder die Antworten zunächst handschriftlich notiert und erst später am Laptop eingegeben, wie Kantar Public dem SPIEGEL auf Anfrage mitteilte. Sechs Prozent der Interviews wurden manipuliert. Bei rund 4400 Befragungen sind das mehr als 200.

Wie flog der Pfusch auf?

Zunächst gar nicht. Die Daten der Interviewerin flossen 2016 und Anfang 2017 in alle Auswertungen mit ein. Wissenschaftler veröffentlichten Analysen auf dieser Basis. Erst ein Jahr später, im Herbst 2017, entdeckte Kantar Public Ungereimtheiten.

Zu diesem Zeitpunkt sollten die Flüchtlinge ein zweites Mal interviewt werden - um Veränderungen über die Zeit zu messen. Dabei erzählten einige, sie seien im Vorjahr gar nicht interviewt worden. Andere konnten sich zwar an ein Interview erinnern, nicht aber an einen Laptop.

Kantar Public informierte daraufhin von sich aus das SOEP, das wiederum unter anderem einen Wissenschaftler der Ruhr-Universität Bochum damit beauftragte, den kompletten Datensatz auf statistische Auffälligkeiten hin zu untersuchen. Sämtliche Nachforschungen ergaben jedoch keine Hinweise auf weitere Fälschungen, wie das SOEP erklärte.

Welche Auswirkungen haben die Fälschungen?

Das SOEP hat nach dem Bekanntwerden alle Datenpunkte der Interviewerin aus dem Datensatz entfernt. In einer 14-seitigen, öffentlich einsehbaren Analyse  vergleichen die Forscher ihre Ergebnisse - einmal inklusive gefälschter Daten und einmal ohne.

Demnach liegen die Abweichungen im Bereich von einigen Prozentpunkten. Ein Beispiel: Mit den ursprünglichen Daten inklusive gefälschter Interviews haben 72 Prozent der Geflüchteten keine berufliche oder höhere Ausbildung - ohne die Fälschungen sind es 74 Prozent. Alle Umfragen sind aber sowieso immer mit einer Unsicherheit behaftet, die ebenfalls im Bereich mehrerer Prozentpunkte liegt. "Die grundlegenden Aussagen der bisher veröffentlichten Studien bleiben somit auch nach der Revision der Daten bestehen", heißt es in dem Papier.

Ist der Fall ähnlich gelagert wie die vom SPIEGEL aufgedeckten Manipulationen?

Nein. Die SPIEGEL-Recherche machte öffentlich, dass ganze Unternehmen in der Branche zumindest teilweise unsauber arbeiten. Anweisungen für Manipulationen kommen per Mail, Geschäftsführer sind eingeweiht. Größere Institute sind indirekt betroffen, weil sie Aufträge an solche Unternehmen weitergegeben haben und dadurch manipulierte Datensätze erhielten.

Im Fall des SOEP geht es - nach bisherigem Stand - um eine einzelne Interviewerin. Kantar Public hat die Befragungen komplett mit eigenen Interviewern durchgeführt und nicht an Subunternehmer ausgelagert, wie das Unternehmen mitteilte.

Gleichzeitig belegen die Fälschungen, dass Kantar Public allen Kontrollen zum Trotz den Betrug nicht entdeckt hatte. "Eine hundertprozentige Sicherheit kann es leider nie geben", so das Unternehmen. Ein Jahr lang kam die Interviewerin damit durch. Hätte es keine zweite Befragungswelle gegeben, wäre das wohl so geblieben.

Sozialwissenschaftler beschäftigen sich schon seit Jahrzehnten mit Fälschungen - und versuchen, ihre Befragung so zu konzipieren, dass Manipulationen einen möglichst kleinen Einfluss haben, selbst wenn sie unentdeckt bleiben. Letztlich ist aber auch die Interpretation der Daten entscheidend, meint der Vizedirektor des SOEP, Jürgen Schupp. "Eine Analyse bis auf die Nachkommastelle geht in der Regel schlicht nicht", sagt Schupp. "Ein Puffer von plus und minus fünf Prozentpunkten ist angebracht."