Cloud-Speicher von Google Wie ein Vater durch Handyfotos unter Kindesmissbrauch-Verdacht geriet

Mit automatisierten Scans versuchen Digitalfirmen, Fälle von Kindesmissbrauch aufzuspüren. In einem aktuellen Fall wurde ein Verdächtiger von der Polizei entlastet, in sein Google-Konto aber kam er nicht wieder hinein.
Google-Büro in New York City: Das Unternehmen arbeitet mit dem National Center for Missing and Exploited Children (NCMEC) zusammen

Google-Büro in New York City: Das Unternehmen arbeitet mit dem National Center for Missing and Exploited Children (NCMEC) zusammen

Foto: ANDREW KELLY / Reuters

Private Handyfotos, die den Genitalbereich seines kleinen Sohns zeigen, haben einem Mann aus San Francisco viel Ärger eingebracht. Das berichtet die »New York Times« in einem Artikel , der erklärt, wie Google versucht, Fälle von Kindesmissbrauch zu erkennen und zu melden – und welche Fälle das teilweise auf künstlicher Intelligenz basierende System an seine Grenzen bringen.

Der Fall aus den USA, den die Zeitung schildert, handelt von einem Mann namens Mark, dessen Nachname zum Schutz seiner Identität nicht veröffentlicht wurde. Mit seinem Android-Smartphone dokumentierte Mark demnach im Februar 2021, also während der Coronapandemie, eine Schwellung im Genitalbereich seines Sohns, eines Kleinkinds ungenannten Alters. Unter den Fotos, die Mark machte, soll sich auch ein Bild befunden haben, auf dem seine Hand zu sehen war – was dem Bericht zufolge half, die Schwellung besser zu erkennen. Seine Frau leitete einige Bilder über ein Online-Formular an einen Arzt weiter, der dem Kind mithilfe der Aufnahmen schließlich Antibiotika verschrieb.

Google hatte Bedenken

Bei Google, wo Mark seine Fotos und Videos in der Cloud sicherte, wurden die Bilder offenkundig nicht als Aufnahme für medizinische Zwecke interpretiert. Das Unternehmen entschied sich bald nach Entstehen der Fotos, das Google-Konto des Vaters vollständig zu sperren. Fortan hatte er keinen Zugriff mehr auf ein Jahrzehnt an Kontakten, E-Mails und in der Cloud gespeicherten Fotos und Videos. Auch bei so manchem Drittdienst, der mit seinem E-Mail-Konto verbunden war, konnte er sich nicht mehr ohne Weiteres einloggen.

Im Zuge der Konto-Deaktivierung verwies Google dem Zeitungsbericht zufolge auf »schädliche Inhalte«, die »einen schweren Verstoß gegen die Google-Richtlinien darstellen und möglicherweise illegal sind«. Verlinkt worden sei dazu eine Infoseite, heißt es, auf der Google eine Reihe möglicher Gründe aufzählt, darunter die Themen »sexueller Missbrauch und Ausbeutung von Kindern« .

Sogar seine Handynummer konnte Mark ab diesem Zeitpunkt nicht mehr nutzen, schreibt die »New York Times«, da er Kunde bei Google Fi war – einem Mobilfunkdienst von Google. Ganz unabhängig vom Thema Kindesmissbrauch zeigt der Fall so, wie sehr es den Alltag von Menschen einschränken kann, wenn Digitalunternehmen, auf deren Services sie sich jahrelang verlassen haben, sie plötzlich fallen lassen.

Ein Einspruch half nicht weiter

Mark ärgerte die Aussperrung. Über ein Formular forderte er Google auf, seine Entscheidung zu überprüfen, dabei verwies er auch auf die Infektion seines Sohns. Doch Google ließ sich nicht umstimmen. Sein Konto blieb gesperrt, vor Kurzem ist es sogar ganz gelöscht worden. Google begründet sein Vorgehen dabei auch mit einer weiteren, schon etwas älteren Aufnahme, die das Unternehmen bei einem weiteren Durchleuchten von Marks Daten aufgefallen war. Zu sehen war darauf Google zufolge eine unbekleidete Frau neben Marks kleinem Sohn.

Mark selbst sagt der »New York Times«, er selbst habe dieses Foto gar nicht mehr vorliegen. Er gehe aber davon aus, er habe morgens einfach einen »privaten Moment« mit seiner Frau und seinem Sohn bildlich festhalten wollen.

Doch der Vater bekam nicht nur Ärger mit Google. Aufgrund eines US-Bundesgesetzes ist der IT-Konzern verpflichtet, entdecktes verdächtiges Material der sogenannten CyberTipline des National Center for Missing and Exploited Children (NCMEC) zu melden. Das NCMEC ist eine Nichtregierungsorganisation, die unter anderem eine Datenbank mit den Hash-Werten bekannter Bilder von Kindesmissbrauch verwaltet. Sie kooperiert mit mehreren Digitalkonzernen, neben Google zum Beispiel mit Facebook. Und sie benachrichtigte auch die Polizei über den vermeintlichen Missbrauchsfall.

Google muss verdächtige Entdeckungen melden

Die Polizei von San Francisco übernahm die Ermittlungen. Über Durchsuchungsbeschlüsse bekam ein Ermittler Zugriff auf Marks Internetsuchen, seinen Standortverlauf, seine Nachrichten und alle Dokumente, Fotos und Videos, die er bei Google-Diensten gespeichert hatte, schreibt die »New York Times«. Das alles sei innerhalb von einer Woche passiert, nachdem Mark die Fotos vom Genitalbereich machte.

Bemerkenswert an Marks Fall ist, dass es dabei um von ihm selbst gemachte Aufnahmen geht und nicht um einschlägig bekanntes Fotomaterial. Oft suchen Provider lediglich nach den Signaturen bereits bekannter Aufnahmen, die Kindesmissbrauch zeigen. Die »New York Times« schreibt, bei Google sei hingegen ein Tool zum Einsatz gekommen, das das Unternehmen 2018 vorgestellt hat und das bei der Entdeckung von Bildern noch unbekannter Missbrauchsopfer helfen soll. Demnach kam zunächst eine künstliche Intelligenz zu dem Schluss, dass das Material, das Mark erstellt hat, problematisch sein könnte. Hätte er kein automatisches Foto-Back-up aktiviert, wären Mark seine Probleme wohl erspart geblieben.

Das passiert, wenn die KI ein Foto markiert

Es lag aber nicht nur an Software, dass Marks Fall die Polizei erreichte. Hat sein KI-System Inhalte als potenziell problematisch markiert, prüft Google zufolge auch noch ein menschlicher Moderator, ob die Inhalte der US-Definition von Material zu sexuellem Kindesmissbrauch entsprechen. Ist auch diese Prüfung positiv, wird das Konto gesperrt, außerdem wird darin nach weiterem problematischen Material gesucht. Wie Google der »New York Times« mitteilte, war dem zuständigen Moderator beim Prüfen der Genitalbereich-Fotos kein Ausschlag und keine Rötung aufgefallen – der Person war also nicht bekannt, in welchem Kontext die Aufnahme entstand.

Wie häufig die Prüfungssysteme von Firmen wie Google Menschen wie Mark unberechtigt mit dem Thema Kindesmissbrauch in Verbindung bringen, ist unbekannt. Im Netz stieß die »New York Times« auf einen weiteren Fall aus Houston, der dem von Mark ähnelt. Auch dabei ging es um Fotos, die ein Vater gemacht hatte, um eine Infektion im Intimbereich seines Sohns zu dokumentieren – dem Artikel zufolge auf Wunsch eines Kinderarztes. Die Bilder wurden automatisch in die Google-Cloud übertragen, heißt es, außerdem schickte sie der Mann über den Chat-Dienst Google Hangouts seiner Frau.

Zur weiteren Einordnung des Geschehens wird aber auch betont, dass Google im Jahr 2021 insgesamt 621.583 Fälle an die CyberTipLine des NCMEC gemeldet hat. Das NCMEC wiederum habe die Behörden in diesem Zeitraum in rund 4260 Fällen auf potenzielle Opfer aufmerksam gemacht, heißt es. Mark war so letztlich ein »falsch-positives« Ergebnis, wie sie die Politik, die Behörden und die Digitalkonzerne angesichts ihres Ziels, Kindesmissbrauch einzudämmen, offenbar in Kauf nehmen.

Die Polizei konnte Mark nicht erreichen

IT-Experten jedenfalls warnen schon seit Langem vor der Gefahr falscher Alarme, wenn eine KI bei heiklen Themen zum Einsatz kommt und menschliche Moderatoren oft zu wenig Zeit haben, um fragwürdige Inhalte genau zu prüfen.

Suzanne Haney von der American Academy of Pediatrics, der viele US-Kinderärzte angehören, rät Eltern derweil davon ab, Fotos von den Genitalien ihrer Kinder zu machen, selbst wenn sie von Ärzten dazu aufgefordert werden. »Das Letzte, was Sie wollen, ist, dass sich ein Kind wohl dabei fühlt, wenn jemand seine Genitalien fotografiert«, meint Haney. »Wenn Sie unbedingt müssen, vermeiden Sie es, die Bilder in die Cloud hochzuladen, und löschen Sie sie schleunigst.«

Die Polizei von San Francisco hat ihre Ermittlungen zu Marks Fall übrigens schnell abgeschlossen. Sie kam der »New York Times« zufolge zum Schluss, dass keine Straftat vorliegt – und auch der Fall in Houston endete so. Vom Ende der Ermittlungen erfuhr Mark indes nur, weil er den zuständigen Ermittler selbst kontaktierte. Umgekehrt sei die Kontaktaufnahme gescheitert, heißt es im Artikel – weil Marks bisherige E-Mail-Adresse und Telefonnummer nicht mehr funktioniert hätten.

mbö
Die Wiedergabe wurde unterbrochen.