Gesichtserkennung Amazon-Software macht US-Politiker zu Verdächtigen

Um gegen Gesichtserkennung bei der Polizei zu protestieren, haben Bürgerrechtler die Amazon-Software Rekognition getestet. Das Ergebnis: 28 Kongressmitglieder wurden mit festgenommenen Verdächtigen verwechselt.

US-Polizistin mit Kamera
AP

US-Polizistin mit Kamera

Von


Das Gesichtserkennungs-Tool des Onlinekonzerns Amazon hält einige US-Politiker offenbar für Kriminelle. Das zeigt zumindest ein Test der kommerziell vertriebenen Amazon-Software Rekognition mit öffentlichen Fotos. 28 Kongressabgeordnete seien dabei mit mutmaßlichen Kriminellen verwechselt worden, heißt es in einer Mitteilung der Amerikanischen Bürgerrechtsunion (ACLU) von Donnerstag.

Die Bürgerrechtler hatten die Software ausprobiert, um zu zeigen, wie unzuverlässig Menschen über Gesichtserkennung identifiziert werden können. Als Grundlage für den Versuch haben die Bürgerrechtler die Fotos aller aktuellen Mitglieder des Repräsentantenhauses und des Senats genommen, die mit Bild im Internet zu finden sind. Diese 535 Fotos von Politikern haben die Aktivisten mit 25.000 öffentlich zugänglichen Bildern von Festgenommenen verglichen.

Drei Senatoren und 25 Mitglieder des Repräsentantenhauses wurden dabei fälschlicherweise "wiedererkannt". Darunter auch der Demokrat John Lewis, der als bekannte Figur in der Bürgerrechtsbewegung der Sechzigerjahre einen wichtigen Beitrag zum Ende der Rassentrennung in den USA geleistet hatte. Lewis ist einer von auffällig vielen farbigen Politikern, die im Test markiert worden sind. Obwohl nur 20 Prozent der Mitglieder im Kongress farbig sind, lag der Anteil der im Test falsch zugeordneten schwarzen Personen bei 40 Prozent.

John Lewis
AP

John Lewis

Amazon schiebt Fehler auf falsche Einstellung

Die ACLU habe rund zwölf Dollar für den Test gezahlt und die Standardeinstellung der Software verwendet, die bei einer Erkennungswahrscheinlichkeit von 80 Prozent eine Person als identifiziert markiert. Das ist laut Amazon der Fehler gewesen. Die Standardeinstellung sei eher gedacht für Fotos von "Hotdogs, Stühlen, Tieren oder anderen Dingen in einem klassischen Social-Media-Kontext", sagt ein Amazon-Sprecher dem SPIEGEL.

Die Einstellung sei allerdings "nicht angemessen, um Personen mit einem vertretbaren Maß an Sicherheit auf Basis eines solchen Schwellenwerts zu identifizieren". Bei Strafverfolgungsmaßnahmen lege man den Kunden nahe, einen Schwellenwert von mindestens 95 Prozent oder höher festzulegen. Letztlich bleibt es den Polizisten aber selbst überlassen, wie empfindlich die Software eingestellt wird.

Bürgerrechtler fordern Gesichtserkennungs-Stopp bei Polizeibehörden

Die ACLU fordert, dass der Kongress diese Fakten ernst nehmen und Strafverfolgungsbehörden davon abhalten solle, Gesichtserkennung einzusetzen. "Diese Technologie sollte nicht benutzt werden, bis alle Probleme erkannt und alle notwendigen Schritte getan worden sind, um gefährdete Bevölkerungsgruppen nicht zu benachteiligen", teilen die Bürgerrechtler mit.

Seit Monaten wehren sich die ACLU und mehr als 30 weitere Organisationen dagegen, dass die Software von Strafverfolgungsbehörden eingesetzt wird. Ihr Vorwurf: Mit der umstrittenen Technologie werden auch unschuldige Bürger gescannt und im Zweifel sogar verhaftet, obwohl sie keine Straftat begangen haben.

Doch in manchen US-Bezirken ist es bereits zu spät. Unter anderem in Orlando und Washington County setzen Polizisten die Rekognition-Software ein. Die Beamten suchen dort anhand von Fahndungsfotos in der Datenbank nach Verdächtigen und vergleichen sie mit Aufnahmen in der Öffentlichkeit. Das kostet die Behörden nur wenige Dollar im Monat und verkürze die Suche nach eigenen Angaben von Tagen auf nur wenige Minuten.

insgesamt 13 Beiträge
Alle Kommentare öffnen
Seite 1
quark2@mailinator.com 27.07.2018
1.
Da wir schon seit 1996 Software für biometrische Erkennung programmieren, kann ich aus eigener Erfahrung sagen, daß außer den Netzhautscans kein mir bekanntes Verfahren einigermaßen gegen falsche Erkennungen schützt. Entweder man erkennt die falschen Leute, oder man erkennt die richtigen Leute nicht. Je nach Anwendung kann man Biometrie als zusätzliche Verifikation einer Einzelperson verwenden (Fingerabdruck zum PC-Login oder Zugang zum Bereich der Bankschließfächer), aber selbst da sollte man immer noch einen Plan B haben. Insofern wundert mich das Ergebnis absolut nicht. Hinzu kommt, daß viele Umsetzungen leicht zu täuschen sind.
Sibylle1969 27.07.2018
2.
Immer wenn Machine-Learning-Algorithmen automatisch eine Entscheidung treffen sollen, gibt es folgende Situationen: 1. Algorithmus trifft Entscheidung und Ergebnis ist korrekt. Das ist der erwünschte Fall. 2. Algorithmus trifft eine Entscheidung, das Ergebnis ist aber falsch (sog. False Positive). 3. Algorithmus trifft keine Entscheidung. Die Entscheidung wird dabei anhand von Wahrscheinlichkeiten getroffen, die der Algorithmus errechnet hat. Falsch-positive Ergebnisse können auf nicht ausreichendes oder schlechtes Training mit Beispielen oder auch auf Mängel im Algorithmus zurückzuführen sein. Es ist das Allerwichtigste, dass es keine falsch-positiven Ergebnisse gibt. Es ist IMMER besser, wenn der Algorithmus keine Entscheidung trifft als eine falsche. Wenn nun überproportional viele schwarze Kongressabgeordnete fälschlicherweise als gesuchte Kriminelle erkannt werden, dann ist m.E. der Algorithmus mangelhaft. So nach dem Motto: Viele Kriminelle sind schwarz, daher steigt für den Algorithmus die Wahrscheinlichkeit, dass ein beliebiger unbescholtener Schwarzer fälschlicherweise als Krimineller erkannt wird.
hr.lich-daemlich 27.07.2018
3. hmm
Erinnert mich an die Google Gorilla Geschichte. Kinderkrankheiten sind wohl immer noch nicht raus. Damit ist ein Einsatz im rechtlichen Rahmen nicht sinnvoll. Das führt mich zu einer Frage: Gibt es denn bei Google und Amazon keine dunkelhäutigen Entwickler, die sich des Problems annehmen können oder wenigsten den Hintergrund erklären können? Das es nur an irgendwelchen Kontrasten liegt will ich nicht glauben, da es ja bei gegenteiligen Kontrastsituationen in die andere Richtung ausschlagen müsste. Sonst bin ich bei den Vorkommentatoren. Es gibt keine zuverlässige Technik die nicht gegengeprüft werden muss und das kann sehr unangenehm für die falsch Verdächtigten sein. Sekundär- und Tertiäridentifikatoren müssen hinzu gezogen werden um das Ergebnis möglichst zeitnah zu konkretisieren. Also vielleicht noch Fingerabdruck und Irisbild abgleichen sofern die Erkennung ein Treffer liefert und dreimal 90% sind schon selten (dreimal 80% schon wahrscheinlicher). In Europa ist das per Datenschutz nicht wirklich machbar, aber es könnte eine eineindeutige Personenidentifizierung mit genügend Daten erschaffen werden und eine Datenbank für 7,5 Mrd Menschen ist technisch auch längst machbar. Gruselig, nicht?
Lemjus 27.07.2018
4.
Auch interessant wäre gewesen wieviele der verglichenen Kriminellen dem Schwarze waren ( vl. waren das ja mehr als weiße und damit der Grund dafür, dass soviel Schwarze erkannt worden sind ( auch wenn ich das nicht glaub, sondern eher das dieses Programm bei Hellen Bilder besser funktioniert)) .
onelastremarktoall 27.07.2018
5. Es liegt eindeutig an der Auswahl der Trainingsdaten...
Zitat von Sibylle1969Immer wenn Machine-Learning-Algorithmen automatisch eine Entscheidung treffen sollen, gibt es folgende Situationen: 1. Algorithmus trifft Entscheidung und Ergebnis ist korrekt. Das ist der erwünschte Fall. 2. Algorithmus trifft eine Entscheidung, das Ergebnis ist aber falsch (sog. False Positive). 3. Algorithmus trifft keine Entscheidung. Die Entscheidung wird dabei anhand von Wahrscheinlichkeiten getroffen, die der Algorithmus errechnet hat. Falsch-positive Ergebnisse können auf nicht ausreichendes oder schlechtes Training mit Beispielen oder auch auf Mängel im Algorithmus zurückzuführen sein. Es ist das Allerwichtigste, dass es keine falsch-positiven Ergebnisse gibt. Es ist IMMER besser, wenn der Algorithmus keine Entscheidung trifft als eine falsche. Wenn nun überproportional viele schwarze Kongressabgeordnete fälschlicherweise als gesuchte Kriminelle erkannt werden, dann ist m.E. der Algorithmus mangelhaft. So nach dem Motto: Viele Kriminelle sind schwarz, daher steigt für den Algorithmus die Wahrscheinlichkeit, dass ein beliebiger unbescholtener Schwarzer fälschlicherweise als Krimineller erkannt wird.
..., jedenfalls ist das leider der Normalfall. Ich kann mir durchaus vorstellen, dass bei der Auswahl der negativen Beispiele (=nicht in Verbrecherkartei) farbige und nicht-farbige Personen mit gleicher Wahrscheinlichkeit ausgewählt wurden, während bei den positiven Beispielen ja offensichtlich mehr Farbige auftauchten. Unter dieses Umständen wird jeder Algorithmus das bemerken und "Farbigkeit" als einen Faktor für positive Bewertung nehmen. Wenn hingegen die Verteilungen farbig/nicht farbig, männlich/weiblich, etc. bei den negativen Beispielen denen der positiven entspricht, lassen sich derartige Fehler vermeiden. ...und es müssen natürlich genügend Daten (=Bilder) vorhanden sein, damit statistische Bewertungen überhaupt sinnvoll möglich sind und nicht der Fluch der hohen Dimensionalität zuschlägt.
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2018
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


TOP
Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.