Algorithmen und Scoring Wir müssen die Bewerter bewerten

Algorithmen bewerten Menschen und entscheiden oft über ihr Schicksal. Wie so eine automatisierte Beurteilung des Computers zustande kommt, bleibt dabei oft im Dunkeln. Höchste Zeit für ein Testsystem.

Daten über Daten
Getty Images

Daten über Daten


In immer mehr Bereichen sind es nicht Menschen, sondern Computer, die uns bewerten, beurteilen und klassifizieren. Und zwar vollautomatisch. Dieses "Scoring" greift längst über klassische Bereiche wie Punkte in Flensburg oder die Bonitätsbewertung von Kreditnehmern hinaus. Softwareanbieter versprechen sogar, einen Algorithmus den idealen Kandidaten für eine offene Stelle auswählen zu lassen - vermeintlich vorurteilsfrei und viel passgenauer, als ein Mensch das je könnte. "People Analytics" nennt sich das dann. Im Zeitalter solcher Computerentscheidungen droht die Gefahr, dass Autonomie und Menschenwürde auf der Strecke bleiben.

Zu den Autoren
  • MPIB
    Der Ökonom Gert G. Wagner (Foto), 65, ist Mitglied der Deutschen Akademie der Technikwissenschaften (acatech) und Mitglied im Sachverständigenrat für Verbraucherfragen.
    Johannes Gerberding, 35, ist Jurist und arbeitet als wissenschaftlicher Referent für den Sachverständigenrat für Verbraucherfragen.
    Der Sachverständigenrat hat Ende Oktober das Gutachten "Verbrauchergerechtes Scoring" vorgelegt.

Vom Computer können wir nicht in der gleichen Weise wie von unserem Mitmenschen verlangen, dass er über seine Entscheidungen Rechenschaft ablegt. Deshalb ist es nötig, die verborgenen Prozesse im Inneren der Maschine für diejenigen transparent und verständlich zu machen, die ihnen ausgesetzt und von ihnen betroffen sind. Und das sind wir alle: so als Onlineshopper, Versicherungskunden, Kontoinhaber, Bewerber und Nutzer des Internet.

Allerdings ist es keineswegs damit getan, schlicht Transparenz von den Herstellern einzufordern. Denn die käme nicht nur den Betroffenen zugute, sondern vor allem der Konkurrenz. Schließlich kostet die Entwicklung der Algorithmen Geld. Und kann der eigene Algorithmus besser als die der Konkurrenz vorhersagen, welche dem Kunden angezeigte Werbung zum Kauf des beworbenen Produktes führt, kann dies ein wirtschaftlicher Vorteil sein. Deshalb schützen sich die Entwickler von Algorithmen durch Intransparenz, rechtlich abgesichert durch ihr Geschäftsgeheimnis.

Um einen Algorithmus zu testen, muss man nicht seinen Bauplan kennen

Wie also könnte man Transparenz für die einschlägigen Scoring-Algorithmen herstellen - ohne die Geschäftsinteressen der Entwickler zu verletzen?

Man könnte über Patentschutz nachdenken, aber ein Algorithmus ist erstmal nichts anderes als eine gute Idee, wie man eine bestimmte Aufgabe lösen kann. Gute Ideen als solche sollten aber nicht patentierbar sein und sind es meistens auch nicht. Ein Patentschutz für Software ist zwar nicht unbekannt, die Diskussion darüber, wie weit er reichen sollte, verläuft aber kontrovers. Zur Herstellung von Scoring-Transparenz in dieses Wespennest zu stechen, lohnt sich nicht.

Auch das Urheberrecht bietet keinen gangbaren Weg zur Herstellung von Transparenz. Denn das Urheberrecht schützt nur eine konkrete Programmierung, nicht aber ein Konzept. Ein Programmierer kann jedoch denselben Algorithmus in ganz unterschiedlicher Weise um - und einsetzen.

Der Ausweg aus dem Dilemma zwischen Transparenz und Geschäftsgeheimnis liegt im Testen von Algorithmen. Um einen Algorithmus zu testen, muss man nicht seinen Bauplan kennen, sondern man schaut nur genau hin, wie er sich im alltäglichen Einsatz bewährt. Man füttert das System mit bekannten Beispieldaten und schaut, wie es sich verhält: Liefert der Algorithmus plausible Ergebnisse oder produziert er Unsinn? Durch Tests kann man auch herausfinden, ob der Algorithmus verbotenerweise diskriminiert, also bestimmte Personengruppen benachteiligt.

Der Limonadenhersteller muss seine Geheimrezeptur auch nicht verraten

Der Clou am Testen ist, dass das Geschäftsgeheimnis der Algorithmen-Entwickler erstmal nicht beeinträchtigt wird. Und man muss auch den Computercode nicht verstehen. Mit Produkten, die handfester sind als Computer-Algorithmen, verfahren wir so seit Jahrzehnten: Der Limonadenhersteller muss seine Geheimrezeptur nicht verraten, damit die Limonade getestet werden kann. Um festzustellen, ob die Limo Bauchweh verursacht, trinkt man sie einfach. Und zwar nicht unter Laborbedingungen - wie bei den Dieselautos, wodurch geschummelt werden konnte - sondern unter Alltagsbedingungen.

Bislang muss allerdings kein Algorithmen-Entwickler es der kritischen Öffentlichkeit leicht machen, seine Produkte zu testen. Das Befüllen der Black Box mit Testdaten kann deshalb ein mühsames Unterfangen sein. Anders lägen die Dinge, sobald es einen rechtlichen Anspruch auf Durchführung von Tests gäbe. Dann müssten die Algorithmen-Entwickler eine Schnittstelle vorsehen, über die Testdaten eingespeist werden können. Die Arbeit der Algorithmentester würde das ungemein vereinfachen.

Da das Testen von Computer-Algorithmen bislang allerdings nur in Fachkreisen diskutiert wird, hat der Sachverständigenrat für Verbraucherfragen vorsichtshalber bei den Experten der Gesellschaft für Informatik eine Studie in Auftrag gegeben. Sie sollte ausloten, ob testen machbar ist und wie der Algorithmentest in geltendes Recht eingefügt werden könnte, und kam zu einem eindeutigen Ergebnis: Testen ist machbar und unter den vielen gesetzlichen Herausforderungen, die sich aus den neuen vollautomatisierten Entscheidungsprozessen ergeben, ist der Algorithmentest eine der kleineren. Deshalb haben die Experten konkrete Vorschläge gemacht, an welchen Stellen der Gesetzgeber tätig werden müsste, um einen "Anspruch auf Algorithmentests" zu verankern.

Diesmal müssen Menschen abwägen, nicht Computer

Dadurch ließe sich der Konflikt zwischen dem Wunsch nach Transparenz einerseits und den Interessen der Unternehmen andererseits entschärfen. Restlos auflösen lässt sich das Spannungsverhältnis aber nicht. Denn je intensiver man eine Black Box von außen testet, desto mehr gibt sie ihre inneren Geheimnisse preis. In manchen Fällen dürfte es keinen Unterschied mehr machen, ob der Algorithmus offengelegt oder "nur" getestet wurde.

Zwar schützt das Gesetz Unternehmen davor, zwangsweise ihre Geschäftsgeheimnisse offenlegen zu müssen. Doch der Schutz des Geschäftsgeheimnisses ist nicht absolut. Wie weit er reicht, entscheidet sich erst durch eine Abwägung mit anderen in der Verfassung garantierten Rechtsgütern.

Dazu gehören etwa das Persönlichkeitsrecht und die informationelle Selbstbestimmung derjenigen, die den bislang undurchschaubaren Algorithmen ausgesetzt sind. Beides gilt es zu schützen. Deshalb braucht es auch diesmal eine genaue Abwägung - und zwar durch Menschen, nicht durch Computer.



insgesamt 15 Beiträge
Alle Kommentare öffnen
Seite 1
hmueller0 14.11.2018
1. Problem: Kompetenz
Wie auch im Finanz-Bereich allgemein: Die Kompetenz sitzt in der Wirtschaft und nicht in der Politik. Damit hat sich die Diskussion um Kontrolle (im Sinne von "verstehen was da wie gemacht wird") auch schon erledigt.
MatthiasPetersbach 14.11.2018
2. wir sollten das einfach verbieten.....
...und wer nachweisen kann, daß er wegen Scoring einer Maschine benachteiligt wurde, der hat Recht auf Schadensersatz. Es ist doch völlig widersinnig: Einerseits wird daran gearbeitet, daß z.B. Einstellungsentscheidungen nicht mehr durch Geschlecht, Aussehen, Religion, Herkunft getroffen werden (was richtig ist) . Und wer aus Versehen eine falsche Endung in die Stellenausschreibung reinschreibt, wird belangt. Und dann soll ne Firma mit völlig abstrusen und willkürlichen "Algorithmen", die weder offenliegen noch reklamiert werden können, hier vorurteilsbehaftete Entscheidungen treffen können? Das ist völlig lachhaft. Verbieten, einsperren.
colada 14.11.2018
3. So eine Software taugt (noch) nichts
Mit Psychologen in der Personalabteilung wollte man endlich den geeigneten Kandidaten akquirieren. Dennoch kommt es zu “Fehlgriffen”. Nun soll Software die Entscheidungen stützen. Ich setze als Führungskraft immer auf das persönliche Gespräch, meine Führungskompetenz und die Probezeit. Nichts und niemand kann letztendlich sicher sein, eine/n falsche/n Bewerber/in auszusuchen. Würde ich als Bewerber mit einem AI gestützten Chatbot über meine Qualifikation diskutieren müssen, würde ich einfach das “x” rechts oben drücken und zum nächsten Angebot surfen. Das empfehle ich auch allen Bewerbern. Für so eine Firma will man nicht arbeiten, denn nach der Einstellung kommt dann die Überwachung. Oder man will Marsastronaut werden, aber gerade da würde ich die letzte Entscheidung einem Menschen vorbehalten.
Sique 14.11.2018
4.
Zitat von MatthiasPetersbach...und wer nachweisen kann, daß er wegen Scoring einer Maschine benachteiligt wurde, der hat Recht auf Schadensersatz. Es ist doch völlig widersinnig: Einerseits wird daran gearbeitet, daß z.B. Einstellungsentscheidungen nicht mehr durch Geschlecht, Aussehen, Religion, Herkunft getroffen werden (was richtig ist) . Und wer aus Versehen eine falsche Endung in die Stellenausschreibung reinschreibt, wird belangt. Und dann soll ne Firma mit völlig abstrusen und willkürlichen "Algorithmen", die weder offenliegen noch reklamiert werden können, hier vorurteilsbehaftete Entscheidungen treffen können? Das ist völlig lachhaft. Verbieten, einsperren.
Die Situation ist deutlich komplizierter. Oft kann man im Einzelfall gar nicht nachweisen, dass der Algorithmus unberechtigterweise gegen einen entschieden hat, weil sich eine Benachteiligung oft nur statistisch aufspüren lässt. Berüchtigt ist in diesem Fall das Programm COMPASS, das in vielen US-Gerichtsbezirken eingesetzt wird, um die Wahrscheinlichkeit für einen Rückfall bei Kriminellen vorherzusagen. Obwohl an keiner einzigen Stelle das Programm nach der Hautfarbe fragt, stellte sich heraus, dass das Programm für verurteilte Afroamerikaner eine deutlich höhere Rückfallrate vorhersagt als sie tatsächlich ist (ungefähr um den Faktor 2 überhöht). Umgekehrt unterschätzt COMPASS systematisch die Rückfallquote von weißen Verurteilten, denen es eine deutlich bessere Sozialprognose gibt als tatsächlich gerechtfertigt ist (ebenfalls um den Faktor 2, nur eben in die andere Richtung). Vermutlich liegt das Problem bei COMPASS, dass es zu viele soziale Faktoren abfragt und die hoch gewichtet, während es kriminologische Faktoren zwar auch abfragt, aber deren Einfluss auf das Ergebnis wegen ihrer geringeren Anzahl zu niedrig ausfällt. Aber wegen des Firmengeheimnisses kann man COMPASS nicht unabhängig analysieren und eine bessere Gewichtung der Risikofaktoren verlangen.
m82arcel 14.11.2018
5.
Ein Algorithmus ist ja zunächst mal nichts anderes, als eine Folge von Regeln, um ein Problem zu lösen. Auch ein Kochrezept ist im Grunde ein Algorithmus. Das Problem sind auch nicht die Algorithmen, sondern die verwendeten Daten: ein Rechner kann problemlos Alter, Bonität, Job, Verhalten der Nachbarn und Onlineaktivitäten, etc in die Bewertung einbeziehen - ein Mensch könnte das nicht (effektiv genug, damit es wirtschaftlich wäre). Moderne Algorithmen sind dabei heute jedoch so komplex, dass auch deren Offenlegung wenig bringen würde, da selbst der "Programmierer" nicht unbedingt weiß, was der Algorithmus aus welchem Grund tut. Für das Scoring müsste es also klare und sehr eingeschränkte Vorgaben geben, welche Daten genutzt werden dürfen. Nur wie das wirklich kontrolliert werden sollte, weiß ich auch nicht.
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2018
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


TOP
Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.