Forum: Netzwelt
Algorithmen und Scoring: Wir müssen die Bewerter bewerten
Getty Images

Algorithmen bewerten Menschen und entscheiden oft über ihr Schicksal. Wie so eine automatisierte Beurteilung des Computers zustande kommt, bleibt dabei oft im Dunkeln. Höchste Zeit für ein Testsystem.

Seite 1 von 2
hmueller0 14.11.2018, 17:38
1. Problem: Kompetenz

Wie auch im Finanz-Bereich allgemein: Die Kompetenz sitzt in der Wirtschaft und nicht in der Politik. Damit hat sich die Diskussion um Kontrolle (im Sinne von "verstehen was da wie gemacht wird") auch schon erledigt.

Beitrag melden Antworten / Zitieren
MatthiasPetersbach 14.11.2018, 17:43
2. wir sollten das einfach verbieten.....

...und wer nachweisen kann, daß er wegen Scoring einer Maschine benachteiligt wurde, der hat Recht auf Schadensersatz.

Es ist doch völlig widersinnig: Einerseits wird daran gearbeitet, daß z.B. Einstellungsentscheidungen nicht mehr durch Geschlecht, Aussehen, Religion, Herkunft getroffen werden (was richtig ist) . Und wer aus Versehen eine falsche Endung in die Stellenausschreibung reinschreibt, wird belangt.

Und dann soll ne Firma mit völlig abstrusen und willkürlichen "Algorithmen", die weder offenliegen noch reklamiert werden können, hier vorurteilsbehaftete Entscheidungen treffen können? Das ist völlig lachhaft.

Verbieten, einsperren.

Beitrag melden Antworten / Zitieren
colada 14.11.2018, 18:16
3. So eine Software taugt (noch) nichts

Mit Psychologen in der Personalabteilung wollte man endlich den geeigneten Kandidaten akquirieren. Dennoch kommt es zu “Fehlgriffen”. Nun soll Software die Entscheidungen stützen. Ich setze als Führungskraft immer auf das persönliche Gespräch, meine Führungskompetenz und die Probezeit. Nichts und niemand kann letztendlich sicher sein, eine/n falsche/n Bewerber/in auszusuchen. Würde ich als Bewerber mit einem AI gestützten Chatbot über meine Qualifikation diskutieren müssen, würde ich einfach das “x” rechts oben drücken und zum nächsten Angebot surfen. Das empfehle ich auch allen Bewerbern. Für so eine Firma will man nicht arbeiten, denn nach der Einstellung kommt dann die Überwachung. Oder man will Marsastronaut werden, aber gerade da würde ich die letzte Entscheidung einem Menschen vorbehalten.

Beitrag melden Antworten / Zitieren
Sique 14.11.2018, 20:59
4.

Zitat von MatthiasPetersbach
...und wer nachweisen kann, daß er wegen Scoring einer Maschine benachteiligt wurde, der hat Recht auf Schadensersatz. Es ist doch völlig widersinnig: Einerseits wird daran gearbeitet, daß z.B. Einstellungsentscheidungen nicht mehr durch Geschlecht, Aussehen, Religion, Herkunft getroffen werden (was richtig ist) . Und wer aus Versehen eine falsche Endung in die Stellenausschreibung reinschreibt, wird belangt. Und dann soll ne Firma mit völlig abstrusen und willkürlichen "Algorithmen", die weder offenliegen noch reklamiert werden können, hier vorurteilsbehaftete Entscheidungen treffen können? Das ist völlig lachhaft. Verbieten, einsperren.
Die Situation ist deutlich komplizierter. Oft kann man im Einzelfall gar nicht nachweisen, dass der Algorithmus unberechtigterweise gegen einen entschieden hat, weil sich eine Benachteiligung oft nur statistisch aufspüren lässt. Berüchtigt ist in diesem Fall das Programm COMPASS, das in vielen US-Gerichtsbezirken eingesetzt wird, um die Wahrscheinlichkeit für einen Rückfall bei Kriminellen vorherzusagen. Obwohl an keiner einzigen Stelle das Programm nach der Hautfarbe fragt, stellte sich heraus, dass das Programm für verurteilte Afroamerikaner eine deutlich höhere Rückfallrate vorhersagt als sie tatsächlich ist (ungefähr um den Faktor 2 überhöht). Umgekehrt unterschätzt COMPASS systematisch die Rückfallquote von weißen Verurteilten, denen es eine deutlich bessere Sozialprognose gibt als tatsächlich gerechtfertigt ist (ebenfalls um den Faktor 2, nur eben in die andere Richtung).
Vermutlich liegt das Problem bei COMPASS, dass es zu viele soziale Faktoren abfragt und die hoch gewichtet, während es kriminologische Faktoren zwar auch abfragt, aber deren Einfluss auf das Ergebnis wegen ihrer geringeren Anzahl zu niedrig ausfällt. Aber wegen des Firmengeheimnisses kann man COMPASS nicht unabhängig analysieren und eine bessere Gewichtung der Risikofaktoren verlangen.

Beitrag melden Antworten / Zitieren
m82arcel 14.11.2018, 21:31
5.

Ein Algorithmus ist ja zunächst mal nichts anderes, als eine Folge von Regeln, um ein Problem zu lösen. Auch ein Kochrezept ist im Grunde ein Algorithmus.
Das Problem sind auch nicht die Algorithmen, sondern die verwendeten Daten: ein Rechner kann problemlos Alter, Bonität, Job, Verhalten der Nachbarn und Onlineaktivitäten, etc in die Bewertung einbeziehen - ein Mensch könnte das nicht (effektiv genug, damit es wirtschaftlich wäre). Moderne Algorithmen sind dabei heute jedoch so komplex, dass auch deren Offenlegung wenig bringen würde, da selbst der "Programmierer" nicht unbedingt weiß, was der Algorithmus aus welchem Grund tut. Für das Scoring müsste es also klare und sehr eingeschränkte Vorgaben geben, welche Daten genutzt werden dürfen. Nur wie das wirklich kontrolliert werden sollte, weiß ich auch nicht.

Beitrag melden Antworten / Zitieren
geschwafelablehner 15.11.2018, 00:09
6.

Zitat von Sique
Die Situation ist deutlich komplizierter. Oft kann man im Einzelfall gar nicht nachweisen, dass der Algorithmus unberechtigterweise gegen einen entschieden hat, weil sich eine Benachteiligung oft nur statistisch aufspüren lässt. Berüchtigt ist in diesem Fall das Programm COMPASS, das in vielen US-Gerichtsbezirken eingesetzt wird, um die Wahrscheinlichkeit für einen Rückfall bei Kriminellen vorherzusagen. Obwohl an keiner einzigen Stelle das Programm nach der Hautfarbe fragt, stellte sich heraus, dass das Programm für verurteilte Afroamerikaner eine deutlich höhere Rückfallrate vorhersagt als sie tatsächlich ist (ungefähr um den Faktor 2 überhöht). Umgekehrt unterschätzt COMPASS systematisch die Rückfallquote von weißen Verurteilten, denen es eine deutlich bessere Sozialprognose gibt als tatsächlich gerechtfertigt ist (ebenfalls um den Faktor 2, nur eben in die andere Richtung). Vermutlich liegt das Problem bei COMPASS, dass es zu viele soziale Faktoren abfragt und die hoch gewichtet, während es kriminologische Faktoren zwar auch abfragt, aber deren Einfluss auf das Ergebnis wegen ihrer geringeren Anzahl zu niedrig ausfällt. Aber wegen des Firmengeheimnisses kann man COMPASS nicht unabhängig analysieren und eine bessere Gewichtung der Risikofaktoren verlangen.
Das geht recht einfach: es gibt diverse Eigenschaften, die (leicht) mit der Hautfarbe korrellieren: Verdienst, Verdienst von Verwandten, Freunden, Nachbarn, Wohngebiet, Krankenversicherung oder nicht, soundsooft gewählt in den letzten Jahren bei einem bestimmten Alter, ... dass man aus diesen Angaben mit einer gewissen Chance die Hautfarbe vorhersagen könnte; steckt man solche Angaben in die Vorhersage der Rückfallquote, bekommt man ein solches Ergebnis auch ohne die Hautfarbe abzufragen;

Beitrag melden Antworten / Zitieren
RD123 15.11.2018, 00:41
7. In erster Linie hat man Angst davor,

dass der Computer logischere und konsequenter entscheidet. Da aber in unseren ideologie-basierten Gesellschaften so viele Dinge passieren(=Daten hinterlassen), die nicht sein dürfen, kommt es natürlich äusserst ungelegen, wenn der Computer politisch nicht gewünschte Zusammenhänge aufdeckt.

Beitrag melden Antworten / Zitieren
5b- 15.11.2018, 04:34
8. Dringend Notwendig

Wenn meine Firma 800 Bewerbungen auf eine Stelle bekäme, dann wäre mir sofort klar, dass man den Besten nicht finden kann. Es wird zu viele Gute geben. Gut trainierte Willkür (Intuition) wird der entscheidende Faktor.
Ich glaube nicht, dass Algorithmen verwendet werden um zu entscheiden wer der Beste ist, sondern dazu die Gruppe der Besten zu identifizieren.
Es geht um Automatismus, um Rationalisierung.

Beitrag melden Antworten / Zitieren
dasfred 15.11.2018, 05:48
9. Manche Algorithmen schmeicheln mir

Besonders der, der mir ständig Werbung aus dem gehobenen Luxussegment einspielt. Solange er weiter glaubt, ich lebe in der selben Einkommens-Schicht wie Friedrich Merz, ohne dass ich aktiv eingreifen muss, lass ich mir das gefallen. Es ist eben auch beruhigend, zu wissen, dass die meisten Algorithmen mehr versprechen als halten können. Man darf nur nicht dran glauben.

Beitrag melden Antworten / Zitieren
Seite 1 von 2