Eine Software kann keine Vorurteile haben, trotzdem urteilt in den USA ein Algorithmus für Straftäter geradezu rassistisch. Obwohl die Hautfarbe nicht abgefragt wird, berechnet die Software bei Schwarzen eine sehr viel höhere Rückfallquote.
US-Journalisten des Portals ProPublica haben herausgefunden, dass die Software Compas (Correctional Offender Management Profiling for Alternative Sanctions) Afroamerikanern fast doppelt so häufig wie Weißen eine hohe Rückfallquote attestiert. Der Algorithmus wird zur Verbrechungsbekämpfung eingesetzt und soll das Rückfallrisiko berechnen. Bei Schwarzen warnt die Software zu oft und bei Weißen zu wenig vor einem Rückfall. Bei Weißen werden spätere Vergehen sogar doppelt so oft nicht vorhergesagt.
Die Ergebnisse der Software beeinflussen beispielsweise die Festsetzung der Kautions- und Strafhöhe oder die Entscheidung, ob eine Strafe zur Bewährung ausgesetzt wird. Wie der Algorithmus programmiert wurde, konnten die Journalisten nicht herausfinden, weil er der Geheimhaltung unterliegt. Offen gelegt wurden die Parameter, die abgefragt werden wie:
Sind Verwandte ebenfalls inhaftiert? Kann der Straftäter mit Geld umgehen? Zieht er häufig um? Haben sich die Eltern getrennt?
Explizit nach der Hautfarbe wird nicht gefragt.
Fragwürdige Erfolgsquote
Die Journalisten vermuten, dass die Diskriminierung durch die 137 Fragen entsteht, die gestellt werden, weil Schwarze diese anders als Weiße beantworten. Die Software scheint daraus eine höhere Wahrscheinlichkeit für einen Rückfall zu berechnen. Der Erfolg der Software ist begrenzt.
In Florida wurden 61 Prozent der Straftäter innerhalb von zwei Jahren wieder verhaftet, denen zuvor ein Rückfall prognostiziert wurde. Bei Gewalttätern lag die Quote bei nur 20 Prozent richtige Vorhersage. In Deutschland wird eine derartige Software bislang nicht eingesetzt.