Algorithmen haben ein Rassismusproblem

Text von Adrian Lobe
Kunst von Gao Hang

_{Lesedauer: 9 Min.}

Algorithmische Systeme können rassistische Strukturen in der Gesellschaft verstärken. Doch das Problem ist kein technisches, sondern ein menschliches.

Wenn sich eine Uber-Fahrerin ans Steuer setzt, muss sie sich in der App einloggen und ein Selfie zur Authentifizierung machen. Irgendwo auf der Welt sitzt dann ein:e Vertragsarbeiter:in am Laptop und gleicht das Selfie mit dem in der Datenbank hinterlegten Foto ab. Eine Sanduhr läuft herunter, und nach wenigen Sekunden Prüfung kommt er oder sie zu dem Ergebnis: Das sind dieselben Augen, dieselben Wangenknochen – und klickt »Okay«. Dafür bekommt er ein paar Cent. Geisterarbeit, nennen Mary L. Gray und Siddharth Suri diese Arbeitsform in ihrem Buch »Ghost Work«. 13.000 Mal am Tag wird allein in den USA die Identität von Uber-Fahrer:innen überprüft.

Seit einigen Jahren setzt der Fahrdienstleister im Rahmen des »Real Time ID Check« auch Algorithmen ein: Das System nutzt eine Gesichtserkennungssoftware von Microsoft, die biometrische Merkmale scannt und mit einer Datenbank abgleicht. Stimmen die Daten überein, gibt der Computer grünes Licht. So weit, so einfach. Doch offensichtlich funktioniert das automatisierte System nicht so, wie es sollte. Im März dieses Jahres erhoben afrikanisch- und indischstämmige Fahrer:innen des Lieferdienstes »Uber Eats«, einer Tochter des Fahrvermittlers, schwere Vorwürfe: Sie seien entlassen worden, weil die »rassistische« Gesichtserkennung ihre Gesichter nicht erkannt habe. Mehrere »Mismatches« hätten dazu geführt, dass der Account gesperrt wurde. Die Gewerkschaft App Drivers and Courier’s Union (ADCU), die mehrere betroffene Fahrer vertritt, hat daraufhin Diskriminierungsklage in Großbritannien eingereicht. Zunächst war nur ein gutes Dutzend Fälle bekannt geworden, doch nach Angaben der Klagenden könnten Hunderte, wenn nicht Tausende Fahrer:innen betroffen sein. Die Gewerkschaft fordert daher, den Einsatz von Gesichtserkennung für den Fahrvermittler zu verbieten.

Maschinen werden von Menschen trainiert, deren unterschwellige Vorurteile und Stereotype in die mathematischen Modelle einfließen.

Dass Algorithmen Probleme bei der Erkennung schwarzer oder asiatischer Gesichter haben, ist kein neues Phänomen. So hat Googles Foto-App 2015 das Bild eines Schwarzen und seiner Freundin als »Gorillas« getaggt – und damit diskriminiert. Im vergangenen Jahr war Twitter öffentlich in die Kritik geraten, nachdem mehrere Nutzer:innen berichteten, dass der Algorithmus beim automatischen Zuschnitt von Fotos schwarze Menschen ausschneidet.

Immer wieder passieren solche Fehler. Im Jahr 2016 wollte der Neuseeländer Richard Lee online einen Reisepass beantragen. Als er ein Foto bei der Passbehörde hochlud, poppte eine Fehlermeldung auf: »Das Foto, das Sie hochladen wollen, erfüllt unsere Kriterien nicht«, stand da in roter Schrift. Der angegebene Grund: geschlossene Augen. Doch die Maschine irrte. Lees Augen waren geöffnet – sie waren nur schmaler als der Durchschnitt. Seine Eltern stammen aus Taiwan und Malaysia. Der Algorithmus legte hier eine andere statistische Norm – eine europäische nämlich – zugrunde, was Menschen asiatischer Abstammung ausgrenzt und diskriminiert. Aber was ist eigentlich normal? Wer definiert das? Und was sagt das über eine Gesellschaft, in der Normalitätsfeststellungen automatisiert erfolgen?

Die Technik trägt das Versprechen, dass sie wertneutral operiere. Die Maschine schert es nicht, ob jemand Ali oder Anton, Annette oder Ananda heißt, ob jemand asiatisch oder europäisch aussieht. Sie interessiert es ja auch nicht, ob jemand groß oder klein, dick oder dünn, glücklich oder unglücklich ist. Der Computer urteilt nur nach Ansehung der Daten. Zumindest in der Theorie. In der Praxis sieht es jedoch anders aus. Maschinen werden von Menschen trainiert, deren unterschwellige Vorurteile und Stereotype in die mathematischen Modelle einfließen. So hat Amazons Bewerbungsroboter zwischen 2014 und 2017 systematisch Bewerberinnen abgelehnt. Der Grund: Das System war darauf trainiert, Muster von erfahrenen Bewerbern mit über zehn Jahren Berufserfahrung zu selektieren. Und weil das in der Praxis überwiegend Männer sind, hat das System Frauen aussortiert. Das System brachte sich selbst bei, dass Männer bei der Bewerbung bevorzugt werden, indem es beispielsweise Lebensläufe, die das Wort »women’s« (etwa in »women’s chess club captain«) enthielten, schlechter bewertete. Durch solche permanenten Feedback-Loops können automatisierte Systeme die misogynen, rassistischen oder anderweitig diskriminierenden Grundmuster und Stereotype einer Gesellschaft zementieren und verstärken.

Im Grunde fängt es schon mit der Datengrundlage an. Lernt ein Algorithmus, dass in den Chefetagen weiße Männer sitzen, wird er diesen Bias nicht nur reproduzieren, sondern auch perpetuieren. Man muss nur mal in die Google-Bildersuche den Begriff »CEO« eingeben. Ergebnis: sehr viele Männer, ein paar Frauen, alle weiß. Das spiegelt die Realität nicht einfach nur wider, sondern verfälscht sie auch. In den Fortune-500-Unternehmen der umsatzstärksten Industrieunternehmen auf der Welt gibt es immerhin 19 schwarze CEOs. Es entsteht das fatale Zerrbild, wonach alle Chefs weiß seien. Die KI-Forscherin Kate Crawford hat das mal als »Artificial Intelligence’s White Guy Problem« bezeichnet – als Weißer-Typ-Problem der Künstlichen Intelligenz. Rassistische Algorithmen, programmiert von weißen IT-Experten: Zwar haben Tech-Konzerne schon vor einigen Jahren angekündigt, ihre Entwicklerteams diverser zu machen. Doch in den Softwareschmieden des Silicon Valley sitzen noch immer mehrheitlich weiße junge Männer aus der Mittel- und Oberschicht, die – häufig unbewusst – ihre Werte und Weltanschauung in Programmcode formulieren.

Absolutely different identities , 2021.  

Der strukturelle Rassismus reicht weit zurück in die Technikgeschichte. In den 1940er und 1950er Jahren orientierten sich Fotolabore bei der Kalibrierung von Farbtönen an den sogenannten Shirley Cards. Die Referenzkarten, die Kodak in großer Stückzahl verschickte, zeigten das weiße Model Shirley Page, deren heller Teint als »normal« definiert wurde. Dunklere Hauttöne hatten weniger Kontraste und waren ohne besondere Lichttechnik schlecht darstellbar. Fotografie wurde von Weißen für Weiße gemacht.

In den 1950er und 1960er gab es Proteste von schwarzen Müttern: Auf Fotos von Abschlussbällen würden ihre Kinder nicht gut herauskommen. Doch erst als sich in den 1970er Jahren Schokoladen- und Möbelhersteller beschwerten, dass die Brauntöne ihrer Produkte in der Reklame schlecht darstellbar seien, änderte Kodak seine chemische Formel. Der Mensch? Egal. Hauptsache, der Unterschied von Teak- und Eichenholz kommt in der Hochglanzbroschüre raus. Dass Diversität nur ein Nebenprodukt der Kulturindustrie war, ist eine bittere Ironie der Geschichte – und verweist auch auf die weitgehende Moralfreiheit der Entwickler:innen.

Die Fotokamera oder der Roboter sind nicht rassistisch. Es sind die Menschen, die sie bedienen.

Versuche, den technikimmanenten Rassismus durch entsprechendes Design zu beseitigen, schlugen weitgehend fehl. Nachdem Polaroid 1966 eine Kamera speziell für Passfotos auf den Markt brachte, deren integrierter »Boost-Button« den Blitz verstärkte und damit für eine bessere Belichtung schwarzer Menschen sorgte, wurde der Apparat vom Apartheids-Regime verwendet, um Fotos von schwarzen Südafrikaner:innen für das sogenannte »Passbook« anzufertigen – ein Ausweisdokument, das die unterdrückte Minderheit mitzuführen hatte. Nach Protesten von Studierenden und Belegschaften verhängte das Unternehmen einen Boykott.

Das Rassismusproblem wurde auch nicht durch die Digitalfotografie gelöst. So markierte der »Blinzelmodus« der Nikon Coolpix S630 – mit dem Feature konnte man aufgenommene Fotos nach Personen mit geschlossenen Augen durchsuchen und löschen – asiatische Gesichter, obwohl die Augen geöffnet waren. Auch hier hatte der Algorithmus offenbar Probleme, Gesichter zu erkennen, die nicht dem programmierten Idealbild entsprachen. Das verwundert insofern, als man bei einem japanischen Hersteller eine andere Datengrundlage erwarten würde.

Die Digitaltechnik verschärft zuweilen das Rassismusproblem. So hat IBM eine Software für die US-Polizei entwickelt, mit der sich Bilder von Überwachungskameras nach der Hautfarbe von Menschen scannen lassen. Das flagrante Racial Profiling, das dieser Rasterfahndung immanent ist, kann auch nicht durch die vermeintliche Präzision der Algorithmen kaschiert werden. Denn natürlich gibt der Cop am Bildschirm den Suchbegriff »black« ein.

(1) Speak in your face, 2021. (2) Losing the freedom of shaming people, 2021. 

Zwar werden Schwarze von Überwachungskameras schlechter erkannt als Weiße, was man vordergründig als subversiv deuten könnte. Doch die blinden Flecken der Technik können fatale Folgen haben: Sie können einem den Job kosten (siehe Uber). Oder das Leben.

So kam eine Studie des Georgia Institute of Technology zu dem Ergebnis, dass die Sensoren autonomer Fahrzeuge Fußgänger:innen mit hellerer Hautfarbe besser erkennen als mit dunkleren Hauttönen. Das bedeutet, dass ein Schwarzer ein größeres Risiko hat, von einem Roboterfahrzeug angefahren zu werden als ein Weißer. Ist man als Schwarzer für eine Maschine bloß Luft? Oder ein Objekt? Kann es angehen, dass durch die Hintertür der Technik rassistisch grundierte Risikoklassen entstehen?

Auch in der Medizin sind Risiken ungleich verteilt. So erkennen KI-gestützte Apps und Screeningverfahren Hautkrebs bei weißen Menschen besser als bei Schwarzen. Der Grund: Schwarze und Hispanics konsultieren im Vergleich zu Weißen in den USA seltener eine:n Dermatolog:in, weil sie sich die Arztkosten oft nicht leisten können – und sind so in den Fotodatenbanken, mit denen die KI trainiert wird, unterrepräsentiert. So können Algorithmen am Ende auch soziale Ungleichheiten verschärfen.

Afroamerikaner:innen werden in der medizinischen Versorgung systematisch diskriminiert. Im US-Gesundheitswesen – wie auch in der Justiz und Strafverfolgung – kommen seit einigen Jahren automatisierte Systeme zum Einsatz, die unter anderem über die Behandlungsmethoden entscheiden oder das Gesundheitsrisiko determinieren. Statistische Analysen von Gesundheitsdaten großer Krankenhäuser zeigen, dass Algorithmen schwarzen Menschen einen niedrigeren Risikoscore zuweisen als weißen Menschen, die genauso krank oder gesund sind. In der Folge bekommen Schwarze weniger Behandlungen bezahlt. Und das, obwohl sie ein höheres Risiko für Krankheiten wie Diabetes oder Bluthochdruck haben.

Der Grund ist auch hier ein sozioökonomischer: People of Color haben im Vergleich zu anderen Bevölkerungsgruppen in den USA einen niedrigeren Bildungsgrad, einen geringeren Verdienst und können sich daher weniger Behandlungen leisten. Die Folge: Sie werden öfter krank und haben ein höheres Sterblichkeitsrisiko (unter anderem auch bei Covid-19). Weil der Algorithmus aber Risikogruppen auf Basis von Behandlungskosten und nicht anhand physiologischer Faktoren ermittelt, werden Schwarze als gesünder klassifiziert, als sie eigentlich sind – und damit diskriminiert.

Die Softwareingenieur:innen tun so, als seien das alles technische Probleme, ein paar falsche Einstellungen im Maschinenraum, die man nur richtig justieren müsse. Doch der Solutionismus (Evgeny Morozov) verkennt, dass diese Instrumente soziale Probleme verstärken, für die es keine Softwarelösung gibt: Armut, Krankheiten, Gewalt. Die Fotokamera oder der Roboter sind nicht rassistisch. Es sind die Menschen, die sie bedienen.

Dieser Artikel ist thematisch an die Produktion Giuditta der Bayerischen Staatsoper angelehnt.