Diskriminierung durch ein algorithmisches System ist oft sowohl für Betroffene als auch für andere Anwender*innen nicht erkennbar oder wird erst registriert, wenn es zu einer Irritation kommt oder etwas beispielsweise in der Ausgabe oder Anzeige auf Social Media schiefgeht. Manche Autor*innen sprechen von „opferloser Diskriminierung“, da die Betroffenen in der Regel gar nicht erfahren, dass sie von Diskriminierung betroffen waren oder sind. Die Diskriminierung kann im System selbst verankert sein und damit eine große Anzahl von Menschen betreffen (Skalierungseffekt). Dies macht es für einzelne Nutzer*innen schwieriger, die Diskriminierung zu erkennen und sich als davon betroffen zu identifizieren, wie das Paper von AlgorithmWatch zeigt.

In einer qualitativen Studie am Standort der Universität Siegen wurde erforscht, wie Menschen mit Migrationsgeschichte mit den Herausforderungen digitaler Medientechnologien im Alltag umgehen. Dabei wurde fokussiert in den Blick genommen, inwiefern Menschen mit Migrationsgeschichte eine mögliche Ungleichbehandlung durch Systeme Künstlicher Intelligenz wahrnehmen und inwiefern Digitalkompetenzen die (digitale) Teilhabe von Menschen mit Migrationsgeschichte in der Gesellschaft stärken können. Hierzu wurden Ende 2022 und Anfang 2023 fünf problemzentrierte Gruppendiskussionen mit insgesamt 25 Menschen mit Migrationsgeschichte in Berlin und Nordrhein-Westfalen durchgeführt (12 Männer und 13 Frauen). Dabei kam auch eine kreative, nicht-sprachbasierte Methode zum Einsatz (Aufgabe „Bitte male deine Vorstellung von KI“), sodass zielgruppenadäquate Artikulationsmöglichkeiten und Gesprächsanreize geschaffen wurden.

Einige Befragte der Studie empfanden den Umgang mit Medien, in denen Algorithmen verwendet werden, als störend, unangenehm oder zumindest irritierend. Als unerwünscht wurde beschrieben:

Zuweilen sind die befragten Nutzer*innen aber auch zufrieden damit, wie sie von Empfehlungsalgorithmen klassifiziert werden, und empfinden sie als bequem und praktisch (z. B. wenn sie bei den Streamingdiensten Filmvorschläge aus spezifischen kulturellen Kontexten erhalten). Obgleich eine gelegentliche Überbewertung ihrer Interessen durch Algorithmen Irritationen hervorruft, haben nur wenige der Befragten der fünf Fokusgruppen von explizit diskriminierenden Auswirkungen auf die Nutzer*innenprofilerstellung berichtet. Algorithmenbasierte Zuschreibungen einer bestimmten kulturellen Zugehörigkeit in Form von Empfehlungsalgorithmen durch Streaming- oder Dating-Apps sowie das Nicht-Dazugehören, das durch die KI-basierte Autokorrektur ausländisch klingender Namen suggeriert wird, werden eher relativiert.

Nur wenige der Teilnehmer*innen der Studie fühlen sich motiviert und in der Lage, aktiv auf KI-Technologien einzuwirken, um eine Ungleichbehandlung zu minimieren bzw. zu verhindern. Einige nutzen dabei kreative Praktiken des Austricksens des Algorithmus, um beispielsweise die angezeigten Medieninhalte an die eigenen Interessen anzupassen. Viele Befragte bewerten die Technologie gleichzeitig als beängstigend, störend und irritierend. Dies prägt die subjektiv empfundene Handlungsmacht und führt zum Teil zu Resignation. Die Teilnehmer*innen sehen kaum Interventionsmöglichkeiten. Ferner verfügen nicht alle über die Fähigkeiten, Einstellungen zu verändern, um KI-Technologie zweckmäßiger und diskriminierungsfreier zu gestalten.

In den Fokusgruppen wurde deutlich, dass es an einer Sensibilisierung für Diskriminierungspotenziale mangelt, wobei Menschen mit Migrationsgeschichte ein besonders großes Risiko haben, Ungleichheiten und Ausgrenzungen bei bestimmten digitalen Anwendungen zu erfahren. Grund dafür könnte sein, dass es an vergleichenden Negativbeispielen bei der Nutzung von KI-Systemen fehlt, zu denen sie ihre eigene Nutzungsweise und zugehörige Erfahrungen in Beziehung setzen könnten (auch im Sinne geteilter Betroffenheit). Zudem werden diskriminierende Potenziale von KI-Technologien im öffentlichen Diskurs kaum angesprochen (z. B. das Online-Profiling und Targeting in der öffentlichen Verwaltung, in der Privatwirtschaft oder auf Online-Plattformen), bzw. es wird darüber noch zu wenig aufgeklärt.