Developing a holistic AI literacy assessment matrix – Bridging generic, domain-specific, and ethical competencies

Kurzbeschreibung

Der Beitrag stellt einen ganzheitlichen Ansatz zur Messung von AI Literacy vor. Das vorgestellte Kompetenzmodell unterscheidet zwischen allgemeiner sowie bereichsspezifischer AI Literacy und fasst KI-Ethik explizit als zentralen Aspekt von AI Literacy auf. Außerdem werden die Aspekte der Kognition, des Verhaltens und der Einstellungen als Bestandteile von AI Literacy herausgestellt. Bereichsspezifische AI Literacy beschreiben die Autor*innen in drei beispielhaften Bereichen, nämlich der Medizin, dem Ingenieurwesen und der Bildung. Diese wurden ausgewählt, da sie zunehmend von Systemen Künstlicher Intelligenz durchdrungen sind.

Annahmen über die Folgen der Digitalisierung

Die Integration von Künstlicher Intelligenz in den Alltag ist zwar kein neues Phänomen, da zahlreiche Technologien und Anwendungen bereits Algorithmen des maschinellen Lernens einsetzen. Doch die Durchdringung der Gesellschaft, der Arbeitswelt und des Privatlebens mit Technologien Künstlicher Intelligenz wird immer stärker sichtbar. Dies erfordert spezifische Kompetenzen, die es Menschen ermöglichen, souverän mit Künstlicher Intelligenz zu handeln. Dazu bedarf es sowohl Bildungsmaßnahmen als auch Messinstrumenten für AI Literacy. Die Notwendigkeit von Kompetenz wird auch daran deutlich, dass der Einsatz Künstlicher Intelligenz Schaden mit sich bringen kann, wenn Systeme mangelhaft gestaltet oder integriert sind. Bislang mangelt es der Bevölkerung jedoch zum Teil an Wissen und die Bewusstsein für diese Technologie.

Kompetenzanforderungen

Die Autor*innen benennen eine Reihe von Kompetenzanforderungen – sowohl allgemeiner Art als auch speziell für die Berufsfelder der Medizin, des Ingenieurwesens sowie der Bildung. Ein Überblick über diese findet sich unter der Überschrift “Kompetenzdimensionen”.

Kompetenzbegriffe (nach dem Papier)

AI Literacy

Unterdimensionen (nach dem Papier)

Knowledge/Cognition,
Skills/Behavior,
Attitudes/Behavior

Kompetenzdimensionen (nach dem Rahmenkonzept von Digitales Deutschland)

Instrumentell-qualifikatorische Dimension: Mit Künstlicher Intelligenz umgehen können, z.B. um Lernziele zu erreichen; KI-Systeme verwenden; mit ihnen interagieren und ihnen Feedback geben; KI-Systeme konfigurieren und überwachen können; Wissen über Künstliche Intelligenz in Handeln umsetzen können.

Kognitive Dimension: Grundlegendes Verständnis von Künstlicher Intelligenz; Verständnis von Informationen, Daten, Konzepten und Theorien zu Künstlicher Intelligenz; verstehen, wie Künstliche Intelligenz funktioniert; allgemeines Wissen darüber, was KI-Systeme leisten und was nicht; Wissen über ethische Aspekte zu Künstlicher Intelligenz (allgemeine Aspekte, Datenschutz, Fairness/ Bias, Erklärbarkeit, Verantwortlichkeit, Transparenz, Korrektheit/Genauigkeit, Diversität, Zuverlässigkeit, Reproduzierbarkeit); Wissen darüber, wie Modelle für maschinelles Lernen trainiert, validiert und getestet werden; beschreiben können, wie sich regelbasierte Systeme von Systemen maschinellen Lernens unterscheiden.

Affektive Dimension: Intrinsische Motivation und Selbstwirksamkeit entwickeln; Begeisterungsfähigkeit; Anpassungsfähigkeit; Resilienz; Bereitschaft zu lernen und sich weiterzuentwickeln; positive Einstellung gegenüber Medien entwickeln und somit eine Problemlösungskompetenz aufweisen; Offenheit für die ethische Bewertung von Künstlicher Intelligenz (moralisches Urteilsvermögen, ethische Sensibilität, die Bedeutung ethischer Prinzipien beurteilen, Vertrauen, Risiko- und Chancenbewusstsein in Bezug auf Künstliche Intelligenz).

Kreative Dimension: Systeme Künstlicher Intelligenz adaptieren und gestalten.

Soziale Dimension: KI-Systeme kollaborativ für das Lernen verwenden können.

Kritisch-reflexive Dimension: Sich Nutzungsszenarien für Künstliche Intelligenz im Arbeitsbereich vorstellen können; Künstliche Intelligenz kritisch bewerten können; Vorteile, Grenzen und Herausforderungen von KI-Systemen verstehen können; beurteilen können, ob ein Problem mit Anwendungen Künstlicher Intelligenz gelöst werden kann und sollte; über eigene Erfahrung der Interaktion mit Künstlicher Intelligenz im Alltag reflektieren können; mögliche Konsequenzen des Einsatzes Künstlicher Intelligenz reflektieren (unter anderem in ethischer Hinsicht).

Zentrale theoretische Annahmen über Kompetenz

In Anlehnung an Franz Weinerts Definition von Kompetenz wird kompetentes Handeln im Text wie folgt beschrieben: Menschen handeln kompetent, wenn sie auf Basis von Wissen handeln und dieses in Einklang mit Werten steht. AI Literacy wird aktuell zu einer Schlüsselkompetenz ähnlich wie Digital Literacy oder Information Literacy es in der Vergangenheit geworden sind. Was AI Literacy genau umfasst, dazu gibt es unterschiedliche Ansichten. Einigkeit besteht vor allem darin, dass AI Literacy Menschen adressiert, die im Bereich Künstlicher Intelligenz keine Expert*innen sind. Die Autor*innen führen einen ganzheitlichen Ansatz zur Messung von AI Literacy ein. Sie unterscheiden darin zwischen allgemeiner und domänenspezifischer AI Literacy. Über Erstere sollten alle Bürger*innen verfügen, unabhängig von ihrer beruflichen Tätigkeit. Allgemeine AI Literacy umfasst ein breiteres Spektrum an Fähigkeiten: sozio-emotionale, soziokulturelle Kompetenz und andere Fähigkeiten wie Kommunikation und Zusammenarbeit, die es Nicht-Expert*innen im Bereich Künstliche Intelligenz ermöglichen, sich in einer von Künstlicher Intelligenz geprägten Welt zu entfalten und daran teilzuhaben. Domänenspezifische Kompetenz (also Fähigkeiten, das Verständnis Künstlicher Intelligenz mit den Anforderungen, die mit deren Einsatz in einer bestimmten Domäne einhergehen, zusammenzubringen) ist in der Forschung bislang eher unterrepräsentiert. Dennoch kommt ihr eine große Bedeutung zu – auch vor dem Hintergrund, dass sich Studierende aus Fachbereichen außerhalb der Computerwissenschaften häufig wenig vorbereitet auf die zunehmende Integration von Künstlicher Intelligenz in ihre Bereichen fühlen. Ethischen Aspekte messen die Autor*innen neben den beiden zuvor genannten Arten von Kompetenz eine zentrale Bedeutung bei. Obgleich andere Kompetenzmodelle den Ethik-Aspekt in ihre Modelle integriert haben, plädieren sie dafür, diesen als eigenständig zu betrachten und ethische Aspekte sowohl im kognitiven als auch im Handlungs -und Einstellungsbereich zu berücksichtigen.

Perspektive der Kompetenzträger*innen auf Kompetenz einbezogen?

keine Angabe

Lebenskontexte der Kompetenzträger*innen einbezogen?

Für konkrete Berufsgruppen und Bildungskontexte schlagen die Autor*innen vor, spezifische berufsbezogene Aspekte von AI Literacy zu adressieren. Dabei listen sie konkrete Kompetenzausprägungen für die Bereiche Medizin, Bildung und Ingenieurswesen auf (siehe S. 7).

Herausforderungen der Erfassung von Kompetenz

Je nach Zielgruppe ist es notwendig, den Begriff Literacy anzupassen und um spezifische Aspekte zu ergänzen. Daher plädieren die Autor*innen für ein Kompetenzmodell, das sowohl allgemeine als auch fachspezifische Kompetenz und ethische Aspekte berücksichtigt. In diesen drei Bereichen sollte nicht nur Wissen erfasst werden, sondern auch Fähigkeiten und Einstellungen. Dazu bedarf es unterschiedlicher Methoden. Viele bestehende Instrumente nutzen Selbsteinschätzungen, wobei affektive Komponenten wie Einstellungen häufig unberücksichtigt bleiben. Dieses Vorgehen hat weitere Limitationen, da die Ergebnisse verzerrt sein können, etwa durch Effekte sozialer Erwünschtheit. Wissen ist beispielsweise mit Multiple-Choice-Tests gut messbar. Hingegen muss Handeln eher beobachtet oder durch einen Situational Judgment Test erhoben werden. Eine weitere Möglichkeit, Handeln greifbar zu machen, ist die Beobachtung der Nutzung anhand von log-Daten. Ethische Aspekte empirisch zu untersuchen, ist herausfordernd, da es selten ein eindeutiges richtig oder falsch gibt.

Quellenangabe

Knoth, N., Decker, M., Laupichler, M. C., Pinski, M., Buchholtz, N., Bata, K., & Schultz, B. (2024). Developing a holistic AI literacy assessment matrix – Bridging generic, domain-specific, and ethical competencies. Computers and Education Open, 6, 100177. https://doi.org/10.1016/j.caeo.2024.100177