Evaluating AI Courses: A Valid and Reliable Instrument for Assessing Artificial-Intelligence Learning through Comparative Self-Assessment
Kurzbeschreibung
Die vorliegende Studie beschreibt, wie mithilfe eines Instruments zur Messung von AI Literacy – der „Skala zur Bewertung der AI Literacy von Laien“ (kurz: SNAIL) – ein Lernangebot zu Künstlicher Intelligenz für Bachelorstudierende evaluiert wurde. Dabei haben die befragten Studierenden ihre KI-Kompetenz vor und nach dem Belegen des Kurses rückwirkend eingeschätzt. Ziel der Studie war es, zu untersuchten, ob die Skala zur Bewertung von KI-Kursen verwendet werden kann und ob Mediatorvariablen wie die Einstellung zu Künstlicher Intelligenz oder die Belegung anderer Kurse zu diesem Thema einen Einfluss auf den Lernerfolg haben.
Annahmen über die Folgen der Digitalisierung
Menschen kommen zunehmend – sei es bewusst oder unbewusst – mit Künstlicher Intelligenz in Kontakt.
Kompetenzanforderungen
Um sinnvoll und ergebnisorientiert mit Künstlicher Intelligenz umgehen und mögliche Vorteile sowie Risiken einschätzen zu können, ist ein grundlegendes Verständnis von Künstlicher Intelligenz unerlässlich.
Kompetenzbegriffe (nach dem Papier)
Unterdimensionen (nach dem Papier)
technical understanding,
critical appraisal,
practical application
Kompetenzdimensionen (nach dem Rahmenkonzept von Digitales Deutschland)
Kognitive Dimension: Beschreiben können, wie Machine Learning Modelle trainiert, validiert und getestet werden; erklären können, in welchem Verhältnis Deep Learning zu Machine Learning steht und wie sich regelbasierte Systeme von Machine Learning Systemen unterscheiden; erklären können, wie Anwendungen Künstlicher Intelligenz Entscheidungen treffen; erklären können, wie „Reinforcement Learning” im Wesentlichen funktioniert (im Kontext von Machine Learning); den Unterschied zwischen starker und schwacher Künstlicher Intelligenz erklären können; erklären können, wie Sensoren von Computern verwendet werden, um Daten zu sammeln, und welche für KI-Zwecke genutzt werden können; erklären können, was der Begriff “künstliches neuronales Netz” bedeutet; erklären können, wie Machine Learning generell funktioniert; den Unterschied zwischen “Supervised Learning” und “Unsupervised Learning” erklären können (im Kontext von Machine Learning); das Konzept der erklärbaren Künstlichen Intelligenz beschreiben können; beschreiben können, wie einige Systeme Künstlicher Intelligenz in ihrer Umgebung handeln und auf ihre Umgebung reagieren können; das Konzept von Big Data beschreiben können; bewerten können, ob Darstellungen von Künstlicher Intelligenz in den Medien (z. B. in Filmen oder Videospielen) die aktuellen Fähigkeiten von KI-Technologien übersteigen; Beispiele aus dem täglichen Leben geben können, bei denen man in Kontakt mit Künstlicher Intelligenz sein könnte; Beispiele technischer Anwendungen nennen können, die von Künstlicher Intelligenz unterstützt werden; erkennen können, ob die Technologien, die man nutzt, von Künstlicher Intelligenz unterstützt werden; Anwendungen nennen können, bei denen KI-unterstütztes Natural Language Processing/Understanding genutzt wird; erklären können, warum Künstliche Intelligenz in letzter Zeit zunehmend wichtiger geworden ist; erklären können, warum Daten eine wichtige Rolle bei der Entwicklung und Anwendung Künstlicher Intelligenz spielen; beschreiben können, was Künstliche Intelligenz ist; beschreiben können, warum Menschen eine wichtige Rolle bei der Entwicklung von Systemen Künstlicher Intelligenz spielen.
Affektive Dimension: Reflektieren können, ob man Angst vor Künstlicher Intelligenz hat.
Kritisch-reflexive Dimension: Beurteilen können, ob ein Problem im konkreten Fachbereich mit Methoden der Künstlichen Intelligenz gelöst werden kann und sollte; erklären können, warum Datenschutz und Datensicherheit beachtet werden muss, wenn Anwendungen Künstlicher Intelligenz entwickelt und verwendet werden; ethische Bedenken rund um Künstliche Intelligenz identifizieren können; Risiken beschreiben können, welche auftreten können, wenn Systeme Künstlicher Intelligenz verwendet werden; Schwächen von Künstlicher Intelligenz nennen können; potentielle rechtliche Probleme beschreiben können, welche entstehen können, wenn Künstliche Intelligenz genutzt wird; den potentiellen Einfluss von Künstlicher Intelligenz auf Individuen und die Gesellschaft kritisch reflektieren können; die Auswirkungen von Anwendungen der Künstlichen Intelligenz in mindestens einem Themenbereich kritisch bewerten können.
Zentrale theoretische Annahmen über Kompetenz
Zwar gibt es verschiedene Definitionen von AI Literacy, hier wird jedoch auf eine weit verbreitete Definition von Duri Long und Brian Magerko zurückgegriffen. Demnach umfasst AI Literacy Fähigkeiten, Technologien Künstlicher Intelligenz kritisch zu evaluieren, mit ihnen effektiv zu kommunizieren und zusammenzuarbeiten sowie Künstliche Intelligenz als ein Werkzeug online, zu Hause und in der Arbeit zu nutzen (S. 1).
Perspektive der Kompetenzträger*innen auf Kompetenz einbezogen?
keine Angabe
Lebenskontexte der Kompetenzträger*innen einbezogen?
An der Evaluation nahmen Studierende unterschiedlicher Fachrichtungen teil, wodurch ein Vergleich zwischen Lernenden mit höheren und niedrigeren technischen Kompetenzen möglich war.
Herausforderungen der Erfassung von Kompetenz
Lernerfolge werden oftmals anhand von nicht validierten Skalen gemessen oder Evaluationen beschränken sich auf die Erfassung der Zufriedenheit von Lernenden mit dem Angebot. Die Autor*innen argumentieren jedoch, dass die Bewertung von Lernerfolgen mit einem zuverlässigen, objektiven und validen Instrument wichtig ist, um potenzielle Probleme bei der Vermittlung von AI Literacy aufzudecken und die Qualität von Kursen zu Künstlicher Intelligenz zu bewerten.
Zentrale empirische Befunde über Kompetenz
Das getestete KI-Kompetenzmodell erwies sich als ein hilfreiches Tool für die Messung der Entwicklung von AI Literacy von Studierenden. In allen drei Dimensionen von AI Literacy ergab sich nach dem Lernangebot eine signifikant bessere Kompetenzeinschätzung als retrospektiv betrachtet. Diese Verbesserungen waren jedoch je nach Anforderung unterschiedlich stark ausgeprägt. Besonders deutlich fielen die Unterschiede zwischen vor und nach dem Kurs bei technischen Fähigkeiten aus, da dies auch der Fokus des Lernangebots war. Eine Korrelation zwischen AI Literacy und Einstellungen zu Künstlicher Intelligenz wurde nicht festgestellt.
Quellenangabe
Laupichler, M.C., Aster, A., Perschewski, J.-O., & Schleiss, J. (2023). Evaluating AI Courses: A Valid and Reliable Instrument for Assessing Artificial-Intelligence Learning through Comparative Self-Assessment. Education Sciences, 13. https://doi.org/10.3390/educsci13100978