Zur Qualität KI-generierten Feedbacks

Fürstenberg, Maurice (August 2025): Zur Qualität KI-generierten Feedbacks. Ein explorativer Vergleich menschlicher und künstlicher Intelligenzen. In: Müller, Hans-Georg und Fürstenberg, Maurice (Hrsg.): DeutschGPT – Deutschunterricht im Dialog mit Künstlicher Intelligenz. Literatur – Medien – Didaktik, Bd. 16. Berlin: Frank & Timme. S. 163-190

Abstract

Ziel des vorliegenden Beitrags ist, die Qualität der Rücmeldungen eines didaktisch systemgeprompteten, generativen Sprachmodells zu Schüler:innentexten zu untersuchen. Hierzu schrieben in einer explorativen Studie 19 Schüler:innen eine erste Textversion, erhielten KI-generiertes Feeback und überarbeiteten daraufhin noch einmal ihre Texte, die wiederum ein maschinelles Feedback bekamen. Die kriteriengeleiteten Rückmeldungen des KI-basierten Systems wurden im Anschluss mit menschlichen Expertenurteilen qualitativ und quantitativ verglichen. Darüber hinaus wurden die Überzeugungen der Schüler:innen untersucht. Die Arbeit liefert vier zentrale Ergebnisse: Erstens verbesserten die Schüler:innen die Qualität ihrer Texte durch die Überarbeitung – ob diese Verbesserung dank oder trotz des KI-generierten Feedbacks erwirkt werden konnte, muss ob der fehlenden Kontrollgruppe unbeantwortet bleiben. Zweitens weist der Vergleich der analytischen Urteile zwischen einem menschlichen Experten und dem KI-System nur auf schwache Übereinstimmungen (ICC = 0,279, p = 0,001) hin. Drittens deuten die qualitativen Analysen an, dass lernförderliches Feedback zu Schüler:innentexten durch das KI-System zwar möglich ist, es treten aber auch eindeutige Probleme in Bezug auf die Konsistenz und die inhaltliche Richtigkeit des Feedbacks zutage. Viertens haben diese Fehler zur Folge, dass einige Schüler:innen dem Feedback kein Vertrauen schenken, was eine der zentralen Herausforderungen von KI-generiertem Feedback ist und bleiben wird.

• Dokumententyp: Buchbeitrag
• Keywords: Künstliche Intelligenz; Sprachmodelle; Feedback; Argumentieren; Feedback
• Fakultät: Sprach- und Literaturwissenschaften ; Sprach- und Literaturwissenschaften > Department 1 > Germanistik ; Sprach- und Literaturwissenschaften > Department 1 > Germanistik > Sprachwissenschaft ; Sprach- und Literaturwissenschaften > Department 1 > Germanistik > Fachdidaktik
• Themengebiete: 300 Sozialwissenschaften > 370 Bildung und Erziehung ; 400 Sprache > 410 Linguistik
• ISBN: 978-3-7329-1120-2
• Ort: Berlin
• Sprache: Deutsch