Prüfen mit oder gegen KI ?!

Neue KI-Systeme und Large Language Models stellen Lehrende aktuell vor neue Herausforderungen hinsichtlich der Gestaltung von Prüfungen, insbesondere unbeaufsichtigte Prüfungen betreffend.

Einfache Abfragen von Faktenwissen können von den Sprachmodellen bereits ohne Schwierigkeiten gelöst werden, oftmals mit besserem Ergebnis als von Studierenden erzielt, und machen daher, in vielen Fällen, noch weniger Sinn als früher. Gleichermaßen wiesen KI generierte Texte eine höhere durchschnittliche Qualität auf (bemessen an sechs linguistischen Charakteristika – vgl. [1]) als die von Studierenden erstellten Texte. Es stellt sich die Frage, wie diese neuen Werkzeuge sinnvoll in Lern- und Lehraktivitäten integriert werden können, um nicht gegen die neue Technologie zu arbeiten, sondern diese effektiv und verantwortungsbewusst einzusetzen. Herbold et al. fassen die aktuelle Problematik so zusammen:

“We must re-invent homework and develop teaching concepts that utilize these AI models in the same way as math utilizes the calculator: teach the general concepts first and then use AI tools to free up time for other learning objectives.” [1]

Gerade vor dem Hintergrund des angestrebten Lern-/Lehrparadigmas des Constructive Alignment, bieten KI Werkzeuge Lernenden viele Möglichkeiten die angestrebten Lernziele zu erreichen. Beispielsweise können Sprachmodelle wie ChatGPT 3.5/4 in einem sog. sokratischen Dialog [2, 3] Lernende zu Ergebnissen führen, ohne unmittelbar die Lösung zu präsentieren. Lehrende können mittels KI Werkzeugen Serien von Fragen zu diversen Themen generieren lassen, um so beispielsweise individuelle Prüfungen für alle Lernenden generieren lassen. PD Dr. Malte Persike (RWTH Aachen) hat kürzlich zu diesem Thema ein interessantes Interview gegeben [4].

Die zunehmenden Einflüsse von KI werden die Gestaltung von (Remote-) E-Prüfungen nachhaltig beeinflussen. Kreative Fragestellungen sowie neuartige Nachweispflichten, etwa der verwendeten Prompts einzelner KI Tools,  können Mittel sein, um zukünftig KI-Modelle sinnvoll in die Lehre zu integrieren.

[1] Herbold, S., Hautli-Janisz, A., Heuer, U. et al. A large-scale comparison of human-written versus ChatGPT-generated essays. Sci Rep 13, 18617 (2023). https://doi.org/10.1038/s41598-023-45644-9 (Abgerufen  am 27.03.2024)

[2] https://hochschulforumdigitalisierung.de/im-sokratischen-gespraech-mit-ki/ (Abgerufen  am 27.03.2024)

[3] https://poe.com/SokratischerDialog_5 ( „primed“ Testinstanz “Sokratischer Dialog“), (Abgerufen  am 27.03.2024)

[4] https://www.e-teaching.org/materialien/podcasts/podcast-2024/pruefungen-generieren-mit-ki-neue-erkenntnisse-aus-der-rwth-aachen-university (Abgerufen  am 27.03.2024)

Bildnachweis: https://commons.wikimedia.org/wiki/File:Socrates._Line_engraving_by_D._Cunego,_1783,_after_A._R._Men_Wellcome_V0005527.jpg


Sie wollen keinen Tipp mehr verpassen? Melden Sie sich zu unserem Newsletter an. Alle bisherigen Tipps finden Sie in unserem Archiv.