Wie leistungsfähig sind adaptive Lernplattformen?
In einem längeren Beitrag hatte ich letzte Woche aufgezeigt, was unter der Haube von KI-basierten Lernplattformen vorgeht bzw. wie diese Lernprozesse unterstützen. Jetzt steht die Frage im Raum: Wie leistungsfähig sind diese Systeme denn nun?
Eine verbreitete Auffassung ist, dass menschliche Tutoren leistungsfähiger sind als technisch-basierte tutorielle Lösungen. Diese Erwartung lässt sich vereinfacht so darstellen:
| Lernerfolg mit Unterstützung durch menschliche Tutoren | > | Lernerfolg mit Unterstützung durch intelligente tutorielle Systeme (KI-basiert) | > | Lernerfolg mit Unterstützung durch Computer-unterstützte Instruktion (WBT / CBT) |
Dahinter liegt die Annahme, dass menschliche Tutoren Lernen besser unterstützen können, weil sie
- Lernende besser kennen bzw. Wissens- / Leistungsstand besser einschätzen können;
- Aufgabenstellungen besser auf einzelne Lernende zuschneiden können;
- über leistungsfähigere Lehrstrategien verfügen (z.B. Bewertung zurückhalten und nach Begründungen fragen);
- Dialoge mit Lernenden ermöglichen können (z.B. Gegenfragen stellen);
- über ein breiteres & tieferes Domänenwissen verfügen als tutorielle Systeme;
- Lernende besser motivieren können;
- punktgenau Feedback zu (irrigen) Argumentationen oder Ergebnissen liefern können;
- variables ‘scaffolding’ leisten können (VanLEHN 2011, S 198-200).
Adaptive und intelligente Lernsysteme sind in der Vergangenheit Gegenstand zahlreicher Studien und Untersuchungen gewesen. Metastudien verdichten diese zahlreichen Einzelergebnisse. Relevante Metastudien sind insbesondere die Studie von VanLehn aus dem Jahr 2011 und die Studie von Kulik und Fletcher aus dem Jahr 2016.
Ein zentrales Ergebnis der Studie von VanLehn (2011) besteht darin, dass die oben angeführten Annahmen so nicht haltbar sind.
Die Meta-Analyse von VanLehn zeigt, dass tutorielle Systeme mit sehr granularer Unterstützung bzw. sehr fein gegliedertem Feedback für die Lernenden zu Effektgrössen führen, die annähernd denen der Lernunterstützung durch menschliche Tutoren entsprechen (vgl. Abbildung 1):
Abbildung 1 zeigt unter anderem, dass die Effektstärke von «Step-based» tutoriellen Systemen im Vergleich mit «keine tutorielle Unterstützung» bei 0.76 liegt. Also fast gleichauf mit der Effektstärke für «Human tutoring» verglichen mit «keine tutorielle Unterstützung», die bei 0.79 liegt.
Eine weitere und neuere Meta-Studie, bei der 50 Einzelstudien ausgewertet wurden (Kulik und Fletcher 2016), bestätigt die Ergebnisse von vanLehn:
Students who received intelligent tutoring outperformed students from conventional classes in 46 (or 92%) of the 50 controlled evaluations, and the improvement in performance was great enough to be considered of substantive importance in 39 (or 78%) of the 50 studies. (…)
The evaluations show that ITSs typically raise student performance well beyond the level of conventional classes and even beyond the level achieved by students who receive instruction from other forms of computer tutoring or from human tutors.
(Kulik und Fletcher 2016, S. 67, 70)
Diese Ergebnisse sind also sehr positiv – auch wenn sich aus den Metastudien kaum herauslesen lässt, genau welche Systeme zum Einsatz kamen. Ergänzend kann noch ein Evaluationsbericht aus dem Hochschulkontext angeführt werden:
Johnson (Johnson 2016) berichtet in der Zeitschrift EDUCAUSreview über die Einführung der adaptiven Lernplattform Intellipath an der Technischen Hochschule Colorado. Der Prozess der Einführung dieser Plattform begann im Jahr 2012. Bis zum Jahr 2015 wurden etwa 800 Lehrpersonen (ca. 80% aller Lehrpersonen) für die Nutzung des Systems geschult und die Plattform für 107 Kurse mit mehr als 30’000 Studierenden eingesetzt. Dabei wurden u.a. folgende Ergebnisse beobachtet:
In a recent review of pass rate, final grade, and retention data, we identified Accounting I as the course with the highest pass rate increase since its launch on intellipath in October 2013. We compared pre-intellipath data from October 2012 through September 2013 to post-intellipath launch data from October 2013 through December 2015. The pass rate went up to an 81 percent average — a 27 percent increase. The course retention rate rose about 9 percent to 95 percent, while the final grade average increased by 10 percent, to 79 percent.
(Johnson 2016, Hervorhebung im Original)
Einzelne Evaluationsberichte finden sich auch für den Kontext Corporate Learning. Beispielsweise von area9learning. Eine Fallstudie von area9learning mit Hitachi Data Systems zeigt, dass ein weiteres Nutzenpotzenzial adaptiver Lernumgebungen besteht darin, Lernzeiten zu minimieren – beispielsweise beim Produktraining. Insbesondere für Unternehmen und Organisationen, in denen Lernzeiten immer auch Opportunitätskosten verursachen, ist dies ein wichtiger Aspekt. Durch die granulare Aufbereitung der Inhalte und das kontinuierliche Überprüfen von kleinsten Wissenselementen sowie durch das Zuweisen von passenden nächsten Inhalten / Aufgaben kann der Zeitaufwand – so das Ergebnis dieser einzelnen Fallstudie – um annähernd 50% reduziert werden (Abbildung 2):
Als Fazit aus den angeführten Meta-Studien und Evaluationen lässt sich also festhalten, dass der Einsatz von adaptiven Lernplattformen häufig zu deutlichen Verbesserungen im Hinblick auf den Lernerfolg, zu einer Reduktion von Abbrecher-Quoten und zu einer Reduktion von Lernzeiten beitragen kann.
Fortsetzung
Dieser Beitrag steht in einer Reihe mit den folgenden Beiträgen:
- Wie funktionieren adaptiven Lernplattformen? (Teil 1)
- Was sind Besonderheiten von E-Learning mit adaptiven Lernplattformen? (Teil 3)
Referenzen:
area9learning (2017): adaptive learning. Eliminating corporate e-learning fatique. area9learning. area9learning.com. Online verfügbar unter https://offers.area9learning.com/adaptive-learning-whitepaper.
Johnson, Constance (2016): Adaptive Learning Platforms: Creating a Path for Success. In: Educause Review. Online verfügbar unter https://er.educause.edu/articles/2016/3/adaptive-learning-platforms-creating-a-path-for-success.
Kulik, James A.; Fletcher, J. D. (2016): Effectiveness of Intelligent Tutoring Systems. In: Review of Educational Research 86 (1), S. 42–78.
VanLEHN, KURT (2011): The Relative Effectiveness of Human Tutoring, Intelligent Tutoring Systems, and Other Tutoring Systems. In: Educational Psychologist 46 (4), S. 197–221. DOI: 10.1080/00461520.2011.611369.
Am 25.09. + 02.10 + 16.10. 2018 findet das Online-Modul “Adaptive und KI-basierte Lernsysteme” im Rahmen unseres Zertifikatsprogramms “Digitale Bildung” statt. Dieser Beitrag ist ein kurzer Auszug aus dem Skript zu diesem Weiterbildungsmodul.
[…] Wie leistungsfähig sind adaptive Lernplattformen? (Teil 2) […]