Monitoring-Werkzeug für L²P
Ziel des Projekts ist daher die Konzeption, Implementierung und Evaluation eines web-basierten Lernindikatoren-Dashboards für L²P-Lernräume, welches pro Veranstaltung eine integrierte Über-sicht über das Verhalten der Studierenden gibt und es erlaubt, dies in Relation zu ihrer Leistung in Übungen und Klausuren sowie zu Lehraktivitäten der Lehrenden zu stellen. Mit Hilfe des Dashboards können Lehrende somit lehrveranstaltungsbegleitend die Wirkung ihrer Lehraktivitäten und das Verhalten bzw. die Leistung der Studierenden untersuchen, reflektieren und Schlussfolgerungen für eine Optimierung ihrer BL-Didaktik treffen.
Der nutzerzentrierte Designprozess wurde gemäß dem Design-Implement-Analyze-Zyklus (DIA-Zyklus) in sieben Stufen unterteilt. Begleitet von Literaturrecherchen wurden mehrere Prototypen untersucht und im Hinblick auf die für den jeweiligen Entwicklungsschritt spezifischen Anforderungen hin evaluiert.
Die Entwicklung erfolgte in zwei wesentlichen Schritten: 1. Implementieren, Testen und Verfeinern der Systemarchitektur 2. Design, Implementierung und Evaluation verschiedener Versionen der Benutzeroberfläche Im Rahmen der Systemarchitektur wurde ein Datensammlungsmodul implementiert und in die Lernplattform L²P eingespielt. Mit ihm werden Nutzerinteraktionen und Aktivitätsdaten gesammelt.
Mit der Datenmodellimplementierung sollte eine Lösung für die Datenspeicherung gefunden und verschiedene Datentypen unterstützt werden, die aus der Sammlung der Nutzeraktivitätsdaten resultierten. Um die gesammelten Daten aus L²P exportieren zu können, wurde ein Datenimportmodul gestaltet und implementiert.
Das Datenschutzmodul modifiziert die personenbezogenen Daten aus L²P, um den nötigen Datenschutz zu gewährleisten.
Das Indikatoren-Framework stellt Services für die Erstellung von Evaluationsreports bereit, d.h. es führt zwischen Benutzeroberfläche und in der Datenbank gesammelten Lernerdaten Kalkulationen zu Indikatoren aus, während die Visualisierungskomponente eine Abstraktionsschicht bereitstellt, um verschiedene Reports zur Verfügung zu stellen.
Die Benutzeroberfläche wurde in drei Iterationen entwickelt. Das erste Interface wurde in Form eines Wizards implementiert, das zweite in Form eines Dashboards, das den Nutzer_innen vier Bereiche anzeigt: Nutzungsdaten, Nutzerverhalten, Assessment-Aktivitäten und Kollaborationsaktivitäten. Jeder Bereich enthielt verschiedene anpassbare LA-Indikatoren. Die dritte Version war eine Erweiterung der zweiten Version mit einer Personalisierungsoption und Support für eine fragenbasierte Indikatorenanalyse.
Das Learning Analytics-Werkzeug wurde im WS 2012/13 in sechs Kursen mit 150-750 Teilnehmer_innen im Pilotbetrieb eingesetzt. Die Erfahrungen in jedem Kurs wurden dokumentiert, analysiert und überprüft, um den Nachweis zur Wirksamkeit und Nützlichkeit des Werkzeugs (im Sinne von Bewusstsein wecken und Reflexion anregen) zu erbringen. Im Hinblick auf die Bewusstmachung ergab sich, dass das Werkzeug den Nutzer_innen am meisten über den Gebrauch der Lernmaterialien aufzeigte, aber ebenso das Online-Zugangsverhalten der Studierenden und einige genderspezifische Unterschiede bewusst machte. Darüber hinaus regte das Werkzeug auch die Reflexion an, sobald es aussagekräftige Daten produzierte und die Werte der maßgeblichen Faktoren wertwoll für die Nutzer_innen waren. Die Sammlung und Analyse der Nutzungsszenarien führte zu dem Schluss, dass das LA-Werkzeug insbesondere Anfänger in die Lage versetzt, mehr Bewusstsein für ihre Veranstaltungen und ihre Studierenden zu entwickeln und diese stärker zu reflektieren. Gleichzeitig zeigte die Studie jedoch auch Fälle, in denen die Lehrenden sich deutlich gegen den Gebrauch solcher Werkzeuge in der Lehre aussprachen.