Lesetipp: Wir evaluieren uns zu Tode
05.06.2008 |Annabell Preußler (2008): Wir evaluieren uns zu Tode: Die Möglichkeiten und Grenzen der Bewertung von Online-Lernen. Eine Meta-Evaluation. Dissertation FernUniversität Hagen.
Die Studie von Annabell Preußler – gleichzeitig ihre Dissertation – setzt sich kritisch mit den Möglichkeiten und Grenzen der Lernerfolgsmessung beim E-Learning auseinander. Im Rahmen einer Meta-Evaluation nimmt sie elf Studien in den Blick, die sich mit Dimensionen des Lernerfolgs beschäftigt haben. Untersucht wird dabei auch, inwiefern sich Präsenz- und Onlinelehre sinnvoll vergleichen lassen, „da beide Lernsettings unterschiedliche Methodiken, Ziele und Lernformen voraussetzen“. Die Methode der Meta-Analyse, so macht die Autorin deutlich, stellt Forscher/innen vor einige Schwierigkeiten. Zum einen steht man bei der Auswahl der Vergleichstudien vor dem Problem der Publikationsverzerrung (nur erfolgreiche Studien werden veröffentlicht), zum anderen vor dem „Apples and Oranges - Problem“ (Problem der Vergleichbarkeit). Preußler führt letztendlich anhand von elf Primärstudien – darunter nur eine aus dem deutschsprachigen Raum –ihre Meta-Evaluation durch. Die Studien wählte sie anhand der Kriterien „Durchführbarkeit“ (angemessene Verfahren, praktische Verfahren), „Genauigkeit“ (valide und reliable Informationen, begründete Schlussfolgerungen), „Zuverlässigkeit“ (Angemessenheit der Forschungsentscheidung) und „Bezug zu Forschungsfragen“ aus. Der Meta-Analyse legt sie folgende Hypothesen zu Grunde: - Lernerfolg ist nicht eindeutig operationalisierbar. - Unspezifische Vergleiche von Online- versus Präsenzlernen sind nicht sinnvoll anwendbar bzw. nicht zu verallgemeinern. - Die Methode der Meta-Analyse ist nur bedingt geeignet um Rückschlüsse zuzulassen. Als Ergebnisse der Meta-Analyse hält Preußler Folgendes fest: Die Hypothese, dass Lernerfolg nicht eindeutig operationalisierbar sei, hält sie für eine verkürzte Betrachtung. Allerdings betont sie, dass eine empirische Erfassung des komplexen Konstrukts „Lernerfolg“ nicht möglich sei, wenn nur einzelne Dimensionen herausgelöst betrachtet würden – wie es in der Untersuchungs-Praxis oft geschieht. Zwar sei es legitim, Lernerfolg als Behaltensleistung zu definieren und sich damit auf eine Dimension von Lernerfolg - nämlich „erinnern“ - zu beschränken. Andererseits müsse man sich bewusst sein, dass es noch andere, wichtigere Dimensionen gibt, die damit ausgeklammert blieben. Die Hypothese, dass unspezifische Vergleiche von Online- versus Präsenzlernen nicht sinnvoll anwendbar bzw. nicht zu verallgemeinern seien, wird bestätigt. Um sinnvolle Vergleiche zwischen Präsenz- und Onlinelernen anstellen zu können, müssten - so Preußler - in den Untersuchungsgruppen die gleichen Lernziele formuliert, also die gleichen Ausprägungen von Lernerfolg zu Grunde gelegt werden, das Prüfungsdesign den intendierten Lernzielen entsprechen und die Lernsettings vergleichbar sein. Bestätigt wird auch, dass die Methode der Metaanalyse nur bedingt genutzt werden kann, um verallgemeinerbare Rückschlüsse auf den Lernerfolg zuzulassen. Ihrer Untersuchung zufolge machen die verschiedenen Sichtweisen in den einzelnen Primärstudien generalisierbare Zusammenfassungen fast unmöglich. Insgesamt wird deutlich, dass die Kriterien der Lernerfolgsmessung in allen untersuchten Studien detaillierter hätten operationalisiert werden müssen. Von Interesse ist die Arbeit insbesondere für Personen, die sich für die Frage des Lernerfolgs interessieren oder selbst vor der Durchführung von Vergleichsstudien zu medienunterstütztem Lernen stehen. Preußler gibt in ihrer Arbeit verschiedene Stellungnahmen und Einschätzungen von Experten wieder – häufig in Form längerer Zitate – und macht deutlich, dass bei Evaluationen in diesem Bereich viele Aspekte und Dimensionen berücksichtigt werden müssen, um zu aussagekräftigen Ergebnissen zu kommen. Die Dissertation ist an der Fakultät für Kultur- und Sozialwissenschaften der FernUniveristät Hagen entstanden. Betreuer war Prof. Dr. Peter Baumgartner. Sie kann auf der Webseite der Autorin herunter geladen werden:http://deposit.fernuni-hagen.de/505/
Die Studie von Annabell Preußler – gleichzeitig ihre Dissertation – setzt sich kritisch mit den Möglichkeiten und Grenzen der Lernerfolgsmessung beim E-Learning auseinander. Im Rahmen einer Meta-Evaluation nimmt sie elf Studien in den Blick, die sich mit Dimensionen des Lernerfolgs beschäftigt haben. Untersucht wird dabei auch, inwiefern sich Präsenz- und Onlinelehre sinnvoll vergleichen lassen, „da beide Lernsettings unterschiedliche Methodiken, Ziele und Lernformen voraussetzen“. Die Methode der Meta-Analyse, so macht die Autorin deutlich, stellt Forscher/innen vor einige Schwierigkeiten. Zum einen steht man bei der Auswahl der Vergleichstudien vor dem Problem der Publikationsverzerrung (nur erfolgreiche Studien werden veröffentlicht), zum anderen vor dem „Apples and Oranges - Problem“ (Problem der Vergleichbarkeit). Preußler führt letztendlich anhand von elf Primärstudien – darunter nur eine aus dem deutschsprachigen Raum –ihre Meta-Evaluation durch. Die Studien wählte sie anhand der Kriterien „Durchführbarkeit“ (angemessene Verfahren, praktische Verfahren), „Genauigkeit“ (valide und reliable Informationen, begründete Schlussfolgerungen), „Zuverlässigkeit“ (Angemessenheit der Forschungsentscheidung) und „Bezug zu Forschungsfragen“ aus. Der Meta-Analyse legt sie folgende Hypothesen zu Grunde: - Lernerfolg ist nicht eindeutig operationalisierbar. - Unspezifische Vergleiche von Online- versus Präsenzlernen sind nicht sinnvoll anwendbar bzw. nicht zu verallgemeinern. - Die Methode der Meta-Analyse ist nur bedingt geeignet um Rückschlüsse zuzulassen. Als Ergebnisse der Meta-Analyse hält Preußler Folgendes fest: Die Hypothese, dass Lernerfolg nicht eindeutig operationalisierbar sei, hält sie für eine verkürzte Betrachtung. Allerdings betont sie, dass eine empirische Erfassung des komplexen Konstrukts „Lernerfolg“ nicht möglich sei, wenn nur einzelne Dimensionen herausgelöst betrachtet würden – wie es in der Untersuchungs-Praxis oft geschieht. Zwar sei es legitim, Lernerfolg als Behaltensleistung zu definieren und sich damit auf eine Dimension von Lernerfolg - nämlich „erinnern“ - zu beschränken. Andererseits müsse man sich bewusst sein, dass es noch andere, wichtigere Dimensionen gibt, die damit ausgeklammert blieben. Die Hypothese, dass unspezifische Vergleiche von Online- versus Präsenzlernen nicht sinnvoll anwendbar bzw. nicht zu verallgemeinern seien, wird bestätigt. Um sinnvolle Vergleiche zwischen Präsenz- und Onlinelernen anstellen zu können, müssten - so Preußler - in den Untersuchungsgruppen die gleichen Lernziele formuliert, also die gleichen Ausprägungen von Lernerfolg zu Grunde gelegt werden, das Prüfungsdesign den intendierten Lernzielen entsprechen und die Lernsettings vergleichbar sein. Bestätigt wird auch, dass die Methode der Metaanalyse nur bedingt genutzt werden kann, um verallgemeinerbare Rückschlüsse auf den Lernerfolg zuzulassen. Ihrer Untersuchung zufolge machen die verschiedenen Sichtweisen in den einzelnen Primärstudien generalisierbare Zusammenfassungen fast unmöglich. Insgesamt wird deutlich, dass die Kriterien der Lernerfolgsmessung in allen untersuchten Studien detaillierter hätten operationalisiert werden müssen. Von Interesse ist die Arbeit insbesondere für Personen, die sich für die Frage des Lernerfolgs interessieren oder selbst vor der Durchführung von Vergleichsstudien zu medienunterstütztem Lernen stehen. Preußler gibt in ihrer Arbeit verschiedene Stellungnahmen und Einschätzungen von Experten wieder – häufig in Form längerer Zitate – und macht deutlich, dass bei Evaluationen in diesem Bereich viele Aspekte und Dimensionen berücksichtigt werden müssen, um zu aussagekräftigen Ergebnissen zu kommen. Die Dissertation ist an der Fakultät für Kultur- und Sozialwissenschaften der FernUniveristät Hagen entstanden. Betreuer war Prof. Dr. Peter Baumgartner. Sie kann auf der Webseite der Autorin herunter geladen werden:http://deposit.fernuni-hagen.de/505/