Ziele

Ziel formativer Evaluation ist, Informationen für die unmittelbare Optimierung des Studienangebotes zu erhalten. Für die Planung der Datenerhebung bedeutet dies, vorwiegend solche Daten zu erheben, die auch Hinweise auf konkrete Änderungen geben. Wichtige Leitfragen, die Sie sich vor der Datenerhebung stellen sollten, sind:

• Was nützt es, diesen Sachverhalt zu erheben?
• Welche Konsequenzen können aus den Ergebnissen resultieren?

Gegenstände

Gegenstand formativer Evaluation in der Entwicklungsphase sind die in Entwicklung befindlichen Komponenten: vornehmlich die E-Learning Materialien, aber zumindest teilweise auch Aspekte des Betreuungssystems, der Organisation, der Infrastruktur und Ähnliches. Wichtige Kriterien für die Bewertung der Materialien sind die sachlich-inhaltliche Stimmigkeit und die Förderung von selbstgesteuertem Lernen.

Eine Vielzahl möglicher Evaluationsfragen ergibt sich z. B. aus den Hinweisen im Portal zur Mediengestaltung und Konzeption. Vertiefende Informationen entnehmen Sie bitte den folgenden Verweisen:

• Überprüfung der Studienmaterialien auf eine angemessene textuelle Aufbereitung,
• Überprüfung der Passung des Medieneinsatzes im Rahmen des Gesamtkonzepts,
• Überprüfung der Studienmaterialien auf eine angemessene Layout- und Bildschirmgestaltung sowie Möglichkeiten der Visualisierung.
• Überprüfung der Studienmaterialien auf eine angemessene Gliederung und Strukturierung der Inhalte,
• Überprüfung der Studienmaterialien auf angemessenen Einsatz von Orientierungshilfen und interaktiven Elementen.

Möglicherweise werden Sie aus Zeit- und Kostengründen nicht alle Elemente eines virtuellen Lehrangebotes gleich intensiv evaluieren können. Bei der Auswahl spielen folgende Gesichtspunkte eine Rolle:

• Relevanz: Studieneinheiten, in denen Grundlagen für das Verständnis nachfolgender Studieneinheiten gelegt werden, sollten sorgfältiger evaluiert werden als solche, die Exkurscharakter haben.
• Innovation: Es sollten bevorzugt solche Elemente formativ evaluiert werden, mit denen ein innovativer Anspruch verbunden ist.
• Information: Wenn sich das Entwicklerteam über die Qualität bestimmter Materialien uneinig ist, kann die formative Evaluation Unsicherheit reduzieren und Entscheidungshilfen geben.

Methoden

Die Methodenwahl wird in der Praxis - außer von der jeweiligen inhaltlichen Fragestellung - weitgehend von ökonomischen Überlegungen bestimmt: Mit möglichst geringem Aufwand sollen möglichst umfangreiche, der Optimierung dienliche Daten gewonnen werden. Zudem sollen die Evaluationsergebnisse auch noch in einem absehbaren Zeitraum zu Änderungen führen können, die ggf. ebenfalls wieder überprüft werden können.

Indirekte vs. direkte Methodik

Sie können die Studienmaterialien direkt durch Experten oder Lernende hinsichtlich verschiedener Kriterien wie Verständlichkeit, Gliederung/ Ordnung usw. beurteilen lassen. Dies erfordert relativ wenig Aufwand. Es kann jedoch passieren, dass jeder Urteilende unter Verständlichkeit, Gliederung/ Ordnung usw. etwas anderes versteht.

Sie können auch in Lernexperimenten die indirekten Auswirkungen der Lehrmaterialien auf Verstehen, Behalten, Problemlösen, etc. prüfen. Dieses Verfahren ist aufwändig und kommt für viele Projekte insbesondere in der Entwicklungsphase nicht in Frage. Es gibt aber auch vergleichsweise einfache Möglichkeiten, den Umgang der Lernenden mit den Materialien zu testen: Sie können Studierende beispielsweise bitten, die Hauptgedanken der Studieneinheit wiederzugeben und für das Gesamtverständnis kritische Begriffe zu erläutern.

Bei computergestützten Lernangeboten können bestimmte Daten wie Zugriffe, Lernwege und Verweildauer durch Logfile -Analysen erfasst werden. Weitere Informationen entnehmen Sie bitte der Vertiefung zu Logfiles.

Experten vs. Adressaten

Eine Evaluation durch Inhaltsexperten ist hilfreich um inhaltliche Lücken oder Schwachstellen aufzudecken und zusätzliche Aspekte und Perspektiven einzubinden. Ergänzend sollten Sie die potenziellen Adressaten in die Evaluation einbeziehen. So wie ein geübter Leser Druckfehler häufig überliest, ergänzt ein Inhaltsexperte bei der Lektüre verstehensrelevante Informationen, die das Lehrmaterial selbst gar nicht enthält. Das sind dann die Stellen, die für den Experten "sonnenklar" sind und bei denen Studierende "immer nur Bahnhof" verstehen.

Quantitative vs. qualitative Methode

Bei der Evaluation von Lehrmaterialien liefern quantitative Kennzahlen zumeist nur Hinweise, dass mit Material und Medienaufbereitung etwas nicht stimmt, selten aber Hinweise darauf, was nicht stimmt bzw. was verändert werden sollte. Detaillierte und optimierungsrelevante Informationen erhalten Sie, wenn Sie das Lehrmaterial von wenigen (etwa vier bis sieben) Testnutzern (Experten und potenziellen Adressaten) bearbeiten lassen und diese intensiv (mündlich oder schriftlich) zu ihren Urteilen befragen.

Für die Erhebung qualitativer Daten spricht darüber hinaus, dass formative Evaluation zumeist nicht auf repräsentative Durchschnittswerte abzielt, sondern eher auf die Aufdeckung von Schwachstellen in einem Bildungsangebot. Hierzu reichen oft schon wenige Versuchspersonen aus.

Freies vs. geleitetes Vorgehen

Der Auftrag, frei zu kommentieren, kann bei kreativen und engagierten Testnutzern durchaus zu wertvollen Evaluationsdaten führen. Bei anderen Testpersonen kann man aber auch sehr globale, wenig informative "Daten" erhalten, wie z. B. "alles in Ordnung" oder "zu kompliziert". Aus diesem Grund empfehlen wir die Vorgabe eines differenzierten Fragenkatalogs. Genaue Fragen regen eine tiefere Verarbeitung an und erhöhen die Vergleichbarkeit.

Auswertung

Vor allem dann, wenn der Evaluierende an der Entwicklung beteiligt war, sollte klar sein, dass es bei der Bewertung der Evaluationsergebnisse nicht darum geht, die Studienmaterialien zu verteidigen und mögliche Einwände "abzubügeln". Vielmehr sollen die Probleme in Erfahrung gebracht werden, die die Lernenden in der Auseinandersetzung mit den Studienmaterialien haben. Alle erhobenen Probleme und Änderungsvorschläge sollten in einer einheitlichen Form zusammengefasst werden. Die so aggregierten Daten sind Ausgangspunkt für die Überarbeitung.