Zu Inhalt springen Zu Fußbereich springen

Evaluation von E-Learning-Angeboten

Um das Potenzial digitaler Lernumgebungen voll ausschöpfen zu können, bedarf es der Evaluation, also der kriterienbasierten Qualitätskontrolle. Nur so lässt sich feststellen, wo die Stärken und Schwächen der Lernumgebung liegen und ob das Angebot auch das hält, was es verspricht.
In diesem Beitrag lernen Sie Verfahren und Modelle kennen, die Ihnen die systematische Evaluation ihrer digitalen Lernarragements ermöglichen.

Funktionen einer Evaluation

Nur wenn mittels einer Evaluation die Schwächen einer Lernumgebung aufgedeckt werden, kann das Angebot anschließend entsprechend optimiert werden. Das ist bei E-Learning umso bedeutsamer, da die Beschäftigung mit Lernmaterialien und -aktivitäten hier teilweise oder vollständig online stattfindet, sodass etwaige Schwierigkeiten der Schülerinnen und Schüler im Umgang mit dem Angebot oft erst zu spät erkannt werden, während die Lehrkraft diese im Präsenzunterricht viel schneller und unmittelbarer bemerken und deshalb auch sofort darauf reagieren kann.

U­nerkannte Probleme mit E-Learning-Angeboten führen deshalb immer noch allzu häufig dazu, dass sich bei den Schülerinnen und Schülern unnötigerweise Verwirrung, Unlust und Ärger breitmachen, die den angestrebten Kompetenzerwerb von vornherein gefährden oder gar verunmöglichen, sehr zur Frustration der Lehrkraft, die häufig ausgesprochen viel Zeit in die Konzeption und die Realisierung eines E-Learning-Angebots gesteckt hat.

Definiton

„Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle. Sie gilt der Beurteilung von Planung, Entwicklung, Gestaltung und dem Einsatz von Bildungsangeboten bzw. einzelnen Maßnahmen dieser Angebote (Methoden, Medien, Programme, Programmteile) unter den Aspekten von Qualität, Funktionalität, Wirkungen, Effizienz und Nutzen.“

Unterschiedliche Arten von Evaluation

Je nach Zielsetzung werden zwei grundsätzliche Arten der Evaluation unterschieden. Dabei liegt der Fokus entweder auf der Begleitung Lernprozess oder auf der Bewertung des Lernprodukts. Für welche Art der Evaluation Sie sich entscheiden, hängt grundsätzlich von den Lernzielen ab, die Sie erreichen möchten. Bei kompetenzorientierten Aufgabenstellungen ist eine formative Evaulation empfehlenswert.

Die formative Evaluation (auch „Prozessevaluation“) geschieht begleitend zum Ablauf eines Lehrangebots zu festgelegten Zeitpunkten. Ihre Ergebnisse sollen sodann unmittelbar in die weitere Entwicklung des Programms eingespeist werden, „formen“ es also entsprechend den Wünschen und Bedürfnissen der Evaluierenden dynamisch. Weil E-Learning-Angebote in der Regel mit einem signifikanten zeitlichen Vorlauf entwickelt werden und ihnen aufgrund ihrer Virtualität die Unmittelbarkeit und persönliche Komponente des Präsenzunterrichts fehlt, in dem die Lehrkraft sofort Fehlentwicklungen diagnostizieren und auf sie reagieren kann, ist bei der Planung und Entwicklung solcher Angebote ein Mindestmaß formativer Evaluation sehr wichtig für den Lehr- und Lernerfolg.

Die summative Evaluation fokussiert hingegen in der Regel auf ein bereits fertiges Produkt, vor allem nach Abschluss des Programms zur abschließenden Bewertung seiner Wirkung und seines Nutzens, vor allem verglichen mit den Erwartungen des Urhebers bzw. im Vergleich mit anderen Programmen. Selbstverständlich können auch die Ergebnisse der summativen Evaluation zur qualitativen Weiterentwicklung eines Lehrangebots genutzt werden, doch passiert dies hier – im Gegensatz zur formativen Evaluation – indirekt und eher auf mittlere bzw. lange Sicht.

Textdokument und Lupe
© istock.com/Anastasiia_New

Mehr zum Thema

Scriven (1972), Methodologie S.60-91

Zentrale Fragen für die Evaluation

Zentrale Fragen für die Evaluation von E-Learning-Angeboten sind in erster Linie die Folgenden:

  1. Wie gut lässt sich das Angebot handhaben (Usability)? Hierbei geht es vor allem um die Bewertung des Layouts und die Benutzerführung des Programms, also z.B. des Einsatzes von Texten, Bildern, Animationen und Audio-/Video-Content, wie auch der Übersichtlichkeit und Transparenz des Layouts.

  2. Wie hoch ist die Zufriedenheit der Lernenden mit dem Lehr- und Lernangebot? Erfüllt es ihre Lernerwartungen?

  3. Lernen die Schülerinnen und Schüler durch die Nutzung des Angebots etwas bzw. erwerben sie dabei die gewünschten Kompetenzen (Lerneffektivität)?

Head With Cog Wheel In Brain, Brainstorm Thinking Intelligence Concept Icon
© istock.com/gmast3r

Evaluationsmethoden und Werkzeuge

Methoden und Werkzeuge zur formative Evaluation

Das Ziel der formativen Evaluation ist das Finden von Schwachstellen des E-Learning-Angebots und dessen auf dieser Grundlage vorgenommene Optimierung. Dies ist relativ einfach durch möglichst „schlanke“,  digitale Instrumente (z.B. die Lernplattfom-Aktivität „Tagebuch”) möglich.  Flankiert werden sollten diese Instrumente aber auch durch das einfache, informelle Gespräch mit den Nutzerinnen und Nutzern im Präsenzunterricht. Zur Überprüfung des Kompetenzzuwachses durch die Nutzung des Lernangebots können, insbesondere hinsichtlich der Überprüfung des Verfügens über deklarative Wissenselemente (v.a. so genanntes „Faktenwissen“) auch die verschiedenen Varianten der Lernplattform-Aktivität „Test“ zum Einsatz kommen.

Zu beachten ist, dass die Lernenden nicht durch eine zu häufige begleitende Evaluation der Sequenz der Auswertung überdrüssig werden und diese dann nur halbherzig bzw. nicht mehr mit dem nötigen Ernst durchführen. Sinnvoll ist deshalb die Beschränkung der Messpunkte vor allem auf jene Phasen der Nutzung des E-Learning-Angebots bzw. jene Materialien und Aktivitäten, welche die Lehrkraft gemäß den verfolgten Zielen für besonders wichtig für den Lernerfolg hält.

Methoden und Werkzeuge zur summative Evaluation

Am Ende der Nutzung eines E-Learning-Angebots geht es im Rahmen einer summative Evaluation darum, die Sequenz noch einmal in ihrer Gesamtheit in den Blick zu nehmen und aus den Ergebnissen ggf. Änderungsbedarf abzuleiten. Eine große Stärke gerade von Lernplattform-Kursen liegt schließlich darin, dass diese sich sehr leicht anpassen lassen und komfortabel immer wieder durchgeführt werden können.

Hinsichtlich der Usability und Zufriedenheit der Lernenden bietet sich die Nutzung des Instruments des Critical Incidents Survey  Dieser Test erhebt, welche Ereignisse, Materialien, Aufgaben von den Schülerinnen und Schülern als besonders lernförderlich bzw. lernhemmend erfahren wurden.

Auch die summative Evaluation der Lerneffektivität des Angebots kann zum einen durch entsprechende Multiple-Choice-Tests stattfinden, mit denen deklarative Wissenselemente abgefragt werden, die während der Sequenz vermittelt wurden (z.B. landeskundliche Fakten, Definitionen von Fachtermini, etc.). Da sich laut Weinert Kompetenzen aber nicht in deklarativem Wissen erschöpfen, sollten auch andere Erhebungselemente hinzugezogen werden. Zur Evaluation des Lernerfolgs im Hinblick auf Kompetenzen wäre z.B. im Fremdsprachenunterricht eine begleitende Evaluation in Anlehnung an das Europäische Sprachenportfolio möglich.  Dafür ist die Kombination unterschiedlicher Perspektiven, z.B. der Selbsteinschätzung der eigenen fremdsprachlichen (und ggf. auch metakognitiven, sozialen, etc.) Kompetenzen durch die Lerner, der Fremdeinschätzung derselben Bereiche durch die Lehrkraft, sowie einer Sammlung aussagekräftiger, im Laufe der Sequenz erstellter Produkte und deren Bewertung durch die Lehrkraft charakteristisch.

Ein sehr großer Vorteil eines solchen Instrumentariums ist, dass sowohl der Selbst- wie auch der Fremdeinschätzung der Lernenden in Bezug auf alle von Franz Weinert beschriebenen (deklarativen, prozeduralen, volitionalen) Komponenten von Kompetenzen der gebührende Stellenwert eingeräumt wird, und so ein sehr hochauflösendes Bild, ausgehend vom Ist-Zustand (Selbst- und Fremdeinschätzung des Lernenden vor Beginn und am Ende der Sequenz) und dem Soll-Zustand (vgl. kriterienorientierte Bezugsnorm über den Lehrplan bzw. Kompetenzmodellen und entsprechenden Bildungsstandards) entsteht, von dem dann entsprechende Aussagen über die Entwicklung des Lernenden bzw. der Lerngruppe getroffen, sowie entsprechende Förderstrategien abgeleitet werden können.

Unhappy and Happy on Blackboard
© istock.com/phototechno

Tipp

Gerade Portfolio-Arbeit lässt sich in der mebis Lernplattform besonders gut realisieren, da hier ohnehin alle von den Lernenden er- bzw. bearbeiteten Materialien nebst dem jeweiligen individuellen Feedback durch die Lehrkraft gespeichert sind, so dass sich automatisch eine Art Portfolio ergibt, das sowohl valide Aussagen angesichts der individuellen, der sozialen, wie auch der kriterienorientierten Bezugsnorm zulässt.

Critical Incidents

Eine Vorlage für eine Umfrage zu Critical Incidents für Ihre Lernplattform-Kurse finden Sie auf teachSHARE!

iPAC – Planungs- und Evaluationsinstrument

Das iPAC-Modell wurde als theoretischer Unterbau für mobiles Lernen entwickelt. Es zielt darauf ab, die pädagogischen Eigentümlichkeiten und besonderen Herausforderungen beim Lernen mit digitalen Medien herauszustellen.

Zentrale Bestandteile sind die Kategorien Personalisierung, Authentizität und Kollaboration, die wiederum in sieben Unterelemente aufgegliedert werden.

Die Unterelemente des iPAC-Modells dienen als Indikatoren bei der Messung des Einsatzes mobiler Lerntechnologien und besitzen jeweils eine Skala zwischen zwei Polen. Dadurch lässt sich evaluieren, wie eine Lernaktivität bezüglich dieses Kriteriums von den Lehrenden und Lernenden eingeschätzt wird.

Personalisierung

gelenkt ↔ selbstgesteuert

In geschickt angelegten Aktivitäten für mobiles Lernen können die Lernenden selbst in hohem Maß über Lernort, -tempo und -zeitpunkt bestimmen. Außerdem verfügen sie über große Autonomie bei der Wahl der Lerninhalte sowie der Gegenstände, an denen sie arbeiten.

generalisiert ↔ individualisiert

Mobile Lernaktivitäten lassen sich auf die individuellen Bedürfnisse der Lernenden zuschneiden. Dies umfasst u. a. die Bereitstellung personalisierter Aufgaben, ergänzender Materialien, gestufter Hilfen oder die Wahl unterschiedlicher Methoden zur Bearbeitung.

Authentizität

Mobile Endgeräte erlauben die Bearbeitung besonders authentischer Aufgaben unter Nutzung realitätsnaher Tools. Die Unterkategorien Task und Tool sind daher im iPAC-Modell eng miteinander verbunden.

realitätsfern ↔ realitätsnah

Authentische Aufgaben bieten den Lernenden eine lebensnahe Problemstellung – bis hin zur Simulation virtueller Realität. Das Klassenzimmer als Praxisfeld kann auch auf die reale Community im Netz ausgeweitet werden.

künstlich ↔ fachmännisch

Über die mobilen Endgeräte haben die Lernenden Zugriff auf ein riesiges Spektrum an Applikationen, die als Lernmittler dienen. Gute Aufgaben halten die Lernenden zur Nutzung lebensnaher Tools an, die auch in der Realität zum Einsatz kommen (die klassischen sog. Skill-and-drill-Tools, die beim Rechnen oder Sprachenlernen verwendet werden, zählen hingegen zu den künstlichen Hilfsmitteln).

gestellt ↔ realistisch

Das Setting beschreibt Ort und Zeit, in die eine Aufgabe eingebettet ist. Aktivitäten für Mobile Learning sollten möglichst realitäts- und praxisnah konzipiert sein. Dazu können auch außerschulische Lernorte einbezogen werden, an denen Lernende mit ihren mobilen Endgeräten Daten erheben, analysieren oder Beziehungen zu anderen Netzwerken knüpfen. Ebenso fallen Videokonferenzen mit externen Experten darunter.

Kollaboration

Auf teachSHARE finden Sie einen Fragebogen auf der Basis des iPAC-Modells für die Befragung von Lehrenden und Lernenden zu einer Lernaktivität, bei der mobiles Lernen im Unterricht angewandt wurde.

Aus der Ausprägung der jeweiligen Kategorie auf der fünfteiligen Skala lässt sich schlussfolgern, welche Bereiche des Einsatzes mobiler Technologien in der betrachteten Unterrichtseinheit gut gelungen und welche noch optimierbar sind.

isoliert ↔ vernetzt

Schülerzentrierter Unterricht lebt von sozialer Interaktion, dem Austausch zwischen den Lernenden untereinander und mit den Lehrenden. Mobile Endgeräte vermitteln den Zugang zu entsprechenden Online-Foren (social media), in denen dieser Dialog stattfinden kann – als Peer-Interaktion ebenso wie als persönliches Feedback durch die Lehrkraft.

konsumierend ↔ produzierend/teilend

Die Lernenden initiieren über die mobilen Endgeräte Verbindungen mit ihrer Umwelt, über die sie mit anderen Menschen Informationen und Materialien austauschen. In solchen Netzwerken konsumieren, produzieren und tauschen sie digitale Artefakte (z. B. Texte, Bilder, Videos, die sie häufig selbst erstellt haben) – oft auf verschiedensten Kanälen und 24-7 verfügbar.

iPAC Survey

Eine Vorlage für eine Umfrage zu Critical Incidents für Ihre Lernplattform-Kurse finden Sie auf teachSHARE!

Hinweis

Die Inhalte der Webseite und die Fragen des Survey Tools und damit auch die Erläuterung in diesem Beitrag basieren auf der ersten Version des iPAC-Frameworks.

Die Autoren haben das Modell jedoch zwischenzeitlich aktualisiert. Ein aktuelle Version finden Sie hier:

Fazit

Evaluation als reiner Selbstzweck oder als „Eintagsfliege“ ist völlig zwecklos: Sie ist immer nur dann sinnvoll, wenn sie wohlüberlegt mit einer konkreten Zielsetzung und geeigneten Methoden an wohlüberlegt gesetzten Zeitpunkten durchgeführt wird. Mit Hilfe der hier präsentierten Verfahren und Vorlagen lässt sich dies mit vertretbarem Aufwand realisieren.

Außerdem sollten digital gestützte Lernangeboten nicht isoliert betrachtet werden, sondern immer in Bezug auf ihre Einbettung in das unterrichtliche Gesamtkonzept (Online- und Präsenzlehre; vgl. Artikel zum Konzept Blended Learning im Infoportal). So kann – mit Hilfe der hier präsentierten Verfahren und Vorlagen – Qualitätsmanagement als zentraler Bestandteil (digitaler) Unterrichtsentwicklung besser gelingen.

Literatur

  • „Evalguide“: Online-Handbuch zur Evaluation von E-Learning-Angeboten der Hochschule Zürich: https://www.research-collection.ethz.ch/bitstream/handle/20.500.11850/150573/eth-30692-02.pdf?sequence=2&isAllowed=y
  • Frick, T. W., Chadha, R., Watson, C., & Zlatkovska, E. (2010). Improving course evaluations to improve instruction and complex learning in higher education. Educational Technology Research & Development, 58, 115-136.
  • Friedrich, H.F., Eigler, H., Mandl, H., Schnotz, W., Schott, F. & Seel, N.M. (Hrsg.): Multimediale Lernumgebungen in der betrieblichen Weiterbildung. Gestaltung, Lernstrategien und Qualitätssicherung: Neuwied, 1997. Informationen zur Evaluation von E-Learning-Angeboten bei e-teaching.org: https://www.e-teaching.org/didaktik/qualitaet
  • Kerres, M. (2012). Mediendidaktik. Konzeption und Entwicklung mediengestützter Lernangebote. München: Oldenbourg.
  • Stockmann, R. (2007). Einführung in die Evaluation. In R. Stockmann (Hrsg.), Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster: Waxmann.
  • Woods, P. (1993). Critical events in teaching and learning. Philadelphia, PA: Falmer Press.

Weitere Beiträge

Alle ansehen (21)
Schulkinder nutzen ein Tablet

Peer-Feedback mit mebis

Tipps zur Umsetzung der Methode „Peer-Feedback” mit der Aktivität „Forum” in der Lernplattform

Zu Seitenstart springen