SCIL

swiss competence center for innovations in learning

Home2021Archives for Juni 2021

Archives for Juni 2021

Werkzeuge für E-Learning ausreizen

by 1 Comment

Im Rahmen einer Online-Konferenz der Learning Guild hat Mike Taylor Werkzeuge vorgestellt, die Bildungsverantwortlichen die Arbeit erleichtern können: durch teilautomatisierte Inhalte-Erstellung, durch das Verknüpfen von Lern-Anwendungen und durch das Entwickeln von Lernanwendungen ohne Programmier-Kenntnisse.

“Pushing the e-learning envelope” – so lautete der Titel der letzten zweitägigen Online-Konferenz der Learning Guild Anfang Juni. Das passte für mich gut, da bald unsere Summer School “Digitale Plattformen und Werkzeuge für Bildungsverantwortliche” beginnt. Themen der Online-Tagung waren unter anderem:

  • Storyboarding in Miro
  • Building branching scenarios with Twine
  • Hacking Storyline 360
  • Using UX methods
  • Using xAPI to personalize content

Interessant fand ich die Session von und mit Mike Taylor, in der drei Themen behandelt wurden:

  • Inhalte schneller und einfacher erstellen mit KI-unterstützten Werkzeugen,
  • Werkzeuge verküpfen und automatisieren,
  • Lernanwendungen ohne Programmier-Kenntnisse entwickeln.

Inhalte schneller und einfacher erstellen mit KI-unterstützten Werkzeugen

Im ersten Teil seines Beitrags verwies Mike Taylor auf verschiedene Werkzeuge, die beim Erstellen von Inhalten unterstützen können. Beispiele sind Murf.ai (eine text-to-speech engine mit qualitativ sehr hochwertigem output) sowie Type Studio und Descript. Die beiden zuletzt genannten Lösungen ermöglichen es, auf der Grundlage automatisch erstellter Transkripte die zugrunde liegenden Audio- oder Video-Dateien in sehr einfacher Weise zu editieren. Descript ermöglicht es ausserdem, im Transkript Korrekturen vorzunehmen und diese dann wiederum als Audio- oder Video-Dateien auszuspielen (overdub). Auf diese Weise können kleinere Korrekturen und Aktualisierungen an bereits erstellten Podcasts oder Lernvideos vorgenommen werden.

Bildquelle scil, basierend auf Mike Taylor, theverge.com

Werkzeuge verküpfen und automatisieren

In einem zweiten Teil zeigte Mike Taylor auf, auf welche Weisen Anwendungen und Werkzeuge miteinander verknüpft werden können: über Plugins bzw. Add-ins, über Marktplätze (z.B. den Zoom Marktplatz für Erweiterungen) oder über Automatisierungen gemäss des IFTTT-Prinzips (If This Then That). Relevant ist dies, wenn Bildungsverantwortliche nicht mit integrierten Plattformen arbeiten, sondern mit einer Reihe von Einzelwerkzeugen wie etwa mit Google-Sheets, einem Newsletter-Tool und einer Webinar-Umgebung und Aktionen in einer dieser Umgebungen Folgeaktionen in einer anderen auslösen sollen.

Bildquelle scil, basierend auf brightcarbon.com, zoom.com, Mike Taylor

Lernanwendungen ohne Programmier-Kenntnisse entwickeln

So, wie die Verbreitung von iPhones und iPads dem Phänomen des “Citizen Journalism” Auftrieb gegeben hat, so erwartet Mike Taylor dass die Verbreitung von NoCode-Plattformen und Werkzeugen einer “Citizen Developer”-Bewegung Auftrieb geben kann. NoCode-Lösungen (vgl. z.B. nocode.tech) ermöglichen das Erstellen von Software und Webanwendungen ohne dass man dafür eine Programmiersprache beherrschen muss.

Beispiele, auf die Mike Taylor strukturiert diesen Raum in Anwendungen, die eher auf das User Interface Design (UI) ausgerichtet sind, Anwendungen, die eher auf das Datenmanagement ausgerichtet sind, und Anwendungen, die eher auf Automatisierung ausgerichtet sind (sowie auch die Schnittflächen zu diesen drei Feldern). Beispiele sind unter anderem airtable.com und spreadsimple.com. Mit diesen Lösungen kann man auf der Grundlage von Tabellenanwendungen ähnlich wie MS Excel Webseiten und einfache Webanwendungen – beispielsweise zu Lernressourcen – erstellen.

Die Ressourcen, die Mike Taylor zusammengetragen und für diesen Vortrag verwendet hat, sind auf dieser Webseite verfügbar: https://elearningenvelope.spread.name/.

Mehr zur scil Summer School “Digitale Plattformen und Werkzeuge für Bildungsverantwortliche”.

Personalisierte Kompetenzentwicklung: Technologie, Erfolgsfaktoren, Spannungsfelder

by 2 Comments

Personalisiertes LERNEN stellt einen Gegenpol zu standardisierendem LEHREN dar. Damit verbunden sind ein hohes Motivationspozenzial («Meine Ziele»), das Praktizieren von Selbstorganisation («Ich kümmere mich selbst darum») aber auch Spannungsfelder («Meine Entwicklungs-Agenda» vs. «Unsere Entwicklungs-Prioritäten»). Die Entwicklung bzw. Unterstützung von Gesprächsroutinen zu Entwicklungszielen und Entwicklungsaktivitäten ist eine neue Aufgaben für Bildungsverantwortliche.

In einem sich dynamisch verändernden Umfeld sind Bildungsbereiche und Bildungsverantwortliche sehr damit gefordert, heterogene Mitarbeitenden-Gruppen in verschiedensten Rollen und mit verschiedensten Profilen für neue Aufgaben und Abläufe zu befähigen. Hinzu kommt, dass die personelle Ausstattung von Bildungsbereichen häufig nicht mit dieser wachsenden Komplexität Schritt hält.

Veränderte Angebote von L&D

An vielen Stellen wird daher an veränderten Angebots-, Organisations- und Geschäftsmodellen für L&D gearbeitet. Zum Beispiel mit der Förderung verschiedenster Formen informellen (Peer-)Lernens (etwa WOL- oder lernOS-Circles oder auch «Learning Friday»). Zum Beispiel mit Content-Strategien, die auch auf User-Generated-Content (UGC) setzen. Und schliesslich indem den Beschäftigten ganz allgemein mehr Verantwortung für die eigene Qualifizierung und Employability übertragen wird. Beispiele für den zuletzt genannten Ansatz sind Initiativen über die grosse digitale Inhalte-Bibliotheken (z.B. linkedin learning) und / oder Learning Experience Plattformen (LXP, z.B. Schläpfer 2021, unten) mit offenen Inhalte-Strukturen für die Mitarbeitenden verfügbar gemacht werden. Diese offenen Angebote ermöglichen und erfordern mehr Selbstregulation auf Seiten der Nutzer.

Selbstreguliertes Lernen und personalisierte Kompetenzentwicklung

Ob diese Fähigkeit zur Selbstregulation vorausgesetzt werden kann oder nicht und wie viel Unterstützung hier gegebenenfalls erforderlich ist, das ist eine Frage für Bildungsverantwortliche. Wichtig ist im Auge zu behalten, dass selbstreguliertes Lernen und insbesondere personalisiertes Lernen / personalisierte Kompetenzentwicklung einen Gegenpol zu den Formaten standardisierter Aus- und Weiterbildung darstellen. Diese standardisierten Formate kennen die meisten Menschen zur Genüge aus ihren Bildungskarrieren in Schulen und Bildungseinrichtungen und diese sind sie gewohnt. Mit der Bewegung hin zum Pol personalisiertes Lernen sind nicht daher nur neue (Motivations-)Potenziale verbunden, es akzentuieren sich auch neue Spannungsfelder. Die nachfolgende Zusammenstellung zeigt dies auf.

Vom standardisierenden LEHREN zum selbstregulierten LERNEN
(eigene Darstellung in Anlehnung an Euler 2018)

Sowohl beim standardisierenden als auch beim differenzierenden LEHREN liegt die Kontrolle zu wesentlichen Aspekten des Lehr-Lernprozesses bei den Bildungsverantwortlichen. Ziele, Methoden und Lernorganisation werden weitgehend von den Bildungsverantwortlichen definiert. Beim differenzierenden LEHREN wird die Diversität der Teilnehmenden (unterschiedliche Voraussetzungen, Interessen, Anliegen) beispielsweise über verschiedene Optionen für Lernpfade oder für Aufträge adressiert (z.B. differenzierende Aufträge für Teilnehmende aus verschiedenen Funktionsbereichen oder mit wenig / viel Erfahrung im Thema). Allerdings stehen – bei aller Differenzierung – curriculare, institutionelle oder professionelle Zielbezüge klar im Vordergrund und die Teilnehmenden sollen diese annehmen.

Am anderen Ende des Kontinuums findet sich personalisiertes LERNEN. Hier definieren die Lernenden nicht nur Aspekte der Lernorganisation (z.B. Ort, Zeit – flexibilisiertes LERNEN) und der Lernmethoden (z.B. wechselseitige Feedbacks in einer Arbeitsgruppe – selbstorganisiertes LERNEN). Darüber hinaus definieren sie auch die Ziele und die Inhalte: also beispielsweise, mit welchen Produkten sie sich vertraut machen; mit welchen Schritte im Prozess der Kundenberatung sie vertieft auseinandersetzen; welche Arbeitstechniken sie einüben; oder über welche Webinare, Camps, Messen oder Tagungen sie sich zu neuen Entwicklungen in ihrem Arbeitsfeld auf dem Laufenden halten.

Motivationspotenziale & Spannungsfelder

Mit personalisiertem Lernen bzw. personalisierter Kompetenzentwicklung ist ein hohes Motivationspotenzial («Meine Ziele») und das Praktizieren von Selbstorganisation («Ich kümmere mich selbst darum») verbunden. Damit verbunden sind potenziell auch Spannungsfelder zwischen «meiner Entwicklungs-Agenda» einerseits und «unsere Entwicklungs-Prioritäten») andererseits:

  • Sind die Produkte bzw. Prozess-Schritte, die zu vertiefen ich entschieden habe, aus organisationaler Sicht priorisiert?
  • Gibt es eine gute Passung zwischen den Arbeitstechniken und Software-Tools, in die ich mich weiter einarbeiten will, und denen, die die Kolleg:innen in meiner Abteilung nutzen?
  • Gibt es eine gute Passung zwischen der Rolle, in die ich mich Schritt für Schritt hineinentwickeln will und den Vorstellungen meiner Vorgesetzten?

Angesichts von grösseren Freiheitsgraden (Empowerment der Mitarbeitenden im Hinblick auf ihre Kompetenzentwicklung) braucht es auch einigende Bänder. Es braucht ein gemeinsames Verständnis von Zielen und Strategien – heruntergebrochen auf verschiedenste Organisationsebenen. Und es braucht das kontinuierliche Gespräch zu Zielen, Entwicklungsaktivitäten und Entwicklungswegen. Und hier sind dann wieder die – durch das Prinzip der Selbstorganisataion und Selbstverantwortung entlasteten – Verantwortlichen für Bildung und Personalentwicklung gefordert. Die Entwicklung bzw. Unterstützung von Gesprächsroutinen zu Entwicklungszielen und Entwicklungsaktivitäten (und nicht lediglich ein Zielgespräch ein Mal im Jahr) ist eine neue Aufgaben für Bildungsverantwortliche und Personalentwickler:innen.

Diese Gedanken habe ich kürzlich in einem kurzen Beitrag für das eLearning Journal (Meier 2021) skizziert. Der Beitrag ist über diese Seite erreichbar: https://www.scil.ch/aktuelles/aktuelle-publikationen/.

Verweise

Euler, Dieter (2018): Personalisiertes Lernen an Hochschulen. Keynote Vortrag. Kurztagung „Personalisiertes Lernen an Hochschulen – Wie viel darf es sein?, 25. April 2018, PH Zürich. https://phzh.ch/de/Weiterbildung/Hochschuldidaktik-und-entwicklung/events/kurztagung/

Meier, Christoph: Personalisierte Kompetenzentwicklung. Technologie-Unterstützung, Menschen als Erfolgsfaktoren und neue Spannungsfelder. In: eLearning Journal, Themenheft “Kaufberater & Markt 2021/2022”, S. 6–9.

Schläpfer, Oliver (2021): Anbieterübersicht Learning Experience Plattformen. Unterlage für die Summer-School “Digitale Plattformen & Werkzeuge für Bildungsverantwortliche”. Institut für Bildungsmanagement und Bildungstechnologien / scil, Universität St.Gallen.

React – Redesign – Reimagine: Executive Education (und Weiterbildung allgemein)

by Leave a Comment

React – Redesign – Reimagine: ein Webinar mit einem engagiert vorgetragenen Plädoyer für die Weiterentwicklung des bisherigen Angebotsportfolios von Weiterbildungsanbietern (für Executive Education) von M. Sawhney (Kellogg School of Management / McCormick Foundation) mit konkreten Handlungsempfehlungen.

Mohan Sawhney ist Professor an der renommierten Kellogg School of Management der Northwestern University in Chicago und zugleich auch Associate Dean für Digitale Innovation der McCormick-Foundation, die Bürgerbildung fördert. In einem Webcast für Harvard Business Publishing hat Sawhney Anfang März seine Sicht auf die Zukunft der Executve Education dargelegt. Die Trends und Entwicklungsstrategien, die er darstellt, haben aus meiner Sicht auch Relevanz für die Weiterbildung insgesamt.

Sawhney strukturiert seinen Vortrag in drei Teile, die er zugleich als Entwicklungsphasen sieht:

  1. React – Auf die COVID-bedingten Rahmenbedingungen reagieren
    (das haben die Bildungsanbieter in der Regel bereits hinter sich; hier gilt es die Lernerfahrungen zu konsolidieren)
  2. Redesign – Weiterbildungsprogramme von Grund auf als Blended / Hybrid-Designs entwickeln
  3. Reimagine – Veränderungen im Weiterbildungsmarkt antizipieren und neue Geschäftsmodell entwickeln
Eigene Darstellung unter Verwendung von Bildmaterial des Webinars von M. Sawhney

React – Auf die neuen Rahmenbedingungen reagieren

Die Punkte, die Sawhney hier anführt, sind nicht neu. Bei der Umstellung von Präsenzveranstaltung auf den Modus Telepräsenz (Webinar) sollten thematische Einheiten gekürzt bzw. aufgeteilt werden, besonderes Augenmerk auf die Gestaltung von Interaktionsphasen (Breakout groups) gelegt werden und auch das Onboaring der Programm-Teilnehmenden bzw. die Unterstützung des informellen Netzwerkens bewusst gestaltet werden (z.B. virtuelles “Feierabendbier”). Der selbsterklärte Tech-Aficionado Sawhney pladiert darüber hinaus für eine gute technische Ausstattung (auch im Home Office), um dies umzusetzen:

Produktionsumgebung im Home-Office; Bildquelle: M. Sawhney

Redesign – Angebote nach dem Prinzip “Digital First” gestalten

Sawhney zeigt auf, was es heisst, qualitativ hochwertige Online-Angebote für die (Führungskräfte)-Entwicklung systematisch zu gestalten. Bei der Umsetzung solcher Angebote sind ja in der Regel ganze Teams beteiligt, die die akademischen Fachexperten (Faculty), die Programmverantwortlichen (Program Directors, Program Managers) und das Vertriebsteam (Business Development) umfassen. Die folgende Abbildung zeigt, dass diese Personengruppen über die verschiedenen Phasen (Phase 1: Design, unten; Phase 2: Umsetzung, oben) systematisch eingebunden werden müssen, welche Anpassungen erforderlich sind und welche Zwischenergebnisse in den einzelnen Phasen zu erbringen sind.

Arbeitshilfe mit Aufstellung zu den Gestaltungsaspekten für Telepräsenz-Kurse; Bildquelle: M. Sawhney

Vor dem Hintergrund der Kostenstrukturen und der zu erreichenden Skaleneffekte bei asynchronen Lerneinheiten plädiert Sawhney dafür, auch für den Bereich der Executive Education Blended-Designs bzw. Hybrid-Designs zu entwickeln und dabei auch neue technologische Möglichkeiten (beispielsweise holografische Telepräsenz) zu nutzen. Ein Beispiel, wie ein solches Blended-Design für ein einwöchiges Programm aussehen könnte, zeigt die folgende Abbildung:

Beispiel für ein Programm im Blended-Design; Bildquelle: Sawhney

Sawhney plädiert darüber hinaus dafür, alle Angebote bzw. Programme als “Multi-Channel” zu konzipieren und zu entwickeln. Die Kunden bzw. Teilnehmenden werden künftig mehr und mehr fordern, dass sie für jede Einheit (z.B. Weiterbildungstag, thematische Vertiefung) wählen können, in welchem Modus sie diese absolvieren möchten:

Durch Experten geführtOnline / Selbstgesteuert
Synchronz.B. Teilnahme am Lehrvortrag / Plenum
im physischen Kursraum		z.B. Teilnahme am Lehrvortrag / Plenum
im virtuellen Kursraum
Asynchronz.B. Bearbeitung von
Lehr-Videos		z.B. Bearbeitung von
Aufträgen zu Fallstudien
mit tutorieller Unterstützung / Feedback
Verschiedene Modalitäten, die in einem “Multi-Channel-Angebots” integriert sind

Zur systematischen Neu-Gestaltung von Online-Programmen gehört auch, dass Möglichkeiten der Integration von regionalen Teilnehmenden-Gruppen systematisch genutzt werden. Beispielsweise, indem solche regionalen Gruppen bei Video-Schaltungen systematisch in der Moderation der hybriden Kursdurchführungen berücksichtigt werden.

Reimagine – Neue Geschäftsmodelle entwickeln

Neben der bereits angesprochenen Erwartung von Multi-Channel-Optionen durch die Kunden sieht Sawhney eine Reihe von weiteren Trends, die zu tiefgreifenden Veränderungen im Markt für Weiterbildung (für Führungskräfte / Executives) führen werden und die eine Weiterentwicklung der Geschäftsmodelle erfordern:

  • Veränderte Kundenerwartungen
    Grosse Kunden erwarten von Bildungsanbietern, dass sie sie als strategische Partner in vielfältiger Weise unterstützen. Nicht nur mit klassichen Präsenzprogrammen, sondern mit einem ganzen Leistungs-Portfolio:
    – Präsenz-Kurse
    – Online-Kurse
    – Führungskräfte-Programme
    – Programme für Fachspezialisten
    – Train-the-Trainer-Programme
    – Beratung zu Personalentwicklungs-Themen und Strategien
  • Neue Anbieter als Disruptoren
    • Marktplätze für Weiterbildung / Executive Education
      Die seit einigen Jahren aktiven Anbieter wie Linkedin Learning, Coursera, Udemy oder edX waren bislang keine ernstzunehmenden Mitbewerber für Anbeiter von Weiterbildung im Bereich (Top-)Führungskräfte oder Fachspezialisten. Dies beginnt sich zu ändern. Insbesondere die MOOC-Anbieter haben zunehmend auch hochwertige (Kurz-)Studiengänge von Top-Universitäten im Programm.
    • Neue Dachmarken für MBA-Anbieter
      Americasmba.com ist eine neue Dachmarke für MBA-Angebote verschiedener Hochschulen, die spezifisch auf den Nord- und Südamerikanischen Markt ausgerichtet ist.
    • Custom-Programme
      Das in der Wirtschaftsprüfung / Steuerberatung tätige Unternehmensnetzwerk EY (Ernst&Young) bietet in Zusammenarbeit mit der Hult International Business School einen Technologie-orientierten MBA-Studiengang ausschliesslich für die eigenen Beschäftigten (knapp 300’000 Mitarbeitende) an.
    • Erfolgreiche Praktiker als Weiterbildungsmarke
      Ein Beispiel hierfür ist ThePowerMBA.com. Dieser Anbieter zählt Gründer bzw. Vertreter der Führungsriege erfolgreicher Unternehmen (YouTube, Netflix, etc.) zur “Faculty” und grenzt sich bewusst von “akademisierten” Programmen etablierter Business Schools ab: “ThePowerMBA takes the most relevant practices proven to work by industry leaders and gives it to you in a just in time format.”
    • Erfolgreiche Akademiker als Weiterbildungsmarke
      Da mit der Digitalisierung und der Verfügbarkeit von Plattformen as a Service die Martkeintrittsbarrieren niedriger geworden sind, etablieren sich auch erfolgreiche Akademiker mit eigenen Weiterbildungsangeboten. Ein Beispiel, das Sawhney anführt, ist ProfGalloway.com.
    • Learning Experience Plattformen als Service
      Bekannte Anbieter von LXP (z.B. Edcast oder Degreed) sind mit ihrem Angebot bisher nicht auf Führungskräfte / Executives ausgerichtet. Mit Anbietern wie dem Plattform-Service Wingspan von Infosys, so deutet Sawhney an, beginnt sich dies zu ändern.
  • Skaleneffekte auch in der Weiterbildung für Führungskräfte (Executive Education)
    Weiterbildungsangebote, die durch Lehrpersonen (Faculty) synchron geführt und in der Gruppe wahrgenommen werden, skalieren nur begrenzt. Auch bei einer Durchführung online (Telepräsenz) braucht es für jeden Vortrag oder für jede Lerngruppe die Fachexpert:innen und Betreuer:innen. Mit Angeboten bzw. Angebotselementen, die auf das asynchrone Bearbeiten von Lernmaterialien (z.B. Video-Vorträge, Fallstudien) ausgerichtet sind, können dagegen eher Skaleneffekte erzielt werden:
Skaleneffekte und Profitrate; Bildquelle Sawhney

Sawhney sieht den Weiterbildungsmarkt für Führungskräfte / Executives im Umbruch. Er erwartet einerseits eine Konsolidierung am oberen Ende des Markts, wo die sehr kostenintensiven (und sehr profitablen) Top-Programme platziert sind. Am anderen Ende des Spektrums wird sich der Markt für reine Online-Programme ausdehnen (Massengeschäft). Allerdings sind hier mit Anbietern wie Coursera etc. bereits Spieler aktiv, die über grosse Startvorteile verfügen: ein sehr grosses und sehr breites Angebotsportfolio sowie eine – im Vergleich mit den etablierten Business Schools überlegene – Kompetenz im Bereich Kundengewinnung und digitales Marketing einerseits sowie automatisierte Programmadministration andererseits. Ein nicht ganz so wachstumsstarker mittlerer Bereich, in den sich Anbieter von Weiterbildung (für Top-Führungskräfte) hineinentwickeln können, ist der Bereich der Blended-Programme:

Sawhney schliesst seinen engagiert vorgetragenen Impuls mit einer Reihe von Empfehlungen für die Anbieter von Führungskräfte-Entwicklung (Executive Education):

  • Bisherige Angebote um Blended / Hybrid-Optionen ergänzen (Bedürfnis nach Multichannel – Formaten bedienen);
  • Entwicklung von Angeboten im mittleren Preissegment (hybride Angebote mit hoch skalierenden reinen Online-Elementen);
  • Ergänzung des Leistungsportfolios um kürzere Angebote (z.B. fokussierte “2-Stunden Kurzschulungen”);
  • Know-how & Infrastruktur für Entwicklung von Online-Programmelementen aufbauen;
  • Faculty mit gefragten Fachkompetenzen & guter Telepräsenz an Bord nehmen;
  • Schulungszentren mit Blick auf Prinzip “Digital-First” umbauen;
  • Kundengewinnung und Marketing über digitale Kanäle stärken;
  • Das eigene Geschäftsmodell überprüfen – auch im Hinblick auf mögliche Partnerschaften.

Aus meiner Sicht sind dies Punkte, die sich auch auf die Weiterbildung in anderen Segmenten übertragen lassen.


Sawhney, Mohan (2021): What lies beyond: the future of executive education. Webinar, Harvard Business Publishing / Education.

Hinweise:

Qualität von synchronem Online-Lehren/Lernen: Evaluationsinstrument & Ergebnisse

by Leave a Comment

Formen von synchroner Online-Lehre (Webinare) sind im Vergleich zu asynchronen Formen (MOOCs) bisher weniger intensiv wissenschaftlich untersucht worden. Ein Forschungsbericht von Wissenschaftlern der Universität Warschau bietet ein einfaches Evaluationsinstrument für Webinare und zeigt erfolgsförderliche Gestaltungsaspekte auf.

Im letzten Jahr haben, bedingt durch die COVID-Pandemie, synchrone Formen des Online-Lehrens und Lernens stark an Bedeutung gewonnen. Bislang liegen deutlich weniger empirische Forschungsergebnisse zu den Erfolgsfaktoren für synchrones Online-Lehren bzw. Lernen vor als etwa zu asynchronen Lehr-Lernformen wie MOOCs. Die beiden Autoren der Kozminski-Universität in Warschau (vgl. Referenz unten) haben ein Online Training Festival im April 2020 dafür genutzt, die insgesamt 45 Online-Sessions (im Umfang zwischen 90 und 150 Minuten) zu analysieren, zu evaluieren und Erfolgsfaktoren herauszuarbeiten.

Typen von synchronen Online-Formaten

In ihrem Forschungsbereicht, der vor wenigen Tagen im International Journal of Training and Development publiziert wurde, schlagen die Autoren zunächst eine grobe Typologie für synchrone Formate des Online-Lehrens bzw. Lernens vor, die sie aus früheren Arbeiten ableiten und die in der folgenden Tabelle in leicht angepasster Form wiedergegeben wird:

Typen von Bildungsformaten und korrespondierende synchrone Online-Formate
(Bildquelle: scil, nach Czahajda / Cernko 2021)

Teilnehmenden-Zufriedenheit als sinnvoller Startpunkt für die Evaluation von Webinaren

Bei ihrer Annäherung an die Evaluation von synchronen Online-Trainings verweisen die Autoren zunächst darauf, dass Transfer-Erfolg zwar ein besserer Indikator für die Wirksamkeit von Trainings ist als die Zufriedenheit der Teilnehmenden. Allerdings ist der Transfererfolg schwierig zu ermitteln ist – insbesondere bei offenen Webinaren, an deren Personen aus verschiedensten Organisationen teilnehmen. Ausgehend von vorliegenden Forschungsergebnisse argumentieren Czahajda / Černko, dass auch die Teilnehmenden-Zufriedenheit ein sinnvoller Startpunkt für Evaluationen ist. Sie verweisen insbesondere darauf, dass die Zufriedenheit der Teilnehmenden mit einem Trainingsangebot (on site oder on line) ganz allgemein ein guter Indikator für die folgenden Aspekte ist:

  • die Wertschätzung des Trainingsangebots;
  • die Nachfrage nach diesen Angebot;
  • den Erfolg bei der Vermarktung des Angebots;
  • die Bereitschaft der Teilnehmenden, die Inhalte in die Praxis zu transferieren.

Net Promotor Score als sinnvolles übergreifendes Bewertungskriterium

Die Autoren wenden sich dann der Frage zu, ob denn der Net Promoter Score (NPS) ein sinnvolles, übergreifendes Bewertungskriterium für Bildungsdienstleistungen und Webinare ist. Hierzu gibt es unterschiedliche Auffassungen. Allerdings zeigen Studien, dass – wenn man sich auf ein einziges (in der Aussagekraft immer eingeschränktes) Kriterium beschränken möchte – der NPS ein nützliches Mass ist.

Ein einfaches aber valides Evaluationsinstrument für Webinare

Ausgehend von bereits vorliegenden Arbeiten entwickeln und validieren die Czahajda und Černko ein einfaches Evaluationsinstrument für Webinare. Sie schlagen dafür die folgenden 10 Bewertungsaspekte vor. Die nachfolgende Tabelle zeigt die von ihnen verwendeten Items und schlägt eine Übersetzung ins Deutsche vor:

Item / DimensionUrsprüngliche Formulierung
und Vorschlag für eine deutsche Fassung
FunThis session was fun.
Das Webinar hat Spass gemacht.
ComfortI felt comfortable during the session.
Ich habe mit während der Session wohlgefühlt.
LearningI haved learned a lot.
Ich habe viel gelernt.
EfficiencyThe time was used efficiently.
Die verfügbare Zeit wurde effizient genutzt.
InteraktivitätThe session was interactive enough.
Das Webinar war ausreichend interaktiv.
DepthThe session was advanced and deep enough.
Das Webinar bot eine ausreichende inhaltliche Tiefe.
QuestionsThe session answered all my questions.
Im Rahmen des Webinars wurden alle meine Fragen beantwortet.
UsefulnessThe session will be very useful to me.
Das Webinar wird für mich im Nachgang noch nützlich sein.
ExpertiseThe trainer was an expert in this field.
Der / die Trainer:in ist ein(e) Expert:in im Fachgebiet.
NPSHow likely are you to recommend this session to a friend?
Wie gross ist die Wahrscheinlichkeit, dass Sie diese Session weiterempfehlen?
Frage-Items des vorgeschlagenen, einfachen Evaluationsinstruments für Webinare
(Quelle: Czahajda / Cernko 2021, ergänzt von scil)

Im Rahmen der Prüfung der Validität und Trennschärfe zu diesen Items haben die Autoren unter anderem eine Faktorenanalyse vorgenommen. Das Ergebnis zeigt folgendes:

  • Der NPS weist von allen Items die stärkste Korrelation mit der subjektiv wahrgenommenen Qualität eines Webinars auf.
  • Sehr hohe Korrelationen zeigen sich auch für die Aspekte “Nützlichkeit” und “Lernen”.
  • Das Qualitätskriterium “Interaktivität”, dass häufig als zentrales Kriterium herausgestellt wird, weist die niedrigste Korrelation von allen 10 überprüften Items für subjektiv wahrgenommenen Qualität auf (mehr dazu unten).
Faktoren-Modell für das Evaluationsinstrument “Wahrgenommene Webinar-Qualität” (Quelle: Czahajda / Černko 2021)

Qualitative Aspekte und Handlungsempfehlungen

Neben der quantitativen Untersuchung der oben genannten Aspekte haben die Autoren über offene Fragen weitere Aspekte der wahrgenommenen Qualität von Webinaren untersucht. Die Rückmeldungen haben sie in der folgenden Tabelle verdichtet. Dabei sind die Aspekte, die mit einer positiven Bewertung eines Webinars einhergehen, links aufgeführt (“promoter feedback”), und die Aspekte, die mit einer negativen Bewertung einhergehen, rechts (“distractor feedback”):

Gestaltungsaspekte von Webinaren, die mit positiver (links) und negativer Bewertung (rechts) einhergehen (Quelle: Czahajda / Černko 2021)

Die in dieser Tabelle angeführten Punkte überschneiden sich in Teilen mit den bereits oben angeführten Punkten und liefern ergänzende Hinweise darauf, welche Aspekte bei der Gestaltung von Webinaren beachtet bzw. berücksichtigt werden sollten.

In der abschliessenden Diskussion ihrer Ergebnisse stellen die Autoren unter anderem die beiden folgenden Punkte heraus:

  • Das Erfassen der “Qualität eines Webinars” würde durch die Berücksichtigung von weiteren Beurteilungsaspekten (über die 10 bisher verwendeten Aspekte hinaus) gestärkt.
  • Ein so erweitertes Beurteilungsraster würde es ermöglichen, die Unterschiede (auch im Hinblick auf wahrgenommene Qualität) zwischen verschiedenen Typen von Webinaren (z.B. Fokus auf die Entwicklung von ‘hard skills’ versus Fokus auf ‘soft skills’) deutlicher herauszuarbeiten. Dies betrifft insbesondere den Aspekt der “Interaktivität”, der insbesondere für Webinare, die auf die Entwicklung von ‘soft skills’ ausgerichtet sind, eine wichtige Rolle spielt.

Referenz

Czahajda, Radoslaw; Černko, Mitja (2021): Perceived Session Quality Scale: What contributes to the quality of synchronous online education? In: International Journal of Training and Development. DOI: 10.1111/ijtd.12216.