(Von Sindy Lesny, Evaluation) Über die letzten drei Semester hat museOn evaluiert, analysiert, diskutiert, hinterfragt und Schlussfolgerungen für die weiterführende Arbeit im Weiterbildungsprogramm auf Prozess-, Struktur- und Inhaltsebene gezogen. Nun wollen wir Sie an den Ergebnissen und dem Weg dorthin teilhaben lassen und auch den Blick nach vorne richten…
Zum Hintergrund der Evaluation bei museOn
In der wissenschaftlichen Weiterbildung bedeutet ein umfassendes Qualitätsmanagement einen „fortlaufender Arbeitsprozess […], der auf Beteiligung, Kommunikation und einer Bereitschaft zu Veränderungen beruht“[1], in Gang zu setzen. Diesem Grundsatz ist museOn gefolgt. Das umgesetzte Evaluationskonzept orientiert sich an den Empfehlungen für die Qualitätsentwicklung in der universitären Weiterbildung der Swissuni. Neben den Qualitätsdimensionen ‚Organisation und Ressourcen‘, ‚Umsetzung und Durchführung‘, ‚Lernergebnisse und Output‘ spiegeln sich auch die Dimensionen ‚Transfernutzen und Wirkung‘ sowie ‚Qualitätsentwicklung‘ im Evaluationskonzept wider. Zudem wurde das im Kontext von Trainingsprogrammen oft herangezogene 4-Stufen-Evaluationsmodell von Donald Kirkpatrick[2] als Grundlage für die Evaluation des Projektes mit berücksichtigt, um Aussagen zur Zufriedenheit, dem Kompetenzerwerb und Lernerfolg der Studierenden sowie zum Transfer- und Projekterfolg der Weiterbildung treffen zu können.
Die Evaluation des Weiterbildungsprogramms von museOn verfolgt übergeordnet das Ziel die Bedarfe berufsbegleitend Studierender im Museumsbereich und die Spezifik des didaktischen Konzepts des Blended Learning kontinuierlich zu verbessern und gezielt Empfehlungen für die Weiterentwicklung des Angebots im Hinblick auf die Zielgruppe, die Inhalte, die didaktische Umsetzung, die Vereinbarkeit von Familie und Beruf, das Betreuungskonzept, die Organisation und die Verzahnung von wissenschaftlichen Erkenntnissen und beruflicher Praxis sowie die Wirksamkeit und Verwertbarkeit im beruflichen Alltag zu generieren.
Wer, wie und wann wurde evaluiert?
Innerhalb der Testphase wurden sowohl die Studierenden, die Dozierenden/Autor_innen als auch die kursbegleitenden Tutor_innen in die Evaluation einbezogen. Bewertet wurden von Studierendenseite die Auftaktpräsenz, die Teilmodule sowie die Weiterbildung als Ganzes in einer Abschlussevaluation jeweils am Ende des Semesters. Die Befragungen wurden über standardisierten Fragebögen in die Lernplattform Ilias eingebunden und auf die einzelnen Teilmodule abgestimmt.
Die Dozierenden/Autor_innen erhielten nach Beendigung der betreuten Teilmodule Leitfragen an die Hand, die ihnen eine reflektierte Auseinandersetzung mit ihrem jeweiligen Teilmodul erleichtern und uns zugleich wertvolle Hinweise zur Optimierung liefern sollten. An folgenden Leitfragen konnten sich die Dozierenden dabei orientieren:
- Wie schätzen Sie die Qualität des Teilmoduls ein (inhaltlich, didaktisch, organisatorisch)?
- Welche Alternativen zum Teilmodul könnten Sie sich vorstellen (Anregungen, Verbesserungsvorschläge)?
- Wie gestaltete sich die Zusammenarbeit mit den Teilnehmenden, den Tutor_innen und dem museOn-Team?
- Wie bewerten Sie den Lernerfolg der Teilnehmenden?
- Welche Aspekte/Bedingungen haben aus Ihrer Sicht den Lernerfolg der Teilnehmenden unterstützt, welche gehindert?
- Wie beurteilen Sie Ihre eigene Arbeit?*
Bis zum Sommersemester 2017 wurden diese Ergebnisse mit einem standardisierten Onlinefragebogen in Ilias komplettiert, der auf die Modulentwicklung, -durchführung und –nachbereitung, auf das Programm und Blended Learning-Format sowie auf die Relevanz für die Berufsgruppe Bezug nahm und Raum zur Selbstreflexion und für Verbesserungsvorschläge gelassen hat.
Die Unterstützung des Lernprozesses durch die Tutor_innen wurde ebenfalls in der Evaluation berücksichtigt. Anhand der Leitfragen* hat museOn auch von Tutor_innenseite Rückmeldung eingeholt, da aufgrund der Besonderheiten des Blended Learning-Formats auch der Betreuung der Lernenden durch die E-Tutor_innen eine große Bedeutung zukommt. Der Abschlussworkshop am 18.05.2017 gab ihnen in einem leitfragengestützten Gruppeninterview zusätzlich Gelegenheit auf ihre Erfahrungen zurückzublicken und uns Feedback zu den Themen Zusammenarbeit, Motivation, Rolle und Aufgaben, Bewertungsmaßstäbe und (Lern-)Erfolge, Technik zu geben. Ziel war es auch hier, die Rahmenbedingungen ihrer Arbeit weiter zu verbessern und ihnen mehr Orientierung, Sicherheit und Handlungsfähigkeit in ihrer Rolle und ihren Aufgaben als E-Tutor_in zu geben.
Welche Schlussfolgerungen ziehen wir daraus?
Die Evaluationsergebnisse der Teilmodule wurden in regelmäßigen Teamsitzungen anhand von Checklisten zu Inhalten, didaktisch-methodischer Aufbereitung sowie Lehr-/Lernmaterialien reflektiert, analysiert und zur Überarbeitung freigegeben. Um ein ganzheitliches und aussagekräftiges Bild zu erhalten wurden dabei sowohl die Bewertungen der Studierenden, der Dozierenden sowie Tutor_innen zum entsprechenden Teilmodul herangezogen. Ebenso wurden die Ergebnisse aus den Abschlussevaluationen und Dozierendenevaluationen am Ende der Semester behandelt.
Für die Phase der Verwertung, beginnend im Wintersemester 2017/2018, unterliegt auch das Evaluationskonzept noch einmal einer Überarbeitung. So hat sich bei der Überprüfung der Evaluationsfragen im Team gezeigt, dass der Schwerpunkt auf standardisierten Fragebögen allein nicht ausreichend ist, da die Aussagekraft einiger Fragen für die Weiterentwicklung und Professionalisierung des Programms nicht förderlich ist. Zukünftig sollen für die Evaluation auch verstärkt die Möglichkeiten des E-Learning genutzt werden. Neben den standardisierten Fragebögen in Ilias, die auch weiterhin eine wichtige Säule der Evaluation darstellen, werden Online-Räume und –Meetings genutzt, um in strukturierten Gesprächen mit Unterstützung von Leitfragen Feedback der beteiligten Dozierenden und Tutor_innen einzuholen, um konkrete Verbesserungspotentiale in den einzelnen Teilmodulen, aber auch im Gesamtprogramm zu identifizieren und gemeinsam entsprechende Handlungsempfehlungen abzuleiten. So erhoffen wir uns durch den verstärkten Einsatz qualitativer Evaluationsmethoden gerade von Dozierendenseite eine stärkere Beteiligung an den Befragungen.
Abschließend erhalten Sie einen Einblick in die Ergebnisse aus der Abschlussevaluation des Wintersemesters 2016/2017.
Die Ergebnisse der Abschlussevaluation im Wintersemester 2016/2017
Mit einer Beteiligung von 50% (absolut 34) liegen die Ergebnisse der Abschlussevaluation im Wintersemester 2016/2017 vor. Von den 34 Befragten haben 16 Proband_innen einen CAS-Abschluss erworben und damit mindestens zehn Teilmodule belegt; 18 Studierende haben sich in einzelnen Kursen mit dem Erhalt von Teilnahmebescheinigung(en) weitergebildet.
Was leistet museOn?
„neu, innovativ, greift neue Tendenzen auf, macht neugierig“
„Vielseitig, zusammengehörig, kompetent, offen“
museOn verbindet Wissenschaft und Praxis, und genau das ist es, was von den Studierenden im Weiterbildungsprogramm geschätzt wird. Mit der thematischen Ausrichtung geht museOn auf die persönlichen Interessen, Bedürfnisse und Wissenslücken der Studierenden ein und zeichnet sich zudem durch aktuelle Themen von und für Museumsschaffende aus. Insgesamt haben die Weiterbildungsinhalte im Wintersemester zu einem persönlichen und fachlichen Mehrwert der Teilnehmenden beigetragen. Alle Studierenden sind motiviert, die Inhalte aus der Weiterbildung in ihrer beruflichen Praxis umzusetzen. Durch das Blended Learning-Format hatten die Teilnehmenden die Möglichkeit ihre Lernzeit flexibel zu gestalten. So konnten die meisten Studierenden die Inhalte in der dafür vorgesehenen Lernzeit gut bearbeiten. Trotz des Gedankens des selbstgesteuerten Lernens, kritisierten einige Studierende, dass gerade Gruppenarbeiten oder feste Termine für Onlinemeetings diese Freiheit und Flexibilität einschränken. Auch wurde die Arbeitsbelastung von Einigen höher bewertet als zunächst angenommen. Insgesamt waren sich bei der Frage nach der Vereinbarkeit von Familie und Beruf durch den Blended Learning-Ansatz aber 88% der Teilnehmenden einig, dass diese Art des Studierens ihren Bedürfnissen am ehesten entspricht. 97% würden erneut an einer Weiterbildung im Blended Learning-Format teilnehmen. Die Präsenzveranstaltungen im Rahmen der Weiterbildung, allen voran die in den Teilmodulen, wurden zudem als wichtiges und bereicherndes Element angesehen.
“Ich danke für die Chance der Teilnahme und der so fundierten, kompakten berufsbegleitenden Studienmöglichkeit. Gleichwohl hat mir die zeitliche Belastung für den CAS-Abschluss bei Vollzeitbeschäftigung deutlich meine Grenzen aufgezeigt.”
Insgesamt sind 97% der Studierenden mit der Weiterbildung sehr zufrieden; 93% werden sie weiterempfehlen. Daneben sind 85% der Teilnehmenden der Meinung, dass das Weiterbildungsprogramm von museOn zu einer beruflichen Weiterentwicklung/Veränderung verhilft bzw. die berufliche Situation verbessern und/oder den (Wieder-)Einstieg in den Beruf erleichtern kann. Zudem bewerten 87% der Studierenden die Qualität des Programms mit „sehr gut“ bzw. „gut“.
“Nach außen wirkt museOn sehr professionell, gut organisiert und ein breites Spektrum abdeckend. Inwieweit die Qualität der Veranstaltungen zu beurteilen ist, finde ich persönlich schwierig, da mir Vergleichsmodelle fehlen.”
Aussagen von Studierendenseite über den Ruf von museOn bei (potenziellen) Arbeitgebern lassen sich gegenwärtig noch schwer treffen. Nur 16% der Befragten sind zudem der Meinung, dass ihr Arbeitgeber die Weiterbildung finanziell unterstützen würde. Erfreulich für das museOn-Team ist allerdings, dass die Proband_innen auch zukünftig ein Teil des Weiterbildungsprogramms sein möchten.
“Freundlich, offen, ambitioniert mit einer Vision. Mir scheint, dass sich das Programm bislang noch nicht überall herumgesprochen hat. (Aber es ist ja auch noch nicht offiziell gestartet!) Wenn ich während des vergangenen Jahres darüber berichtet habe, bin ich stets auf zumindest freundliches und häufig auch auf sehr aufmerksames Interesse gestoßen. Der Name museOn, die Webseite und besonders die breite TMpalette sowie deren graphische Präsentation als Modulbaukasten sind ein großes Plus.”
Das Betreuungskonzept von museOn greift sehr gut. Die Teilnehmenden schätzen sowohl die professionelle Beratung, intensive Betreuung als auch den Informationsaustausch während der Weiterbildung. Vor allem der Website-Auftritt wird als ansprechend, informativ und professionell beschrieben.
Der Kontakt zu den Dozierenden wurde als sehr gut bis gut bewertet, auch wenn einzelne Stimmen konstatieren, dass sie sich einen intensiveren Austausch und vor allem mehr konstruktives Feedback durch die Fachexpert_innen gewünscht hätten. Studierende, die sich bereits im Sommersemester weitergebildet haben, sahen im Vergleich zum Wintersemester einen größeren (Lern-)Gewinn.
“Ich durfte bereits im Sommersemester Teststudentin bei museOn sein und kann nach wie vor nicht genau benennen, wieso, aber mein Eindruck ist, im vorangegangenen Semester eine steilere Lernkurve gehabt zu haben. In diesem Semester kamen manche TM für mich einfach nicht zusammen, fügten sich letztlich nicht zu einem vollständigen Bild. Die im Vergleich zum Sommersemester doch eher verschulte Struktur etlicher TM hat mich sowohl irritiert als auch frustriert. Ich favorisiere TM, in denen Raum bleibt, sich den Inhalten zu nähern und sie sich zueigen zu machen anstatt diese nur zu repetieren. Solche TM, die eingangs umfassend briefen, dann jedoch ohne kleinteilige Lernzielabfragen oder zeitaufwändiges, frustrierendes Repetieren von gerade Gelesenem auskommen, bringen mir im Aneignungsprozess und in der Auseinandersetzung mit neuen Inhalten deutlich mehr.”
“Insgesamt fand ich das Sommersemester (bei diesem war ich auch schon dabei) spannender, sowohl von den Themen sowie von den Dozenten.”
Was leistet museOn (noch) nicht?
Auch wenn der Austausch und die Lernatmosphäre in den verschiedenen Lerngruppen als gewinnbringend bezeichnet wurden, konnten die Gruppenarbeiten in den Teilmodulen nicht ganz daran anknüpfen.
“Das ist einfach schwierig zu verbessern – Es kommt auf die Motivation der einzelnen Teilnehmer an. Im letzten Semester war es sehr gut, diesmal nicht so. Grundsätzlich finde ich die Onlinemeetings sinnvoll, die in meinen Kursen in diesem Semester leider zu kurz kamen, bzw. in denen wenig diskutiert wurde.”
Anregungen gab es innerhalb der Abschlussevaluation auch für ein breiteres Themenspektrum. Neben dem Bereich des Restaurierens und Konservierens möchten sich die Studierenden bspw. zu Provenienzforschung sowie social media in Museen weiterbilden. Auch für die Erweiterung der (musealen) Kooperationspartner haben die Probanden einige (Denk-)Anstöße und Vorschläge geliefert. Vor allem Kooperationen mit Kunstmuseen, Restaurationsverbänden und Archiven werden als Bereicherung angesehen.
“Insgesamt noch mehr Einbindung in das museale Netzwerk in Deutschland! Wenn es den Studierenden darum geht, sich beruflich zu qualifizieren brauchen sie ganz pragmatisch Kontakte – noch mehr Kontakt zu Museumsschaffenden. Wie lässt sich das umsetzen? Evtl. Mentorenprogramm aufbauen, nochmal eine Präsenzphase mehr …”
Zudem besteht auch der Wunsch die Zusammenarbeit auf internationaler Ebene auszubauen. Daran anknüpfend werden englischsprachige Teilmodule von 81% der Teilnehmenden gewünscht, allerdings wird ein rein englischsprachiges Programm nur von 42% der Befragten befürwortet.
Alumni-Netzwerk
81% der Befragten haben Interesse an einem Alumni-Netzwerk, welches vorrangig durch Onlineveranstaltungen mit Leben gefüllt werden soll. Innerhalb des Netzwerks ist den Absolvent_innen vor allem der persönliche, fachliche und museumsbezogene Austausch wichtig. Darauf hat museOn reagiert und auf Ilias eine Plattform geschaffen.
Ausblick
Aus den Evaluationen in den vergangenen Monaten haben wir hinsichtlich unsere Lehr-Lernorganisation, dem Programmformat, der Inhalte, dem Betreuungskonzept, der Vernetzung der Studierenden und den Einflussfaktoren auf das Lernen, der Qualität der Lehr-Lernmaterialien, der Zusammenarbeit mit den Dozierenden/Autor_innen und Tutor_innen sowie des Angebots als Ganzes konstruktive Rückmeldungen erhalten. Mit der Follow-up-Befragung der Studierenden im November dieses Jahres sollen zudem Aussagen über die Wirksamkeit, Nachhaltigkeit und Relevanz des Weiterbildungsprogramms bezogen auf ein heterogenes Berufsfeld getroffen werden. Motiviert von dem positiven Feedback wollen wir weiter daran anknüpfen und zugleich die Anregungen zur Verbesserung als Denk- und Handlungsanstöße nutzen. So wird auch die Evaluation des Weiterbildungsprogramms in den kommenden Semestern ein fester Bestandteil unserer Arbeit sein.
Nochmals vielen Dank an unsere Studierenden, Dozierenden und Tutor_innen, die sich an den Befragungen beteiligt haben.
Für Rückfragen stehe ich Ihnen gerne zur Verfügung.
Kontaktdaten:
E-Mail: sindy.lesny@museon.uni-freiburg.de
Telefon: +49 (0)761 203-98615
Adresse: Friedrichstraße 50, 79098 Freiburg
[1] Mörth, Pellert, Bischof (2015): Handreichung Qualitätsmanagement in der wissenschaftlichen Weiterbildung. Qualitätsmanagementsysteme, Kompetenzorientierung und Evaluation. Einleitung. S. 5.
[2] Kirkpatrick, Donald (1998): Evaluating Training Programs: The Four Levels. San Francisco/CA, Berrett-Koehler Publishers Inc., 2. Auflage.
