Elektronische Prüfungen – die Zeit ist reif, die Organisation nicht?

Die Verwendung von Computern für die Abwicklung von Prüfungen findet immer mehr Verbreitung in den Hochschulen, in Veröffentlichungen und auf Tagungen ist das Thema präsent. Interessant ist das Thema aber auch deshalb, weil sich daran zeigen lässt, wie sich Digitalisierung in der Bildung entwickelt und wo sie an Grenzen des Systems stösst. 

Samstagmorgen 09:40 Uhr. Die Mitarbeiterin aus dem Zentrum für Sprachen und Schlüsselkompetenzen sagt noch einmal „Good Luck on your Test“ und die „Elektronische Eignungsprüfung“ im Fach Anglistik beginnt. Jetzt ist für die nächsten eineinhalb Stunden fast nur noch leises Mausklicken und Tastaturgeklapper zu hören. Im vierten Jahr führen wir jetzt an der Universität Potsam diese Form der Eignungsprüfung durch und mit jedem Jahr wurde der Prozess reibungsloser und einfacher. Heute werden zwei mal im Jahr Eignungsprüfungen mit jeweils fast 200 Teilnehmer*innen in zwei aufeinanderfolgenden Durchgängen in zwei Poolräumen des Instituts für Informatik durch.

Es ist wichtig zu zeigen, dass etwas funktioniert – auch wenn es nicht optimal ist

Das eigentliche Testsystems hatten wir dabei eigentlich relativ schnell im Griff: Ein separates Standard-Moodle als, die Konfiguration, dass dieses System nur aus dem Uni-Netz erreichbar ist, plus manuelle Steuerung, dass die Tests vor und nach der Prüfung nicht erreichbar sind haben bisher noch keine Sicherheitslücken aufgetan. Im Rahmen einer Bachelorarbeit wurden die Grundkonfiguration und die ersten Durchgänge entwickelt und begleitet.

Bundesarchiv Bild 102-11344, Intelligenzprüfung schulentlassener Mädchen
Prüfung 1931 (Bundesarchiv)

Trotz stattgefundener Modernisierung ist aber beispielsweise die Vorbereitung der Poolräume mit hohem Aufwand verbunden. Einerseits müssen die Pools hard- und softwareseitig aktuell gehalten werden, andererseits müssen die Mitarbeiter*innen bereits sein, diese zusätzlichen Aufgaben zu übernehmen – denn eigentlich handelt es sich hier ja nicht um Räume, die für Tests vorgesehen sind. Nervig ist daher immer noch, dass wir die Rechner vor jeder Prüfung manuell hochfahren, Betriebssystem und Browser in Gang setzen und die Startseite für die Prüfung eintippen müssen. In Zukunft soll auch dies automatisiet werden, was auch diesen Teil des Prozesses für alle vereinfachen wird. Nicht
so einfach ist es aber die Zusammenarbeit von verschiedenen Einrichtungen dauerhaft zu etablieren, wozu auch gehört, das gegenseitige Verständnis für die Sicht- und Arbeitsweisen der Expert*innen zu entwickeln, zu begreifen, was zu den Standardaufgaben der jeweilig anderen gehört und was nicht. Einerseits können einem Aussagen wie „das gehört aber doch zu seinem/ihrem Job“ begegnen. Andererseits sind historisch gewachsene Prozesse und Verfahrensweisen (etwa das „Anmelden zur Prüfug in letzter Minute“) die im Paper-Pencil-Verfahren kein Problem darstellen mit dem entsprechenden Prozess von „Nutzer*in anlegen“, „Passwort generieren“ und „Ausdrucken für die Teilnehmer*in“ einfach nicht so kurzfristig zu machen, wie das eintragen einer*s Teilnehmer*in in einer Liste. Auch der Vorgang, aus den Ergebnissen die Bescheinigungn zu erzeugen und per Mail zu versenden erwies sich als hartnäckig undigitalisierbar. Hier wurde zwar eine kleine smarte Software gebaut, die erwies sich aber als ziemlich pflegebedürftig und konnte erst nach einigem Hin und Her zu einem funktionierenden Workflow umgebaut werden. Knackpunkt hierbei war, dass die Lösung gegenüber kleinsten Fehleingaben intolerant war und die Beschäftigung mit Zeichensätzen, Feldformatierungen und Excelversionen nicht zu den Kernaufgaben der Verwaltungsmitarbeiter*innen gehört und das Tool ohne persönliche Betreuung unbrachbar war.

Technik und Konzepte sind nicht das Problem, das Problem ist es, die „Organisation Hochschule“ in Bewegung zu bringen

Anglistikprüfung Uni Potsdam 2017 (eigene)
Anglistikprüfung
 Uni Potsdam 2017 (eigene)

Inzwischen sind alle glücklich mit der Lösung und die Eignungsprüfung hat sich zum Pilotprojekt für das Thema E-Prüfungen an der Universität Potsdam gemausert. Es hat sich gezeigt, dass wir trotz anfänglich großer Bedenken in der Lage sind mit der vorhandenen Technik und durch de Einsatz von engagierten Menschen etwas auf die Beine zu stellen dass Modellcharakter haben kann. Auch rechtliche und administrative Rahmenbedingungen lassen sich so anpassen, das E-Prüfungen rechtssicher sind und sich beispielsweise die Einsichtnahme durch Prüflinge problemlos realisieren lässt. Wir haben sehr viel gelernt in den vergangenen vier Jahren und fühlen uns nun gut gewappnet das Thema E-Assessment in größerem Maßstab anzugehen. Hätte es hier nicht einen gewissen Mut zum Risiko gegeben, wären wir heute nicht an diesem Punkt. Wir bekommen auch jede Menge gut gemeinter Ratschläge von vielen Seiten, wie wir die Prozesse weiter automatisieren, optimieren, modernisieren und effektiver machen können. Aber das Problem ist nicht, dass wir nicht wissen, was wir machen müssten, sondern das wir an die Grenzen der Organisation Hochschule stossen.

Technische Innovation ohne organisationale Erneuerung ist sinnlos

Grassierende Überlastung, implizite und explizite Normen, endlose Prüfschleifen statt Entscheidungen, eine immer noch vielerorts vorherrschende this-is-not-my-job-Haltungen, Abgrenzungs- und Wagenburg-Mentalität hinsichtlich von Einfluss- und Kompetenzbereichen, offener oder verdeckter Unwillen zur Kooperation und eine spürbare Abneigung von Verantwortlichen sich diesen Herausforderungen zu stellen: Diese Phänomene machen es so schwierig in der Hochschule sinnstiftende Innovationen umzusetzen. Beim Thema E-Prüfungen kann man daher den Lackmustest machen. In den letzten Jahren haben sich Technologie, Praxis und wachsender Erfahrungsschatz der E-Prüfungen auf die Plateau der Produktivität im Hype-Cycle zubewegt: Man muss es einfach nur noch tun, dann lassen sich die positiven Effekte verstärken und weiter entwickeln, dann lässt sich durch technologische Entwicklung der Freiraum für didaktische Innovation schaffen. Es einfach zu tun bedeutet aber auch nicht, die Entwicklung hin zur Digitalisierung als alternativlosen Megatrend zu propagieren und mit diesem Killerargument die allfälligen Widerstände und Hemmnisse die sich meist aus dem menschlichen Faktor speisen (und sich in menschlichen Organisationsweisen vergegenständlichen) plattzubügeln. Wirklich alternativlos ist es hingegen, die organisationalen Hemmnisse zu thematisieren und sich nicht auf die Inseln des Gelingens (mit einem Leuchtturm in der Mitte…) zurückzuziehen.

Wir sind ja kein Unternehmen! - von Daniel Al-Kabbani auf http://constructive-amusement.weebly.com/
Wir sind ja kein Unternehmen! – von Daniel Al-Kabbani auf constructive-amusement.weebly.com

E-Portfolios als sinnvoller Weg hin zu einer Digitalisierung von Bildung

Zum Community-Call vom 23.09. des German-Chapter des Europortfolio-Projekts, dass von den KollegInnen aus Österreich gestaltet wurde, möchte ich trotzdem es länger zurückliegt, etwas ausführlicher berichten und damit auch noch einmal die Aufzeichnung und die Themen all denjenigen anempfehlen, die sich mit dem Einsatz von E-Portfolios insbesondere in der Schule befassen.
Zunächst berichteten Andrea Ghoneim und Klaus Himpsl-Gutermann aus den Projekten EUfolio und ATS2020. EUfolio startete 2013 und hatte zum Ziel die Anwendung von Portfolios in der Schule in fünf europäischen Ländern zu erproben und zu untersuchen. 70 Schulen, knapp 200 LehrerInnen und über 4000 Schüler in fünf europäischen Ländern waren in der Piltophase beteiligt. Im April 2015 fand die Abschlusskonferenz statt. Weiterhin gewährte uns Petra Szucsich Einblicke in die Ergebnisse der „ePortfolio for KidZ – Studie“ aus 2014.

Beide Berichte gaben uns einen vertieften Einblick in den aktuellen Stand der Portfolio-Arbeit in Europa mit dem Fokus auf Schule. Die Erfahrungen aus der österreichischen Portfolio-Community sind mir stets hochwillkommen weil sie diese einzigartige Mischung aus wissenschaftlicher Fundierung, Orientierung auf die Praxis und Bezugnahme auf das alltägliche Leben zu verbinden wissen.

Das E-Portfolio als PLE – eine erweiterte Definition

Bemerkenswert schien mir die Definition des E-Portfolios, die im EUfolio-Projekt, – lt. Bericht „nach eingehender Diskussion“,  zugrunde gelegt wurde (siehe die Folie 8 in der Präsentation auf http://mahara.eufolio.eu/view/view.php?id=9786):

“E-Portfolios sind dynamische digitale Arbeitsplätze, deren EigentümerInnen die LernerInnen sind. Sie können darin ihr Lernen und ihre Ideen festhalten, haben so Zugang zu ihren Arbeits-Sammlungen, können über ihr Lernen reflektieren, es teilen, sich Ziele setzen, Feedbacks einholen und ihr Lernen und ihre Errungenschaften darstellen.”

Bemerkenswert ist diese Definition deswegen, weil hier weggegangen wird von den „Artfakten“ als Kernelement der bisherigen Portfolio-Definitionen hin zum „digitalen Arbeitsplatz“, also eine Definition die deutlich in Richtung Personal Learning Environments weist. Man kann sagen, dass *das* Portfolio weniger als ein substantieller Gegenstand und mehr als Umgebung und Prozess definiert wurde. Aber auch die enge Verbindung von Portfolio-Arbeit mit der Definition von Kompetenzen im Projekt, die in diesem Fall wohl notwendig abstrakt als „21st century skills“
beschrieben werden macht eine Stärke des Konzepts aus. Damit wird nämlich neben der eher unspezifischen Definition als „digitaler Arbeitsplatz“ auch die inhaltliche Bestimmung der Portfolio-Arbeit als kompetenzorientiert stark gemacht.

Portfolioarbeit stärkt Kompetenzen

Im Unterschied zur oft auf Bewertungsprozesse (Assessment) fokussierten Portfolio-Arbeit in den Hochschulen, war die Anwendung in den Projektschulen auf die Weiterentwicklung der Formen und Methoden von Unterricht konzentriert. Entsprechend erstrecken sich die Erfahrungen und Rückmeldungen auf grundsätzliche Herangehensweisen und Rollenverständnisse rund um den Unterricht. So  werden als wichtige Punkte aus den Rückmeldungen der LehrerInnen vor allem das „Erlernen“ (sic!) von

  • formativer Beurteilung
  • lernerInnenzentriertes Arbeiten
  • IKT-Fertigkeiten

benannt.
Für die SchülerInnen werden vor allem

  • kritisches Denken
  • IKT-Fertigkeiten
  • Selbststeuerung und Selbstreflexion

als unterstütze Kompetenzen formuliert.

Siehe auch den Evaluationsbericht der Pilotphase: Economou, A., & Avraamidou, A. (2015). EU Classroom ePortfolios Pilot Evaluation Results.(PDF)

Hört und liest man diese Ergebnisse, scheint gelungen zu sein, was in optimistischen Entwürfen der E-Portfolio-Arbeit beschrieben wurde – nämlich das Portfolio als Möglichkeit, Lehre und Unterricht in Richtung Lernendenzentrierung, Selbstorganisation und Kompetenzentwicklung zu entwickeln. In den vorgestellten Projekten scheint die Gemeinsamkeit zu bestehen,  dass mit Hilfe der Portfolio-Arbeit Strukturen und Praktiken des Unterricht in Bewegung geraten sind, also eine Entwicklung von Unterricht stattfindet. Wenn man sich also einmal fragen sollte, wie ein konkretes Beispiel für die oft unspezifisch zitierten „Potentiale des E-Learning“ aussehen kann – hier hat man eines.

E-Portfolios als sinnvoller Weg hin zu einer Digitalisierung von Bildung?

Ich müsste bei den Kolleginnen noch mal Nachfragen, ich gehe jedoch stark davon aus, dass es sich bei den E-Portfolio-Anwendungen in den Schulprojekten – im Unterschied zu den meisten Anwendungen in Hochschulen – um die erste und die einzige digitale Lehr-/Lernplattform handelte die eingesetzt wurde. Damit geht es bei den oben genannten Ergebnissen also nicht nur um die E-Portfolio-Arbeit im engeren Sinne, sondern viel mehr auch um die Verfügbarmachung einer digitalen Plattform für das Lernen, Lehren und Arbeiten überhaupt (eben der „digitale Arbeitsplatz“). Ein klassisches LMS oder eine „Ressourcenplattform“ hätten hier sicher nicht die gleichen Effekt gehabt, denn in diesen Systemen sind die Prinzipien des gleichberechtigten Kontakts, des Teilens und der Zusammenarbeit zwar mit etwas Gebastel machbar – stehen aber nicht im Mittelpunkt der Software. Im Gegenteil ist nach meiner Beobachtung die Erfahrung, dass viele Prinzipien des Web 2.0 z.B. mit Mahara Einzug gehalten haben und zwar ohne das es intendiert wäre. So ergibt sich in der Praxis eine enge Verbindung von kompetenzorientierten Ansätzen und dem Web 2.0. Portfolio-Software macht oft zum ersten mal das „Web zum Mitmachen“ jenseits kommerzieller Plattformen verfügbar.