Letzte Woche waren Eileen Lübcke und ich auf der 21.Jahrestagung der Deutschen Gesellschaft für Evaluation und haben dort unsere Erkenntnisse zur Evaluation forschenden Lernens aus dem Projekt FideS vorgestellt. Unsere Einreichung fokussierte die Herausforderung, Programme und Projekte zum Thema Forschungsorientierung gegenstandsangemessen zu evaluieren, um Aussagen über Wirkungen forschenden Lernens zu erhalten:
„Forschendes Lernen wird oft gefordert, aber nur vereinzelt evaluiert (u.a. Tremp & Futter 2012). In unserem QPL-Begleitforschungsprojekt FideS beschäftigen wir uns mit der Frage nach Wirkungsebenen von Forschungsorientierung. Unsere Ergebnisse zeigen gut, dass es „nicht ‚das allgemeine‘ beste Design“ (Balzer et. al. 1999: 131) gibt, sondern Wirkung abhängig von den Zielen der jeweiligen Projekte ist. Somit ist es notwendig, Evaluationsforschung stärker in Abhängigkeit der Zielebenen zu planen und Unterschiede zwischen den hochschuldidaktischen Handlungsebenen zu fokussieren. Zur Ermittlung von Wirkungsplausibilisierungen nutzt man meist Programmtheorien (u.a. Rogers et al. 2000), in denen auf Basis von Wirkannahmen für Programme ‚individuelle‘ Theorien mittlerer Reichweite (Reith & Kelle 2016) entwickelt werden (Giel 2016). Wir möchten eine weitere Form der Nutzung vorstellen: Wir entwickeln projektübergreifende Zielsysteme forschenden Lernens aus 19 untersuchten QPL-Projekte. Diese können zu einer allgemeinen Programmtheorie forschenden Lernens beitragen, die nicht nur eine theoriegeleitete Evaluation unterstützt, sondern einen grundlegenden Forschungsrahmen bietet. So ist es möglich, nicht nur Steuerungswissen für Qualitätsentwicklung zu generieren, sondern auch Perspektiven für Grundlagenforschung zu adressieren. Wir möchten daher zeigen, wie sich eine solche Zielanalyse in die Frage nach Wirkungen sowohl unter Perspektive der Qualitätsentwicklung als auch der Grundlagenforschung einbetten lässt.“
Die Session A5: Hochschule im Spannungsfeld von Lernen, Steuerung und Legitimation, in der unser Beitrag einsortiert war, war aus meiner Perspektiven besonders gelungen. Die Ausschreibung machte schon Lust auf eine Diskussion:
„Hochschulen waren in den letzten Jahren einer Fülle von Änderungen unterworfen. Die Steuerungssysteme an Hochschulen wurden massiv geändert durch die Verlagerung vieler Entscheidungen von der ministeriellen Ebene hin zu den Hochschulen, der Wechsel von einer Input- zu einer Outputsteuerung und der Abschaffung kollegialer Entscheidungsgremien durch monokratische Organe. Auf Seiten der Forschung ist vor allem die steigende Bedeutung von Drittmitteln bei gleichzeitiger Verringerung der Basisausstattung festzustellen. Damit verknüpft hat sich die Personalstruktur dahingehend verändert, dass der Anteil befristeter Stellen massiv angewachsen ist. Im Bereich der Lehre sind vor allem die Einführung dreigliedriger Studiensysteme (Bachelor, Master, Doktorat), eine weiterer Anstieg der Studierendenzahlen, der Wechsel hin zu einer kompetenzorientierten Lehre und damit verbunden der Fokus auf forschendes Lernen sowie die zunehmende Digitalisierung der Lehre und der Lehrverwaltung zu nennen. Alle diese Entwicklungen stellen die Evaluation an Hochschulen abseits bereits etablierter Instrumente der Qualitaetssicherung vor neue Herausforderungen. Die in dieser Session diskutierten Evaluationsmethoden setzen genau an dieser Stelle an:
Stefan Schelske und Andreas Fritsch problematisieren bisherige Erhebungsformen zur Messung des Kompetenzerwerbs durch Befragungen bei AbsolventInnen und stellen einen alternativen Ansatz zur Evaluation des Kompetenzerwerbs vor.
Mandy Schiefner-Rohs und Eileen Lübcke systematisieren unterschiedlichste Ansätze, die unter dem Schlagwort forschendes Lernen firmieren, um daraus eine theoriegeleitete Evaluation dieser Aktivitäten zu ermöglichen.
Der dritte Beitrag von Marcel Faaß, Thi Nguyen, Olaf Ratzlaff und Wenke Seemann geht der Frage nach, wie hochschulische Projekte, seien sie intern initiiert oder über Drittmittel gefördert, auf ihre Wirksamkeit hin überprüft werden können.“
Der erste Beitrag von Stefan Schelske und Andreas Fritsch Kompetenzen und Kompetenzvermittlung irritierte zwar ob des Titels und führte schnell zur Frage, ob man Kompetenzen vermitteln kann. Die dahinterliegende Idee jedoch ist einen Gedanken wert: Um Selbstauskünfte von Studierenden in der Evaluation zu verhindern (Stichwort soziale Erwünschtheit und das Phänomen des unskilled and unaware of it, Heimisch, 2012; Kruger & Dunning, 1999) ist man an der Universität Greifswald dazu übergegangen,  Lerngelegenheiten beurteilen zu lassen, um etwas über die Gestaltung von Studiengängen zu erfahren. Interessant aus Perspektive unseres Projekts war die erste Erkenntnis, dass die Frage nach den Lerngelegenheiten in unterschiedlichen Studiengängen differiert. Dies brachte Eileen und mich nochmals zur Frage, ob man nicht stärker in unserem neuen Projekt zum einen Lerngelegenheiten zum Forschenden Lernen in den Blick nehmen könnte und zum anderen den fachsensibler Transfer und Evaluation zusammen denken sollte.
Nach uns stellten Marcel Faaß, Thi Nguyen, Olaf Ratzlaff und Wenke Seemann strukturelle Besonderheit von Projektevaluation an Hochschulen vor und berichteten aus einer Metaperspektive über die Herausforderung, die großen Projekte  (BMBF, QLB, …) übergreifend zu evaluieren.

In einem Workshop wurden Ansichten zur Projektevaluation der Hochschulzeitungen, der Projektgeber und der Hochschulforschung miteineinander in Beziehung gesetzt. Ergebnis der Erfahrungen der Akteure mit Projektevaluationen und ihrer Herausforderungen zeigt die Folie ziemlich gut: