Abschlussveranstaltung des Workshops „Evaluation – Qualifiziert bewerten, professionell berichten“
Am 17. Mai fand die Abschlussveranstaltung des fachbereichsübergreifenden Workshops „Evaluation – Qualifiziert bewerten, professionell berichten“ statt. Gefördert durch QSL-Mittel und unter Leitung von Dr. Sarah Schmidt hatten sich Studierende in zwei Semestern im Austausch mit Expert:innen aus dem Feld der Evaluation theoretische und praktische Hintergründe von Evaluationen erarbeitet, um anschließend für Bildungsprojekte aus Frankfurt und Umgebung ein individuelles Evaluationskonzept zu entwickeln.
Ihre ausgearbeiteten Konzepte präsentierten die Studierenden nun in einer Posterausstellung und erörterten dabei zentrale Fragen, die sich im Prozess der Konzipierung von Evaluationen ergeben.
Der Workshop
Der durch „Mittel zur Verbesserung der Qualität der Studienbedingungen und der Lehre“ (QSL) geförderte Workshop ist als Antwort auf den Mangel an qualifizierten Absolvent:innen im Bereich der Evaluation in Bildungskontexten entstanden. Im Kontext der vielfältigen Förderlandschaft in Deutschland und der damit verbundenen Nachfrage nach qualitativ hochwertigen Bewertungen von Projekterfolgen steigt der Bedarf an qualifizierten Evaluator:innen. Der Informationsstand über dieses Berufsfeld ist jedoch bei vielen Studierenden gering, weshalb das Hauptziel des Workshops darin bestand, Studierende der Sozialwissenschaften mit Theorie und Methoden der Evaluation im Bildungsbereich vertraut zu machen und sie gleichzeitig für das Berufsfeld zu qualifizieren. Hierzu wurde der Workshop fachbereichsübergreifend und mit einem starken Bezug zur Praxis organisiert. Studierende aus den Erziehungs-, Politik- und Sportwissenschaften, der Soziologie, Theologie und des Lehramts haben in Zusammenarbeit mit insgesamt neun Projekten aus den Bereichen Bildung, Kultur, Gesundheit, Soziales und Umwelt ein auf deren Bedarfe zugeschnittenes Evaluationskonzept entwickelt. Dieses steht den Projekten im Anschluss an den Workshop zur freien Verfügung.
Einblick in die Evaluationskonzepte
Von besonderem Interesse für die Projektpartner:innen war die Beurteilung der Wirksamkeit ihrer jeweiligen Projekte. Für Evaluationen kommen verschiedene wissenschaftliche Methoden aus dem quantitativen als auch qualitativen Bereich empirischer Forschungsmethoden infrage.
Die Studierenden der Projektgruppe von „Bike im Trend“ haben ein quantitativ orientiertes Evaluationskonzept entwickelt. Das von dem Verein Umweltlernen Frankfurt e. V. ins Leben gerufene Projekt „Bike im Trend“ hat sich zum Ziel gesetzt, Schüler:innen im Rahmen von Projektwochen aktiv in die Schulwegplanung einzubeziehen, um gemeinsam den Schulweg sicherer zu machen, die Fahrgeschicklichkeit der Schüler:innen zu erhöhen, ein Bewusstsein für ein umweltgerechtes Mobilitätsverhalten zu schaffen und letztlich die Attraktivität des Fahrrads für die eigene Mobilität zu steigern.
Um die Wirksamkeit der Ziele zu untersuchen, soll durch die Evaluation unter anderem beurteilt werden, ob und inwiefern die Schüler:innen nach der Projektwoche ein verändertes Umweltbewusstsein entwickelt haben und ob ihr Mobilitätsverhalten sich damit einhergehend verändert hat.
Mithilfe von standardisierten Befragungen soll ihr Umweltbewusstsein, ihr Sicherheitsgefühl im Straßenverkehr sowie ihr Mobilitätsverhalten sowohl unmittelbar vor sowie einige Wochen nach der Projektwoche erfragt werden. Im Vergleich der Prä- und Post-Befragungen können Veränderungen in den Einstellungen und dem Verhalten der Schüler:innen festgestellt und Rückschlüsse auf den Erfolg der Projektwoche gezogen werden.
Ob mehr Schüler:innen nach der Projektwoche mit dem Fahrrad zur Schule kommen, wollen die Studierenden nicht nur im Rahmen der Befragung erfahren, sondern auch mithilfe von Beobachtungen an den Fahrradstellplätzen der Schule erfassen, indem sie die abgestellten Fahrräder vor und nach der Projektwoche zählen. Zu berücksichtigen sei dabei etwa, dass beispielsweise die Wetterlage bei den Beobachtungen vor und nach der Projektwoche ähnlich ist. Außerdem soll auch berücksichtigt werden, dass es Schüler:innen geben kann, deren Umweltbewusstsein zwar gestiegen ist, die jedoch aufgrund von finanziellen oder anderen Gründen kein Fahrrad zur Verfügung haben oder aus anderen Gründen nicht mit dem Fahrrad zur Schule fahren. Daher soll der Fragebogen Raum für die Begründung des eigenen Mobilitätsverhaltens lassen. Dazu können beispielsweise Freitextfelder in den Fragebogen eingefügt werden.
Während das eine Projekt von quantitativen Methoden profitiert, eignen sich bei anderen Projekten qualitative Methoden oder sogenannte Mixed-Methods-Ansätze, die qualitative und quantitative Methoden miteinander verbinden. Ein Beispiel dafür ist das Theaterprojekt „GeschlechterRolleMensch“ des Schultheater-Studio Frankfurt. Hier werden theaterpädagogische Workshops für Schüler:innen ab der 6. Klasse angeboten, in denen die Schüler:innen sich mit den Themen Geschlechterrollen, Homosexuellenfeindlichkeit und Coming-out auseinandersetzen und selbst eine Szene zum Thema entwickeln. Die Projektziele sind unter anderem, Geschlechterrollen und -stereotype zu erkennen und zu reflektieren sowie Vorurteile in Bezug auf Geschlechtsidentitäten und sexuelle Orientierung zu reduzieren.
Dokumentation und Reflexion
Inwiefern der Workshop zur Aufklärung über Geschlechterdiskriminierung und zum Abbau geschlechtsbezogener Stereotype geführt hat, lässt sich unter anderem durch die Rekonstruktion des Reflexionsprozesses, den die Schüler:innen im Rahmen des Workshops durchlaufen, beurteilen. Dafür eignet sich eine Video- oder Tonbandaufzeichnung des Workshops, die im Nachgang im Hinblick auf die Entwicklung der Diskussion ausgewertet wird. Für die Beantwortung der Frage, ob und inwiefern der Workshop die Einstellungen der Schüler:innen nachhaltig beeinflusst hat, bietet sich ein Gruppeninterview einige Wochen nach dem Workshop an. Der Vorteil des Interviews besteht darin, dass Erzählimpulse durch die interviewende Person gesetzt werden, zu denen Schüler:innen ihre Meinungen abgeben können. Im Gegensatz zu einem standardisierten Fragebogen können daran anschließend Erläuterungen und Begründungen abgefragt werden, die einen tieferen Einblick in die gedankliche Entwicklung der Schüler:innen zulassen.
In der Diskussion wird jedoch auch klar, dass nicht davon ausgegangen werden kann, dass alle Schüler:innen das Gefühl haben, sich frei in der Klassengemeinschaft äußern zu können. Einzelinterviews durchzuführen, wäre angesichts der Zahl an Teilnehmenden zu zeitaufwändig und daher nicht umsetzbar. Alternativ könnte für die Anschlussbefragung auch ein standardisierter Fragebogen vorteilhaft sein, um die Antwortbereitschaft zu steigern.
In den Diskussionen der Konzepte wird deutlich, dass die Entscheidung für den Einsatz quantitativer oder qualitativer Methoden maßgeblich von den Fragen abhängt, die im Rahmen der Evaluation beantwortet werden sollen. Die erfahrenen Evaluator:innen geben dabei jedoch zu bedenken, dass die Methodenwahl auch durch personelle und finanzielle Mittel beeinflusst ist. Je nach Teilnehmendenzahl sind schlicht keine Mittel verfügbar, um qualitative Befragungen umzusetzen. Eine Lösungsmöglichkeit könnte jedoch der Rückgriff auf Gruppeninterviews sein, wie es für das Projekt „GeschlechterRolleMensch“ diskutiert wurde.
Doch auch, wenn geeignete Methoden gefunden wurden, kann es eine Herausforderung darstellen, die Teilnehmenden am Projekt zum Mitmachen an der anschließenden Evaluation zu motivieren. Um die Rücklaufquote zu erhöhen, wurden im Workshop mögliche Bewältigungsstrategien besprochen. Zum einen könne die Evaluation am Ende der Veranstaltung durchgeführt werden. Falls ein zeitlicher Abstand notwendig ist, könnte ein finanzieller Anreiz durch das Verlosen von Gutscheinen gesetzt werden.
Die Abschlussveranstaltung brachte Studierende, Projektpartner:innen und Expert:innen zu einer gewinnbringenden Diskussion über die praktische Entwicklung und Umsetzung von Evaluationen zusammen und gewährte dabei Einblicke in die berufliche Praxis von Evaluator:innen.
Bei Fragen zum Workshop oder Interesse an der Mitwirkung bei zukünftigen ähnlichen Projekten wenden Sie sich gerne an Dr. Sarah Schmidt (sarah.schmidt@em.uni-frankfurt.de).
Die Autorinnen: Miriam Cirino ist Wissenschaftliche Mitarbeiterin im Lehrprojekt „Evaluation – Qualifiziert bewerten, professionell berichten“ an der Goethe-Universität Frankfurt; Dr. Sarah Schmidt leitet das Methodenzentrum Sozialwissenschaften an der Goethe-Universität Frankfurt und lehrt am Fachbereich 04.
Beteiligte Projekte
• Bike im Trend, Umweltlernen in Frankfurt e.V.
• Klimafrühstück, Verbraucherzentrale Hessen
• Jugendberufshilfe Fechenheim, ASB Lehrerkooperative gGmbH
• Los geht’s – Ihr Weg in die Gesundheits- und Sozialberufe, ASB Lehrerkooperative gGmbH
• Jobs mit Zukunft – Berufsorientierung trifft Energiewende, Umweltlernen in Frankfurt e. V.
• Kommunale Gesundheitsinitiativen interkulturell (KoGi), Gesundheitsamt Frankfurt & Mehrgenerationenhaus Gallus
• GeschlechterRolleMensch, Schultheater-Studio Frankfurt
• #cleanffm, Stabsstelle Sauberes Frankfurt, Stadt Frankfurt
