Evaluationen in Bibliotheken: Könnten wohl besser sein

Evaluationen. Über meine Schreibtische kommen regelmässig Evaluationen sehr unterschiedlicher bibliothekarischer Projekte: In Berichten und „Case Studies”, in internen Berichten, in Projektbewertungen, in studentischen Arbeiten über solche Projekte oder in Praktikumsprojekten, als eigenständige Dokumente und in vielen anderen Formen. Und, well: nicht alle sind so aussagekräftig, wie sie sein könnten. Ehrlich gesagt, die meisten nicht.

Einerseits ist das verständlich: Viele der Evaluationen werden durchgeführt, weil sie verlangt werden. Stiftungen und andere Geldgeber verlangen sie heute am Ende von Projekten – also werden sie gemacht. Aber nicht unbedingt, weil viel Sinn in ihnen gesehen wird. Oder wenn, dann wird offenbar eher vermutet, dass es einen Sinn für die geldgebenden Stiftungen hätte, aber nicht unbedingt für die Bibliotheken, welche die Evaluationen durchführen (im Sinne von: die Stiftungen würden wissen wollen, wie ihr Geld verwendet wird). Andererseits ist das ärgerlich. Evaluationen sind nämlich eine der verbreitetsten Lernmöglichkeiten für Institutionen, also auch Bibliotheken. Sie sind eine der Möglichkeiten, bei denen ohne grösseren Aufwand Wissen über die Institution generiert werden kann und auch Möglichkeiten, in denen eine gute (bessere) Arbeitskultur etabliert werden kann. Und deshalb, weil Evaluationen – auch die, die man machen muss – doch noch recht viel Potential haben, im Vergleich zum restlichen Arbeitsalltag in Bibliotheken, ist es schon ärgerlich, dass diese nicht genutzt werden.

Was nicht so richtig funktioniert

Das Hauptproblem dieser Evaluationen (und ich fasse jetzt einmal Eindrücke zusammen, ohne einzelne Fälle „vorführen” zu wollen) scheint zu sein, dass sie einfach nicht das messen, was sie messen sollen beziehungsweise zu messen vorgeben. Oft scheinen einfach ein paar Zahlen erhoben zu werden, die vielleicht naheliegen und einfach zu erheben sind, die aber kaum etwas darüber aussagen, ob die in den Berichten geäusserten Ziele der jeweils evaluierten Projektes / der evaluierten Intervention erreicht wurden. Auch das kann man manchmal nachvollziehen. Immer mehr Anträge an Stiftungen und ähnliche Fördereinrichtungen verlangen heute in jedem Projektantrag eine Liste mit Kennzahlen, mit denen man überprüfen können soll, wie das jeweilige Projekt lief – gerne so was wie „zum Ende des Projektes haben XZY-viele Jugendliche an den geförderten Gaming-Events teilgenommen” oder „am Ende wurden XYZ-viele Broschüren verteilt und mit XYZ-vielen Schulen Kontakte hergestellt”. Welche Zahlen genau genutzt werden, ist oft den Antragstellenden offengelassen. Und so kommt es dann dazu, dass Anträge geschrieben werden, die zum Beispiel Selbstwirksamkeitsaufbau und Zugang zu Bibliotheken mittels Gaming-Events unterstützen möchten, aber am Ende als Evaluation erheben, wie viele Jugendliche an den Events teilgenommen haben.

Das ist nicht sinnvoll.

Erstens: Auch wenn es so scheint, als würden solche Zahlen erhoben, um die jeweiligen geldgebenden Einrichtungen „glücklich zu machen”, ist das bei den Stiftungen nicht die Idee. Die Idee ist, Einrichtungen dazu zu bringen, nicht einfach wild drauf los Geld zu beantragen, sondern die Möglichkeit zu nutzen, sich beim Bestimmen der zu erhebenden Zahlen Gedanken dazu zu machen, was das Projekt eigentlich erreichen soll. Ist das ein guter Weg, das zu erreichen? Das weiss ich nicht. Aber es soll halt eigentlich keine Pflichtübung sein, sondern eine Möglichkeit, als Institution die eigene Leistungsfähigkeit gut einzuschätzen. (In den Reviews der Stiftungen wird dann auch oft nicht gefragt, ob die jeweiligen Zahlen hoch genug sind, damit sich die Förderung lohnt, sondern danach, ob diese sinnvoll und erreichbar gewählt sind.)

Zweitens: Während diese Fixierung auf Zahlen bei Anträgen noch verständlich ist, weil sie von aussen gefordert wird, ist auffällig, dass sie zum Beispiel auch bei rein internen Projekten von Bibliotheken, Praktikumsprojekten oder halt anderen Projekten, die gar nicht von aussen finanziert werden, angewandt werden. Und hier scheint es dann wirklich, als wäre es eine Pflichtübung, die man irgendwann mal gelernt hat (Im Projektmanagement-Kurs? Vom Bibliotheksberater / von der Bibliotheksberaterin?) und einfach durchführt, weil es angeblich so sein muss. Muss es nicht. Eine Evaluation kann dazu benutzt werden, zu fragen, wie das jeweilige Projekt in der jeweiligen Bibliothek funktioniert, nicht nur danach, ob ein paar Kennzahlen erreicht wurden.

Drittens: Manchmal sind Zahlen der richtige Weg, um Projekte zu evaluieren, manchmal sogar einfach zu erhebende. Oft aber auch nicht. Die Frage ist nicht: Wie evaluiere ich etwas möglichst schnell? Sondern: Wie überprüfe ich, ob die Ziele, mit denen das Projekt gestartet wurde, erreicht wurden? Und zwar am Besten nicht einfach mit den beiden Antwortmöglichkeiten „Ja, wurde erreicht” oder „Nein, wurde nicht erreicht”, sondern differenzierter. Und gleichzeitig nicht abgekürzt (wie beim Beispiel oben, wo es eigentlich um Selbstwirksamkeit gehen soll, aber man vielleicht einfach Besucherinnen und Besucher zählt und abgekürzt behauptet, ein Besuch des geförderten Gamingevents sei gleichzusetzen mit einer Erhöhung der Selbstwirksamkeit).

Das kann umständlich sein und gleichzeitig kann es geleistete Arbeit verdecken. Umständlich, weil Erhöhung von Selbstwirksamkeit zu messen schwieriger ist (und vielleicht auch nur halb geht), als einfach Besucherinnen und Besucher zählen. Verdeckend, weil zum Beispiel ein Gaming-Event viel Arbeit bedeuten kann (zum Beispiel wenn wieder mal – wie es sich gehört – kurz vorher irgendetwas schief geht), die man auch gerne irgendwo sehen würde – aber halt nicht sieht, wenn es um Selbstwirksamkeit geht. Aber das ist das Grundprinzip jeder guten Evaluation: Danach zu fragen, ob die Ziele eines Projektes, eine Intervention erreicht wurden – und im besten Falle, wie. Anderes muss man anders angehen.

Für die, die der Meinung sind, man müsse alles positiv darstellen, sind tiefergehende Evaluationen vielleicht auch gefährlich, weil sie zeigen können, dass nicht alles läuft, wie einst angedacht. Aber: Nichts läuft immer wie geplant. Alle wissen das. Einrichtungen, die kritisch mit sich selbst sein können und das auch nach aussen zeigen, werden viel positiver wahrgenommen – auch von Geldgebern und Fördereinrichtungen – als solche, die ständig nur positive Meldungen machen — aber das ist jetzt ein anderes Thema.

(Nicht zuletzt: Wenn in einem Projekt viel versprochen wird, am Ende aber zum Beispiel nur die Zahl der Besucherinnen und Besucher gezählt wird, ist es sehr einfach, daraus zu schliessen, dass es immer nur um diese Besuche ging, nicht um die zuvor geäusserten Ziele. Wenn ich eine Stiftung wäre: Warum sollte ich dann nicht aus so etwas den Eindruck gewinnen, dass die schönen Ziele weiterer Anträge der gleichen Einrichtung auch nur vorgeschoben sind?)

Was man besser machen könnte

Also, was könnte besser gemacht werden (meinem Eindruck nach)?

Zuerst, wie schon gesagt, den einfachen Grundsatz beherzigen, dass eine Evaluation nicht einfach sein soll oder schnell gemacht werden kann, sondern das sie messen soll, ob die Ziele eines bestimmten Projektes erreicht wurden oder nicht. Von dieser Frage ausgehend müssen sie aufgebaut werden.

Das bedeutet oft, länger darüber nachzudenken, wie die Evaluationen durchgeführt werden können; zum Beispiel ob andere Zahlen zu erheben sinnvoller wäre oder ob man vielleicht gegen den Drang ankämpfen sollte, einfache Zahlen zu erheben und stattdessen auf andere Dokument gesetzt werden sollte oder ob gar andere Methoden – die man sich ja oft aus der Forschung borgen kann – verwendet werden müssten. Das kann dann heissen, dass die Evaluation auch mehr Zeit und Ressourcen kostet (aber, wie erwähnt wird bei Reviews von Anträgen oft gefragt, ob die gewählte Evaluation sinnvoll ist, nicht, ob sie billig und schnell durchzuführen ist – in Anträgen Arbeitszeit und andere Ressourcen für eine Evaluation einzuplanen ist zum Beispiel vollkommen okay und wird von vielen Fördereinrichtungen positiv bewertet), aber so ist das bei guten Evaluationen: Wenn man etwas daraus lernen will, kostete es manchmal auch etwas mehr. Das ist aber oft gut investiertes Geld.¹

Daneben scheint mir aber ein Problem mit Evaluationen ein strukturelles zu sein: Dadurch das (so mein Eindruck) sie meist als Anhang, „weil sie halt gemacht werden müssen”, gemacht werden, werden sie nicht so gemacht, dass sie der einzelnen Bibliothek etwas bringen. Es scheint, als würden sie gemacht, an die betreffende Stelle gemeldet, vielleicht noch in einem Projektbericht an die Aussenwelt berichtet, aber sonst schnell und ohne Konsequenz vergessen.

Dabei sind Evaluationen geeignet, um als Team – entweder Projektteam oder aber, in Bibliotheken (wenn sie nicht zu gross sind), sogar besser dem gesamten Team – zu reflektieren. Allerdings: Erhebt man die falschen Zahlen (also die, die nichts über die Ziele aussagen), was soll man dann gemeinsam reflektieren? Erhebt man nur „Erfolg” oder „kein Erfolg” – was soll man dann diskutieren? Wendet man aber die Zeit und Ressourcen für eine Evaluation auf, die klärt, was im Projekt passiert ist, welche Ziele wie und wieso mehr oder weniger erreicht wurden und verzichtet auf unrealistisch positive Darstellungen, dann lässt sind aus ihnen (a) etwas über das Projekt, (b) über die Bibliothek als Institution und (c) die weitere Entwicklung von weiteren Projekten / Interventionen / Entwicklung der Bibliothek lernen.

Sicherlich, um so eine Reflexion im Team zu vollbringen – aber wie soll man sonst etwas lernen, in einer einer Einrichtung, die aus mehr als einer Person besteht, wenn nicht im gesamten irgendwie betroffenen Team – bedarf es auch einer Arbeitskultur, die eine solche Reflexion möglich macht: (1) Eine, in der man ohne Angst davor, dass das auf persönliche Ebene gezogen wird, Fehler, Scheitern, falsche Annahmen und so weiter benennen kann – als Möglichkeiten, aus denen zu lernen ist und eben nicht, um sie irgendjemand vorzuwerfen. (2) Eine, in der Kritik geäussert werden kann, aber in der vor allem Potentiale benannt und gefördert werden, in der die geleistete Arbeit wertgeschätzt wird. (3) Eine, in der eher realistisch über weitere Entwicklungen diskutiert wird und nicht, zum Beispiel, in reinen Phrasen und Ankündigungen, die dann eh nie umgesetzt werden, oder auch nicht, als weiteres Beispiel, in denen Vorschlägen und Einwürfen von grossen Teilen des Personals keine Beachtung geschenkt wird. (4) Einer, die nicht diesen absonderlichen Drang erzeugt, ständig alles nur als positives Ergebnis zu schildern, sondern die auch, zum Beispiel in Berichten, in der Lage ist, Schwierigkeiten zu benennen, die in einer Evaluation sichtbar wurden.

Mir ist schon klar (dazu habe ich schon geschrieben): Das ist leider in vielen Bibliotheken nicht gegeben. Aber wozu dann überhaupt Projekte machen, wenn man nicht mal so eine Arbeitskultur hat?

 

Fussnote

1 Und ja: Bei solchen Fragen können zum Beispiel bibliotheks- und informationswissenschaftliche Institute an Fachhochschulen beraten. Aber, da sie noch mehr von Drittmitteln abhängen als Bibliotheken, nicht umsonst. Bibliotheken haben aber auch immer Personal mit wissenschaftlicher Ausbildung – man muss dessen Kompetenzen nur nutzen.