Evaluation und Empirie

Laws of impact evaluation

Sharon Markless und David Streatfield legten in ihrem Buch „Evaluating the impact of your library“ (Markless, Sharon ; Streatfield, David (2006) / Evaluating the impact of your library. London : Facet Publishing, 2006) einen klar und einfach geschriebenen Leitfaden vor, mit dem Bibliotheken eine umfangreiche Messung ihres Einflusses durchführen können. Das Buch ist auf die Praxis hin geschrieben, hier und da geht es schon in Richtung Marketing, obwohl gerade vor einem solchen Ansatz gewarnt wird. Evaluation ist für Markless/Streatfield vorrangig ein Mittel, um sich der Qualitäten und Problem der eigenen bibliothekarischen Arbeit gewahr zu werden.

Evaluation of initiatives should help to show what is working more or less well, which elements in the programme need remedial attention or should be more widely adopted, and whether the initiative represents good value for money. If the ‚evaluation‘ assures the last point and concentrates on showing how everything in the garden is lovely, this ceases to be evaluation and is not a good foundation on which to build a convincing case for development. [13]

Sie stellen mehrere Methoden der Evaluation vor, welche sie für Bibliotheken angepasst beschreiben. Dabei verwerfen sie erst einmal die in Deutschland – aber nicht nur in Deutschland – üblichen Kennziffern von Biblioteken als für die Bestimmung von „impact“ kaum nutzbar. Stattdessen plädieren sie für die Neuformulierung von Faktoren für jede einzelne Bibliothek. (Nicht kontextlos, die Erfahrungen anderer Bibliotheken und der empirischen Sozialwissenschaft sollen beachtet werden. Es geht um die passgerechte Formulierung für die jeweils spezifischen Services im jeweils spezifischen Umfeld.)
Den Rahmen ihres Buches bilden zwölf „Laws of impact evaluation“, die so spezifisch ausgearbeit sind, dass sie für Öffentliche Bibliotheken kaum besser formuliert werden könnten.

Laws of impact evaluation

  1. Effective impact evaluation requires clear and consistent use of terms. [23]
  2. If we are to focus on impact we need to articulate precisely what we are trying to achieve rather than how we will get there. [62]
  3. If we don’t generate specific and time-limited objectives to help focus on impact, we will end up monitoring efficiency instead. [62]
  4. When you are thinking about what impact you would like to see, don’t inhibit yourself by worrying about how you will gather the evidence – yet. [63]
  5. Beware of formulating too many quantitative indicators. This can lead you to concentrate too headily on the statistical side of your impact – numbers never tell the whole story. [70]
  6. Be political if you are gathering information to convince other people. Give them what they want – until you have persuaded them that your evidence is more useful then what they are used to. [92]
  7. The care for impact evaluation is strongest in areas of service development, where time and resources are limited but real change can be demonstrated. [93]
  8. Questionnaire surveys are ideal for projecting the compiler’s preconceptions and prejudices and having them confirmed by an invisible audience. They are also quite useful for collecting small amounts of information from a sample of respondents or all respondents within a target group. [105]
  9. Effective impact work is not about gathering lots of evidence. It is about focusing on real impact and about rigour in collecting, analysing and reporting data. [123]
  10. Beware of the Holy Grail! To gauge the impact of a service you need to know what change it is making, not what you hope it might do – evidence not aspirations! [129]
  11. If impact targets are not helping, change them or ditch them. [133]
  12. Benchmarking should be seen as the beginning of a journey of discovery – not as an end in itself. The aim should be to learn more about your service by comparing its impact with that of others – not to secure a place in a table of merit. [151]
Bildung · Evaluation und Empirie

Framework „Learning for All“

Erstaunlich ist übrigens, dass das Projekt „Inspiring Learning for All“ des britischen Museums, Libraries and Archives Council kaum bekannt zu sein scheint. Die Materialien finden sich auf der Homepage inspiringlearningforall.gov.uk. Hier wird für die drei Einrichtungen Museen, Bibliotheken und Archive ein Framework vorgelegt, mit welchem sie ihre Arbeit und vor allem ihre Wirkung (impact) weit über die in Deutschland bekannten Messzahlen hinaus evaluieren können sollen. Dabei ist ein Gedanke, dass diese Evaluation hauptsächlich zur Optimierung der jeweiligen Services genutzt werden soll, nicht als Argumentationswerkzeug der Bibliothekspolitik.
Sicher, würde man dieses Framework zugrunde legen, müsste sich die Evaluationpraxis in den deutschen Bibliotheken radikal wandeln. Aber das man gar nichts von dieser Initiative hört, ist doch verwunderlich.
Das gesamte Framework ist hier herunter zu laden (rund 3 MB).

Nebenher

Zu multikultureller Bibliotheksarbeit

Gestern, auf der Tagung (offiziell als Fortbildung bezeichnet) an der Freien Universität Berlin zu Multikultureller Bibliotheksarbeit – national und international, habe ich vor allem eines gelernt: „multikulturelle Bibliotheksarbeit“ findet hauptsächlich nicht als typische bibliothekarische Arbeit statt (Bestandsaufbau, Ausleihe, Informationsvermittlung etc.), sondern durch Projekte und Services, die in der Bibliothek angeboten werden (Health Care Centre, Job Search Centre etc.) Ich frage mich jetzt, ob Bildungsarbeit in Bibliotheken ähnlich funktioniert.
Wobei ich noch eine zweite Sache gelernt habe, bzw. noch einmal bestätigt bekam: multikulturelle Bibliotheksarbeit findet – gemessen an dem, was in anderen Staaten gemacht und gedacht wird – nicht statt.

(Ein Tagungsband ist geplant, deshalb verzichte ich auf einen Tagungsbericht.)

Bildung · Glücksversprechen und Wünsche · Kompetenzen

Social impact of public libraries (Annahmen)

Svanhild Aabø zitiert in ihrer Doktorarbeit [The Value of Public Libraries, Oslo, University of Oslo, 2005] aus einer Arbeit von Evelyn Kerslake und Margaret Kinnel [Kerslake, E. ; Kinnel, M. / The social impact of public libraries : A literary review. – [London] : British Library Research and Innovation Centre, 1997] eine Übersicht zu (normativen) Annahmen zum Einfluss von Öffentlichen Bibliotheken. Dieser Überblick ist selbstverständlich auf Großbritannien bezogen und lässt sich nicht direkt auf Deutschland beziehen. Zudem ist er hier „zweiter Hand“ wiedergegeben. Aber er ist ein weiterer Ansatz zur Systematisierung.

Social Impact of Public Libraries:

  1. Einfluss auf die Community, in der die Bibliothek arbeitet.
    • Unterstützt lokale Identifikationen/Identitäten und Gemeinschaften
    • Unterstützt Menschen, deren Hauptaktivitäten außerhalb des Arbeitsmarktes stattfinden [interessante Sichtweise, da zu dieser Gruppe gänzlich unterschiedliche Personenkreise gehören: Hausfrauen/-männer, die dies auch langfristig sein wollen; Arbeitslose, die versuchen diesen Zustand zu verlassen (oder resigniert haben und sich mit dieser Situation arrangiert haben); Ehrenamtliche, die ihren Schwerpunkt auf ihr Ehrenamt legen. Dies impliziert unterschiedliche Bibliotheksarbeit.]
    • Pflegt kulturellen Reichtum und Diversität
    • Stellt eine Art sozialen Zusammenhalt in einer Zeit rasanter Veränderungen dar
    • Stellt in Krisenzeiten (persönliche, gesellschaftliche) Informationen bereit
    • Erleichtert die Nutzung neuer Informationsressourcen
  2. Impact on skills
    • Persönlicher und gesellschaftlicher Vorteil (ökonomische, politische und soziale Kompetenzen wachsen durch die Benutzung von Bibliotheken)
  3. Ökonomischer Einfluss
    • kaum dokumentiert, Hinweise auf sie aus folgenden Gründen: (1) Prosperität durch die Regeneration der Stadtzentren [ein britisches Problem], (2) „confronting poverty“, (3) Brücke zwischen „education and leisure“
Nebenher

Software für die Promotion

Wenn ich meine Promotion schon einigermaßen öffentliche produziere, dann sollte sie auch mit öffentlich zugänglichen Mitteln erarbeitet werden. So ist zumindest meine Überzeugung.
Nichts gegen kommerzielle Software im Allgemeinen. Auch in ihre steckt harte Arbeit und gerade für Nichtstandardanwendungen ist sie oft notwendig. Dennoch ist es unbestreitbar eine weitere Barriere, wenn professionelle Software, welche für wissenschaftliche Arbeit benutzt werden muss, Geld kostet – und zwar nicht unbedingt wenig. Es ist schon schwierig, dass viele Wissenschaften – eigentlich alle Naturwissenschaften, aber auch die Musikwissenschaft, wenn ich das recht verstanden habe – Räume, Infrastruktur oder Mittel voraussetzen (Labore, Musikinstrumente, technische Anlagen etc.), welche nicht mehr oder zumindest nur sehr selten privat zu finanzieren sind. Dass heißt, dass die Institutionen, welche über die Mittel verfügen letztlich eine weitere Kontroll- und damit Machtfunktion erhalten. Dafür gibt es Gründe, einige sind sogar sehr gut. (Beispielsweise der eingeschränkte Zugang zu Chemikalien). Aber es erscheint mir doch weder für mich persönlich noch gesellschaftlich sinnvoll, gerade in den Geisteswissenschaften, die solche Infrastrukturen (neben den von den Bibliotheken getragenen) nicht benötigen, ökonomische Barrieren zu errichten. Bekanntlich sind gerade Studierende und junge Wissenschaftlerinnen und Wissenschaftler oft in einer mehr als prekären finanziellen Situation.
Okay, dass als langes Vorwort. Ich versuche meine Promotion nicht nur mit der Hilfe von Web2.0-Angeboten zu erarbeiten, sondern auch bei der „stationäre“ Software, soweit möglich, auf kommerzielle Programme zu verzichten und vorrangig Open Source Produkte einzusetzen. Über die Erfahrungen mit diesen werde ich dann wohl ebenfalls berichten. Erstmal eine Übersicht zu de bisher genutzten Programmen:

  • Open Office. Ein Klassiker, ersetzt das gesamte Office-Paket von Microsoft (Word, Powerpoint, Excel, Access), zumindest theoretisch. Die Programme selber (Writer, Draw, Impress, Base etc.) arbeiten gut zusammen, die Grundfunktionen sind auch nicht zu bemängeln (zumindest in der aktuellen Version). Schwierig sind kleine Sonderfunktionen, die man beim jahrelangen Arbeiten mit Word und Powerpoint erlernt hat. Die stehen bei Openoffice zumeist an anderer Stelle oder funktionieren erstaunlich anders. Zudem gibt es von Zeit zu Zeit Probleme mit der Formatierung in die Quasi-Standard-Formate von Microsoft. (Die man aber benötigt. Schließlich sind die meisten anderen Rechner der Welt mit Microsoft-Produkten ausgestattet.) Open Office hat mir schon mehrmals Probleme bereitet, aber ich denke erstens ist das beim Microsoft-Office-Paket nicht anders und zweitens sind das oft Anfangsprobleme.
  • Bibliographix. Literaturverwaltung. Mit diesem Programm lassen sich die Literaturstellen mitsamt Zitaten und den Ideen zu den einzelnen Literaturstellen verwalten, recherchieren und besser nutzen, als wenn das per Hand gemacht wird. Das Programm selber wird von der in Basic-Version kostenlos angeboten. Man kann auch Geld bezahlen, dann bietet das Programm einige Funktionen mehr (z.B. die Ausgabe der Literaturstellen) und funktioniert offenbar auch schneller. Es arbeitet nicht wirklich perfekt (was aber vielleicht auch an meinem Rechner liegt). So lassen sich die elektronisch vorliegenden Texte nicht wirklich mit den dazugehörigen Literaturstellen verbinden, beispielsweise. Ob das Programm tatsächlich die Arbeit in Gruppen erleichtert, mag ich nicht zu sagen. Es wird zumindest behauptet. Und die zur Verfügung stehenden Felder für die einzelnen Angaben werden Menschen mit starker Affinität zur RAK-WB oder AACR2 öfter den Kopf schütteln lassen. Aber im Großen und Ganzen ein nützliches Programm, dass auch bei einigen hundert Literaturangaben nicht schlapp macht.
  • Freemind. Reines Open Source Mindmap Programm. Erstellt und verwaltet Mindmaps, ermöglicht, dass durch sie gescrollt werden kann und gibt sie, wenn gewünscht, in verschiedenen Formaten aus. Theoretisch lassen sich sogar navigierbare Mindmaps direkt fürs Internet erstellen, aber so richtig funktioniert gerade das nicht. Ansonsten ohne Frage praktisch.
  • R. Statistikprogramm. Alle Sozialwissenschaftlerinnen und Sozialwissenschaftler, die ich kenne und die sich nicht vor der Statistik drücken (bzw. ihren Forschungsschwerpunkt auf die Theorie gelegt haben), benutzen SPSS. Das können sie, weil sie es an der Uni nutzen. Es ist halt das Standardstatistikprogramm, das unter 1700€ plus 340€ im Jahr nicht zu haben ist. R bietet eine ähnliche Funktionalität, wie SPSS, wenn es auch nicht so durchdesignt aussieht. Ansonsten ist es halt, wie bei jedem Statistikprogramm: für wenn die Statistik bei der Erstellung von Balkengraphiken aus einer Exceltabelle aufhört, der braucht dieses Programm einfach nicht. Ansonsten ist es selbstverständlich unverzichtbar. Wer will schon Median und B-Koeffizient per Hand ausrechnen? In der Normalversion benutzt R noch eine zeilenbasierte Programmsprache, die auch erst einmal gelernt werden muss. Dankeswerterweise existiert aber auch eine graphische Oberfläche (Rcmdr).
  • Internetwerkzeuge. Selbstverständlich benutze ich, damit der Arbeitsprozess einheitlich bleibt, weder den Internetexplorer noch den Adobe-Reader. Beide sind zwar auch frei verfügbare Software, aber schon weil sie von so vielen Menschen benutzt werden, muss man auch mal was anderes probieren. Wobei ich da nicht wirklich kreativ bin. Mozilla Firefox als Browser (allerdings mit zahlreichen Add-ons) und der foxit-Reader in der kostenlosen Variante (welcher tatsächlich schneller und meines Erachtens auch besser zu handhaben ist, als der Adobe-Reader. Auf einen eigenen Feedreader oder die Feedfunktion von Mozilla verzichte ich ehrlich gesagt, weil ich die Arbeit mit Bloglines schätzen gelernt hab. Einfach, weil ich mit Bloglines auch von anderen Rechnern auf meine Quellen zugreifen kann. Obwohl ich zugeben muss, dass sich für den deutschsprachigen Bereich die Anzahl der abonnierten Feeds durch planet.biblioland (hier und hier) radikal reduziert hat.
  • (Ach und die Musik läuft auf dem Quintessential-Player. Aber das ist ja schon wieder eher Arbeitsumfeld.)
Glücksversprechen und Wünsche · Grundsätzliches · Kompetenzen · Nebenher

(Tagebuchfunktion I) bibliothekarisches Glücksversprechen

„Da es nicht sinnvoll ist, die Vermittlung von Informationskompetenz nur theoretisch stattfinden zu lassen, benötigt man einen Lernort, an dem elektronische und gedruckte Informationsressourcen zur Verfügung stehen: die Bibliotheken. Sie besitzen Expertenwissen im Umgang mit Information, in ihnen werden unterschiedliche Informationsressourcen in unterschiedlichsten Medienformen erfasst, selektiert, inhaltlich und formal erschlossen sowie für die Nutzung verfügbar gemacht. Bibliothekare haben täglich mit den unterschiedlichsten Informationssystemen zu tun, sind mit ihnen vertraut und können diese effizient nutzen. So sind die Bibliotheken prädestiniert als ideale Lernorte von Informationskompetenz für die unterschiedlichsten Zielgruppen: z.B. für Schüler.“
[Ulrike Bull / Bibliotheken als Lernorte für Informationskompetenz : eine Analyse der Angebote für Schülerinnen und Schüler. – [Diplomarbeit] . – Potsdam : Fachbereich Informationswissenschaft der Fachhochschule Potsdam, 2003, Seite 5]

Glücksversprechen
So der Beginn einer Diplomarbeit aus Potsdam. Solche Herleitungen finde ich gefährlich.

  1. Ich kann nachvollziehen, dass Bibliothekarinnen und Bibliothekare die Bibliothek gerne als Lernort für Informationskompetenz sehen würden und das aus ihrer Kompetenz, den Medienbeständen und ihrem (nicht unbedingt von der gesamten Profession geteilten) Selbstverständnis als Informationsvermittlerinnen und -vermittler herleiten. Aber das ist doch kein Beweis dafür, dass dies von der restlichen Welt auch so gesehen wird. Über Schulbibliotheken wird gleiches behauptet und doch hatten die Schulbibliotheken, die ich für meine Magisterarbeit besuchte, teilweise nicht mal Computer und wollten auch gar keine haben. Informationskompetenzvermittlung fand in schuleigenen Computerkabinetten statt. Ähnliches kann ich mir für Öffentliche Bibliotheken vorstellen.
  2. „Bibliothekare haben täglich mit den unterschiedlichsten Informationssystemen zu tun, sind mit ihnen vertraut und können diese effizient nutzen.“
    Einige ja. Aber sieht die Realität in Öffentlichen Bibliotheken wirklich so aus oder wird hier nicht einfach ein Ideal von Bibliothekaren als Normativ gesetzt? Ich habe oft genug Anderes erlebt, nämlich das engagierte Kolleginnen und Kollegen viele andere Aufgaben wahrnahmen und wahrnehmen wollten, nur nicht mit Informationssystemen arbeiten. Deren Informationskompetenz beschränkte sich oft auf Google. Das finde ich nicht schlimm. Sie hatten andere Interessenschwerpunkte bei ihrer täglichen Arbeit. Aber werden solche Bibliothekarinnen und Bibliothekare, mitsamt ihrer Arbeit, nicht vollständig dequalifizierte, wenn man bei ihnen Kompetenzen voraussetzt, die sie nicht haben und auch nicht als notwendig für ihre Arbeit ansehen.
    Zumal auch nicht klar ist, wo Bibliothekarinnen und Bibliothekare eigentlich Informationskompetenz für die aktuellen Medien erlernen sollten, wenn sie es nicht in der Ausbildung gelernt haben. Die Fortbildungssituation ist nun mal nicht die beste.
  3. Die Vorstellung, dass Bibliotheken die perfekten Orte zur Vermittlung von Informationskompetenz darstellen, scheint oft den Blick darauf zu verstellen, dass sie beileibe nicht die einzigen Orte darstellen, an denen eine solche Vermittlung stattfinden kann. Führt solch eine Einstellung nicht dazu, andere Lernorte gering zu schätzen und deshalb Zusammenarbeiten (direkt oder indirekt) gar nichts anzudenken? Blickt man darauf, mit wem Öffentliche Bibliotheken im Bildungsbereich zusammenarbeiten, ist offensichtlich, dass es sich fast immer um Schulen handelt. Und denen werden nahezu immer dieselben Angebote gemacht: Lesekisten und Führungen für Schulklassen, mal verbunden mit Rechercheprojekten in der Bibliothek, mal ohne. Teilweise gibt es zusätzlich Vorlesewettbewerbe oder Vorlesestunden für Kinder. Und eventuell gestaltet sich, angeregt durch das Konzept „Spiralcurriculum“, in den letzten Jahren die Zusammenarbeit mit Schulen sogar kontinuierlicher, als zuvor.
    Dennoch sind bei allen diesen Angeboten zwei Dinge auffällig. Erstens scheint immer die Bibliothek für Informationskompetenz und Leseförderung zuständig, zumindest in der Theorie. Was ist dann aber die Aufgabe der Schulen? Ist das schon eine Zusammenarbeit, wenn sie die Kinder und Jugendlichen vorbei bringen? Zweitens fallen die anderen Lernorte in diesen Konzeptionen fort. Dabei lernen heute alle Menschen in einem Lernnetzwerk, dass sich individuell zusammensetzt und in dem unterschiedliche Lernort individuell bewertet und genutzt werden.
    Ich bin mir sicher, dass eine Evaluation von Bildungswirkungen schon durch rein deskriptiv verwendete Interviews mit Nutzerinnen und Nutzern zeigen würden, dass Bibliotheken weder primär als Lernorte für Informationskompetenz wahrgenommen werden, noch dass sich die genutzten Lernorte auf Schule und Bibliothek beschränken.

Normativ
Solche Zitate, wie das oben wiedergegebene, lassen sich dennoch zahlreich finden. Doch jedesmal frage ich mich, wieso eigentlich? Haben Bibliothekarinnen und Bibliothekare es nötig, sich ständig gegenseitig zu versichern, dass ihr Arbeitsbereich wichtig ist? Kann man nicht einfach die Realität klarer wahrnehmen: Einerseits Bibliothekarinnen und Bibliothekare, die gerne eine Einrichtung für Informationsvermittlung hätten, anderseits solche, die andere Funktionen von Bibliotheken betont sehen wollen. Eine Öffentlichkeit, von der man nicht so genau weiß, was sie eigentlich von Bibliotheken hält. Und eine alltägliche Praxis, bei der nicht so recht klar ist, ob Informationskompetenz überhaupt nötig ist oder ob nicht doch die Beherrschung des hauseigenen OPACs vollständig ausreicht, um die gestellten Informationsbedürfnisse zu befriedigen.
Sicher, Informationskompetenz heißt auch, den Nutzerinnen und Nutzern zu zeigen, dass ihr Informationsbedarf vielleicht ein anderer ist, als sie selber annehmen. Das hieße, sie über den OPAC hinaus auf andere Informationvermittlungssysteme zu verweisen. Aber ist das tatsächlich die Arbeit, die in Öffentlichen Bibliotheken geleistet wird? Vielleicht ja, es gibt dazu keine Daten. Aber wenn beispielsweise in Berlin Bibliotheken primär nach den Ausleihzahlen bewertet werden, wäre ein solches Vorgehen vollkommen widersinnig. Erstens leihen informationskompetente Nutzerinnen und Nutzer vielleicht gar nicht mehr so viel aus, wie zuvor. Und zweitens tun sie das vielleicht noch in gänzlich anderen Bibliotheken, die ihren speziellen Informationsbedarf besser bedienen. Damit würde die Informationskompetenzvermittlung nur einen zeitaufwändig erreichten Verlust für die jeweilige Bibliothek bedeuten.
Wenn, dann sollte man die im obigen Zitat steckende Vorstellung als Wunsch ernst nehmen, wie in Bibliotheken gearbeitet werden sollte. Dann kann man darauf auch zuarbeiten, der Öffentlichkeit klarmachen, dass solche Arbeit gemacht werden und unterstützt werden muss. (Beispielsweise müsste sie in Bibliotheksbewertungen einfließen.)

Schülerführung / Schülerprojekte
Abgesehen davon liefert die zitierte Arbeit übrigens eine wichtige Differenzierung zwischen „klassischer Schülerführung“, in denen es vorrangig um die Vermittlung von Bibliothekskompetenz geht und „Schülerprojekten“, welche an der Vermittlung von Informationskompetenz orientiert sind. Diese Unterteilung mag auf den erste Blick banal sein, bieten meines Erachtens aber eine Möglichkeit Lehrprojekte in Öffentlichen Bibliotheken besser und gerechter zu bewerten.
Der Widerspruch ist schließlich offensichtlich zwischen den Selbstdarstellungen von Bibliotheken, die sich die Vermittlung von Informationskompetenz zuschreiben, in deren Klassenführungen dann aber vor allem die Anmeldeformalitäten der jeweiligen Bibliothek und die Funktion des OPACs erklärt wird. Mit einer Differenzierung der Projekte in „klassische Schülerführung“ und „Schülerprojekt“ lässt sich dieser Widerspruch gut erklären. Hinter ihnen stehen zwei unterschiedliche Ziele: die Gewinnung neuer Bibliothekskundinnen und -kunden in den klassischen Führungen, die Informationskompetenzvermittlung bei den Schülerprojekten. Letztere mögen gesellschaftlich relevanter sein (schließlich werden mit Informationskompetenz neben positiven Arbeitsmarkteffekten auch positive Auswirkungen für die gesellschaftliche und politische Teilhabe der Individuen verbunden). Aber von der aktueller Bewertung der Bibliotheken durch die meisten Träger her gesehen sind klassische Führungen produktiver. Die erzeugen immerhin zählbare Zuwächse an Nutzerinnen und Nutzern, zumindest formal.

Evaluation und Empirie · Thesen

Thesen zur realistischen Evaluation

Sigmar-Olaf Tergau stellt in seinem Artikel „Realistische Qualitätsevaluation von E-Learning“ (In: Meister, Dorothee M. ; Tergau, Sigmar-Olaf ; Zentel, Peter [Hrsg.] / Evaluation von E-Learning : Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven. – Münster ; New York ; München ; Berlin : Waxmann, 2004. – [Medien in der Wissenschaft ; 25]. – Seite 131-154) 10 Thesen zu „realistischen Evaluationen“ vor. Diese beziehen sich zwar auf E-Learning, vorrangig im akademischen Rahmen, lassen sich allerdings meines Erachtens gut verallgemeinern und zumindest als eine Grundlage für die Evaluation von Bildungseffekten Öffentlicher Bibliotheken verwenden. Vor allem betonen sie die Grenzen und Möglichkeiten von Evaluationen.

  • These 1: Realistische Evaluation heißt, sich der Anforderungen und Rahmenbedingungen bewusst zu sein, unter denen Evaluation durchgeführt wird
  • These 2: Realistische Evaluation heißt, ein adäquates Verständnis von Evaluation zu Grunde zu legen
  • These 3: Realistische Evaluation heißt, ein den Anforderungen entsprechendes Verständnis von Qualität zu Grunde zu legen
  • These 4: Realistische Evaluation heißt, einen den Anforderungen angemessenen Evaluationsansatz zu wählen
  • These 5: Realistische Evaluation heißt, sich der Stärken und Schwächen der eingesetzten Evaluationsmethoden bewusst zu sein
  • These 6: Realistische Evaluation heißt, Wechselwirkungen von Lernvoraussetzungen und Merkmalen des Lernangebots stärker zu berücksichtigen
  • These 7: Realistische Evaluation heißt, die Bedeutung der Lernaktivitäten in den Vordergrund zu rücken
  • These 8: Realistische Evaluation heißt, die Rahmenbedingungen einer Anwendungssituation in die Evaluation einzubeziehen
  • These 9: Realistische Evaluation heißt, die tatsächlich bedeutsamen (lernrelevanten) Bedingungen zu fokussieren
  • These 10: Realistische Evaluation heißt, die Ergebnisse von Evaluation kritisch zu hinterfragen

Reinhard Stockmann (Wirkungsorientierte Programmevaluation : Konzepte und Methode für die Evaluation von E-Learning. – ebenda, Seite 23-42) weißt im selben Sammelwerk darauf hin, dass Evaluation mehrere Aufgaben übernehmen kann:

  • Gewinnung von Erkenntnissen
  • Ausübung von Kontrolle
  • Schaffung von Transparenz für eine Dialog um die evaluierten Projekte
  • Dokumentation des Erfolgs (Legitimation)

Er und andere Autoren des Bandes betonen aber auch, dass Evaluationen gerne als reines Marketinginstrument verstanden werden. Dabei fallen dann zwei wichtige Funktionen von Evaluation fort: einmal zur Verbesserungen der evaluierten Projekte beizutragen und zweitens realistische Erkenntnisse über Wirkungen und Projektverläufe zu gewinnen.
Bei den wenigen im Bereich Öffentlicher Bibliotheken vorliegenden (d.h. dokumentierten) Evaluationen ist das, denke ich, ein wichtiger Hinweis. Zumeist werden sie ja als Argumentationshilfen für Bibliotheken gegenüber den Trägern angepriesen (was ja leider verständliche Hintergründe hat). Aber das Evaluationen verwendet werden, um über die Wirkung von Projekten zu reflektieren? Selten, oder?

Nebenher

Komplexitätsreduzierung

Ich könnte mir die ganze Arbeit hier selbstevrständlich auch einfach machen und das gerade in Großbritannien propagierte Management Framework übernehmen. Da bleibt dann nicht mehr viel an theoretischer Arbeit zu tun. Dann müssten nur noch mal die Modelle in deutschen Kontext angewendet werden.
Nein, ehrlich. Ich flog gerade einmal quer über A New Libraries Performance Management Framework und A blueprint for excellence – Public Libraries 2008-2011 : „Connecting People to Knowledge and Inspiration“. Beide relativ frisch auf den Seiten des Museums, Libraries and Archives Council (MLA) zu finden. Vielleicht hat sich beim Drüberlesen auch nur der falsche Eindruck vermittelt. Aber zur Zeit scheint das so, als hätte das MLA die eigenen Texte vom Anfang dieses Jahrtausends und die Studien zum social impact von Bibliotheken, die es in Großbritannien ja tatsächlich gab, vergessen und sähe Bibliotheken nun fast ausschließlich als zu steuernde Unternehmen, nicht als Einrichtung mit diversen Aufgaben. Wie gesagt, vielleicht ergibt sich das noch beim genauen Lesen. Aber wenn als Weakness im „Blueprint“ gerade einmal Folgendes gesagt wird, dann stellt sich schon die Frage, wo den zum Beispiel die ganzen Erkenntnisse zur Social Exclusion (z.B. in das Studie „Open to All?“ von 2000) geblieben sind:

However, it is certainly the case that the quality of library services varies across the country, as reflected in the achievement against national service standards, and in the need to improve the efficiency and impact, identified in studies commissioned by the MLA. Furthermore there is justifiable concern about the quality of resources, notably book stocks and the state of many buildings. It is also clear that, with increased competition for public resources, there is a need to place future activities within a clear narrative that offers wide support for compelling messages about the ways in which public libraries are able to enrich the lives of everyone.

Doch ich wollte mir die Polemik verkneifen.

Evaluation und Empirie · Forschungsansätze · Fortschritt · Vorhaben

Schwerpunkt Evaluationsmodelle

Aktuell wollte ich an einer Übersicht zur Nutzung und Wirkung von Öffentlichen Bibliotheken als Bildungseinrichtungen im internationalen Rahmen arbeiten. Ich habe dies erstmal aufgegeben. Dafür sprachen zwei Gründe.
Zum einen war mehr und mehr vorauszusehen, dass diese Übersicht ein weitere Beispielssammlung ohne klaren Anwendungsbereich darstellen würde. Meine Mittel sind sehr begrenzt, praktisch hätte ich nur auf Beispiele zurückgreifen können, die in deutsch, englisch oder französisch dokumentiert sind. Davon gibt es Zahlreiche, vor allem im englisch-sprachigen Bereich. Doch letztlich würde diese Sammlung an der Unbestimmtheit kranken, die leider viele ähnliche Arbeiten im bibliothekarischen Bereich auszeichnet. Es wären nicht genügend Beispiele, um Trends aufzuzeigen, die Repräsentativität der vorgestellten Beispiele zu überprüfen oder um Aussagen über die Innovativität derselben zu machen. Es wären einfach Beispiele ohne größeren theoretischen Rahmen.
Gerade bei vielen Abschlussarbeiten, die an Hochschulen geschrieben werden, finden sich meines Erachtens zahlreiche ähnlicher Beispielsammlungen, die zwar immer wieder wichtige Bereiche der bibliothekarischen Arbeit diskutieren, anschließend Beispiele aus der bibliothekarischen Praxis vorstellen, welche zumeist einzig durch großes Engagement der jeweils involvierten Bibliothekarinnen und Bibliothekare funktionieren. Doch letztlich bleibt bei diesen Beispielsammlungen zumeist vollkommen offen, warum gerade die ausgewählten Beispiele gewählt wurden, ob diese Schlaglichter der allgemeinen Arbeit von Öffentlichen Bibliotheken darstellen, ob sie regional verankerte Lösungsansätze regionaler Probleme darstellen oder ob sie innovativ sind und zur weiteren Umsetzung vorgestellt werden. Das ist dann, trotz aller Arbeit, oft etwas unbefriedigend.
Dabei war die Grundhoffnung, die ich mit dieser Studie verband, dass sich genügend Anwendungen von Öffentlichen Bibliotheken als Bildungseinrichtungen finden lassen würden, um an diesen eine einigermaßen tragfähige Kategorisierung – und sei es nur als Arbeitshypothese – zu formulieren. Dies würde einen Rahmen liefern, in welchem die Aktivitäten in deutschen Bibliotheken hätten verortet werden können.

Der zweite Grund ist, dass immer klarer wird, dass es für für die Frage, welche Bildungseffekte Öffentliche Bibliotheken haben, sinnvoller ist, sich eingehender mit Evaluations- und Messmethoden zu befassen. Dies werde ich die nächsten zwei Monate tun. Das Problem ist, dass sich für den deutschsprachigen Bereich wieder einmal wenige dokumentierte Ansätze finden lassen, welche für Bibliotheken zugeschnitten sind oder gar von Bibliotheken verwendet werden. (Dies heißt nicht, dass nicht undokumentiert Evaluationen unternommen würden.) Auch englisch-sprachig liegen nicht allzu viele Modelle vor, aber immerhin einige. Beispielsweise in Svanhild Aabøs „The Value of Public Libraries“, Sharon Markless‘ und David Streatfields „Evaluating the impact of your Library“ und einer Anzahl von Artikeln.
Eine andere Quelle werden deshalb die in der Bildungsforschung angewandten Modelle darstellen. Dabei geht es mir erst einmal darum, solche Modelle zusammen zu tragen. Erstes Kriterium soll sein, dass sie tatsächlich in der bibliothekarischen oder bildungswissenschaftlichen Praxis benutzt werden. Methoden, die zwar theoretisch ausgearbeitet, aber bisher nicht in diesem Bereich angewandt wurden, möchte ich ausschließen. Nicht, weil sie nicht auch praktisch oder vorteilhaft sein könnten, sondern weil ich mir eine Bewertung allein aufgrund der theoretischen Fassung nicht zutraue. Die gewählten Modelle sollen gesammelt, gruppiert und auf ihre Eignung für den bibliothekarischen Bereich hin untersucht werden.
Wichtig finde ich dabei, dass ich mich nicht schon in dieser Phase auf ein Modell festlege. Eigentlich sollen möglichst viele Modelle erprobt werden. Aber wenn ich Modelle verwerfe, möchte ich das auch begründen können.
Es ist allerdings auch nicht so, dass kanonisierte Evaluationsmethoden für Bildungseffekte in der Erziehungswissenschaft vorliegen würden. Vielmehr ist der Bereich der empirischen Bildungsforschung offenbar ein in der letzten Jahren stark wachsender Bereich, welcher zuvor eher ein Schattendasein führte. Ergebnis dieses Wachstums ist selbstverständlich die Vielzahl der aktuell vorgeschlagenen und der – oft auch projektweise – angewendeten Modelle und Methoden. Zudem werden diese Modelle und Methoden aktuell beständig modifiziert und ergänzt.

Nebenher · Offene Fragen

Zukunft?

Ein Zitat aus einem Report aus dem Jahr 1975 [sic!]:

„Libraries and information specialists, while continuing to fulfill their roles of providing traditionals library materials and services, are expected:
(1) to respond to the needs of new groups of users;
(2) to meet the special educational needs of independent learners;
(3) to handle ever increasing quantities of information and forms of dissemination;
(4) to adapt technological innovations to library use;
(5) to accept and apply the concepts of inter-type cooperation and information networks;
and (6) to develop cooperative patterns of service among libraries of the same type, i.e., the public library systems, and among libraries of various types.“
[Final Report of the Task Force on Library Manpower and Education to the Council on Library Development, June 30, 1975. – Madison : Division for Library Services, Wisconsin Department of Public Instruction, 1975. – p.V]

Und jetzt, wenn man zu Punkt 4 noch schreibt, „i.e., the WWW and Web2.0-applications“, was hat sich dann geändert? Hat sich seit 1975 nichts entwickelt? Ist das Bibliothekssystem in Wisconsin dem deutschen etwa um 32 Jahre voraus? Oder ist das ein Beispiel dafür, dass man Anforderungen nicht so allgemein wie möglich halten sollte, weil dann niemand so recht weiß, was eigentlich genau verändert werden soll?