Archive | April 2007

Laws of impact evaluation

Sharon Markless und David Streatfield legten in ihrem Buch „Evaluating the impact of your library“ (Markless, Sharon ; Streatfield, David (2006) / Evaluating the impact of your library. London : Facet Publishing, 2006) einen klar und einfach geschriebenen Leitfaden vor, mit dem Bibliotheken eine umfangreiche Messung ihres Einflusses durchführen können. Das Buch ist auf die Praxis hin geschrieben, hier und da geht es schon in Richtung Marketing, obwohl gerade vor einem solchen Ansatz gewarnt wird. Evaluation ist für Markless/Streatfield vorrangig ein Mittel, um sich der Qualitäten und Problem der eigenen bibliothekarischen Arbeit gewahr zu werden.

Evaluation of initiatives should help to show what is working more or less well, which elements in the programme need remedial attention or should be more widely adopted, and whether the initiative represents good value for money. If the ‚evaluation‘ assures the last point and concentrates on showing how everything in the garden is lovely, this ceases to be evaluation and is not a good foundation on which to build a convincing case for development. [13]

Sie stellen mehrere Methoden der Evaluation vor, welche sie für Bibliotheken angepasst beschreiben. Dabei verwerfen sie erst einmal die in Deutschland – aber nicht nur in Deutschland – üblichen Kennziffern von Biblioteken als für die Bestimmung von „impact“ kaum nutzbar. Stattdessen plädieren sie für die Neuformulierung von Faktoren für jede einzelne Bibliothek. (Nicht kontextlos, die Erfahrungen anderer Bibliotheken und der empirischen Sozialwissenschaft sollen beachtet werden. Es geht um die passgerechte Formulierung für die jeweils spezifischen Services im jeweils spezifischen Umfeld.)
Den Rahmen ihres Buches bilden zwölf „Laws of impact evaluation“, die so spezifisch ausgearbeit sind, dass sie für Öffentliche Bibliotheken kaum besser formuliert werden könnten.

Laws of impact evaluation

  1. Effective impact evaluation requires clear and consistent use of terms. [23]
  2. If we are to focus on impact we need to articulate precisely what we are trying to achieve rather than how we will get there. [62]
  3. If we don’t generate specific and time-limited objectives to help focus on impact, we will end up monitoring efficiency instead. [62]
  4. When you are thinking about what impact you would like to see, don’t inhibit yourself by worrying about how you will gather the evidence – yet. [63]
  5. Beware of formulating too many quantitative indicators. This can lead you to concentrate too headily on the statistical side of your impact – numbers never tell the whole story. [70]
  6. Be political if you are gathering information to convince other people. Give them what they want – until you have persuaded them that your evidence is more useful then what they are used to. [92]
  7. The care for impact evaluation is strongest in areas of service development, where time and resources are limited but real change can be demonstrated. [93]
  8. Questionnaire surveys are ideal for projecting the compiler’s preconceptions and prejudices and having them confirmed by an invisible audience. They are also quite useful for collecting small amounts of information from a sample of respondents or all respondents within a target group. [105]
  9. Effective impact work is not about gathering lots of evidence. It is about focusing on real impact and about rigour in collecting, analysing and reporting data. [123]
  10. Beware of the Holy Grail! To gauge the impact of a service you need to know what change it is making, not what you hope it might do – evidence not aspirations! [129]
  11. If impact targets are not helping, change them or ditch them. [133]
  12. Benchmarking should be seen as the beginning of a journey of discovery – not as an end in itself. The aim should be to learn more about your service by comparing its impact with that of others – not to secure a place in a table of merit. [151]

Framework „Learning for All“

Erstaunlich ist übrigens, dass das Projekt „Inspiring Learning for All“ des britischen Museums, Libraries and Archives Council kaum bekannt zu sein scheint. Die Materialien finden sich auf der Homepage inspiringlearningforall.gov.uk. Hier wird für die drei Einrichtungen Museen, Bibliotheken und Archive ein Framework vorgelegt, mit welchem sie ihre Arbeit und vor allem ihre Wirkung (impact) weit über die in Deutschland bekannten Messzahlen hinaus evaluieren können sollen. Dabei ist ein Gedanke, dass diese Evaluation hauptsächlich zur Optimierung der jeweiligen Services genutzt werden soll, nicht als Argumentationswerkzeug der Bibliothekspolitik.
Sicher, würde man dieses Framework zugrunde legen, müsste sich die Evaluationpraxis in den deutschen Bibliotheken radikal wandeln. Aber das man gar nichts von dieser Initiative hört, ist doch verwunderlich.
Das gesamte Framework ist hier herunter zu laden (rund 3 MB).

Zu multikultureller Bibliotheksarbeit

Gestern, auf der Tagung (offiziell als Fortbildung bezeichnet) an der Freien Universität Berlin zu Multikultureller Bibliotheksarbeit – national und international, habe ich vor allem eines gelernt: „multikulturelle Bibliotheksarbeit“ findet hauptsächlich nicht als typische bibliothekarische Arbeit statt (Bestandsaufbau, Ausleihe, Informationsvermittlung etc.), sondern durch Projekte und Services, die in der Bibliothek angeboten werden (Health Care Centre, Job Search Centre etc.) Ich frage mich jetzt, ob Bildungsarbeit in Bibliotheken ähnlich funktioniert.
Wobei ich noch eine zweite Sache gelernt habe, bzw. noch einmal bestätigt bekam: multikulturelle Bibliotheksarbeit findet – gemessen an dem, was in anderen Staaten gemacht und gedacht wird – nicht statt.

(Ein Tagungsband ist geplant, deshalb verzichte ich auf einen Tagungsbericht.)

Social impact of public libraries (Annahmen)

Svanhild Aabø zitiert in ihrer Doktorarbeit [The Value of Public Libraries, Oslo, University of Oslo, 2005] aus einer Arbeit von Evelyn Kerslake und Margaret Kinnel [Kerslake, E. ; Kinnel, M. / The social impact of public libraries : A literary review. – [London] : British Library Research and Innovation Centre, 1997] eine Übersicht zu (normativen) Annahmen zum Einfluss von Öffentlichen Bibliotheken. Dieser Überblick ist selbstverständlich auf Großbritannien bezogen und lässt sich nicht direkt auf Deutschland beziehen. Zudem ist er hier „zweiter Hand“ wiedergegeben. Aber er ist ein weiterer Ansatz zur Systematisierung.

Social Impact of Public Libraries:

  1. Einfluss auf die Community, in der die Bibliothek arbeitet.
    • Unterstützt lokale Identifikationen/Identitäten und Gemeinschaften
    • Unterstützt Menschen, deren Hauptaktivitäten außerhalb des Arbeitsmarktes stattfinden [interessante Sichtweise, da zu dieser Gruppe gänzlich unterschiedliche Personenkreise gehören: Hausfrauen/-männer, die dies auch langfristig sein wollen; Arbeitslose, die versuchen diesen Zustand zu verlassen (oder resigniert haben und sich mit dieser Situation arrangiert haben); Ehrenamtliche, die ihren Schwerpunkt auf ihr Ehrenamt legen. Dies impliziert unterschiedliche Bibliotheksarbeit.]
    • Pflegt kulturellen Reichtum und Diversität
    • Stellt eine Art sozialen Zusammenhalt in einer Zeit rasanter Veränderungen dar
    • Stellt in Krisenzeiten (persönliche, gesellschaftliche) Informationen bereit
    • Erleichtert die Nutzung neuer Informationsressourcen
  2. Impact on skills
    • Persönlicher und gesellschaftlicher Vorteil (ökonomische, politische und soziale Kompetenzen wachsen durch die Benutzung von Bibliotheken)
  3. Ökonomischer Einfluss
    • kaum dokumentiert, Hinweise auf sie aus folgenden Gründen: (1) Prosperität durch die Regeneration der Stadtzentren [ein britisches Problem], (2) „confronting poverty“, (3) Brücke zwischen „education and leisure“

Software für die Promotion

Wenn ich meine Promotion schon einigermaßen öffentliche produziere, dann sollte sie auch mit öffentlich zugänglichen Mitteln erarbeitet werden. So ist zumindest meine Überzeugung.
Nichts gegen kommerzielle Software im Allgemeinen. Auch in ihre steckt harte Arbeit und gerade für Nichtstandardanwendungen ist sie oft notwendig. Dennoch ist es unbestreitbar eine weitere Barriere, wenn professionelle Software, welche für wissenschaftliche Arbeit benutzt werden muss, Geld kostet – und zwar nicht unbedingt wenig. Es ist schon schwierig, dass viele Wissenschaften – eigentlich alle Naturwissenschaften, aber auch die Musikwissenschaft, wenn ich das recht verstanden habe – Räume, Infrastruktur oder Mittel voraussetzen (Labore, Musikinstrumente, technische Anlagen etc.), welche nicht mehr oder zumindest nur sehr selten privat zu finanzieren sind. Dass heißt, dass die Institutionen, welche über die Mittel verfügen letztlich eine weitere Kontroll- und damit Machtfunktion erhalten. Dafür gibt es Gründe, einige sind sogar sehr gut. (Beispielsweise der eingeschränkte Zugang zu Chemikalien). Aber es erscheint mir doch weder für mich persönlich noch gesellschaftlich sinnvoll, gerade in den Geisteswissenschaften, die solche Infrastrukturen (neben den von den Bibliotheken getragenen) nicht benötigen, ökonomische Barrieren zu errichten. Bekanntlich sind gerade Studierende und junge Wissenschaftlerinnen und Wissenschaftler oft in einer mehr als prekären finanziellen Situation.
Okay, dass als langes Vorwort. Ich versuche meine Promotion nicht nur mit der Hilfe von Web2.0-Angeboten zu erarbeiten, sondern auch bei der „stationäre“ Software, soweit möglich, auf kommerzielle Programme zu verzichten und vorrangig Open Source Produkte einzusetzen. Über die Erfahrungen mit diesen werde ich dann wohl ebenfalls berichten. Erstmal eine Übersicht zu de bisher genutzten Programmen:

  • Open Office. Ein Klassiker, ersetzt das gesamte Office-Paket von Microsoft (Word, Powerpoint, Excel, Access), zumindest theoretisch. Die Programme selber (Writer, Draw, Impress, Base etc.) arbeiten gut zusammen, die Grundfunktionen sind auch nicht zu bemängeln (zumindest in der aktuellen Version). Schwierig sind kleine Sonderfunktionen, die man beim jahrelangen Arbeiten mit Word und Powerpoint erlernt hat. Die stehen bei Openoffice zumeist an anderer Stelle oder funktionieren erstaunlich anders. Zudem gibt es von Zeit zu Zeit Probleme mit der Formatierung in die Quasi-Standard-Formate von Microsoft. (Die man aber benötigt. Schließlich sind die meisten anderen Rechner der Welt mit Microsoft-Produkten ausgestattet.) Open Office hat mir schon mehrmals Probleme bereitet, aber ich denke erstens ist das beim Microsoft-Office-Paket nicht anders und zweitens sind das oft Anfangsprobleme.
  • Bibliographix. Literaturverwaltung. Mit diesem Programm lassen sich die Literaturstellen mitsamt Zitaten und den Ideen zu den einzelnen Literaturstellen verwalten, recherchieren und besser nutzen, als wenn das per Hand gemacht wird. Das Programm selber wird von der in Basic-Version kostenlos angeboten. Man kann auch Geld bezahlen, dann bietet das Programm einige Funktionen mehr (z.B. die Ausgabe der Literaturstellen) und funktioniert offenbar auch schneller. Es arbeitet nicht wirklich perfekt (was aber vielleicht auch an meinem Rechner liegt). So lassen sich die elektronisch vorliegenden Texte nicht wirklich mit den dazugehörigen Literaturstellen verbinden, beispielsweise. Ob das Programm tatsächlich die Arbeit in Gruppen erleichtert, mag ich nicht zu sagen. Es wird zumindest behauptet. Und die zur Verfügung stehenden Felder für die einzelnen Angaben werden Menschen mit starker Affinität zur RAK-WB oder AACR2 öfter den Kopf schütteln lassen. Aber im Großen und Ganzen ein nützliches Programm, dass auch bei einigen hundert Literaturangaben nicht schlapp macht.
  • Freemind. Reines Open Source Mindmap Programm. Erstellt und verwaltet Mindmaps, ermöglicht, dass durch sie gescrollt werden kann und gibt sie, wenn gewünscht, in verschiedenen Formaten aus. Theoretisch lassen sich sogar navigierbare Mindmaps direkt fürs Internet erstellen, aber so richtig funktioniert gerade das nicht. Ansonsten ohne Frage praktisch.
  • R. Statistikprogramm. Alle Sozialwissenschaftlerinnen und Sozialwissenschaftler, die ich kenne und die sich nicht vor der Statistik drücken (bzw. ihren Forschungsschwerpunkt auf die Theorie gelegt haben), benutzen SPSS. Das können sie, weil sie es an der Uni nutzen. Es ist halt das Standardstatistikprogramm, das unter 1700€ plus 340€ im Jahr nicht zu haben ist. R bietet eine ähnliche Funktionalität, wie SPSS, wenn es auch nicht so durchdesignt aussieht. Ansonsten ist es halt, wie bei jedem Statistikprogramm: für wenn die Statistik bei der Erstellung von Balkengraphiken aus einer Exceltabelle aufhört, der braucht dieses Programm einfach nicht. Ansonsten ist es selbstverständlich unverzichtbar. Wer will schon Median und B-Koeffizient per Hand ausrechnen? In der Normalversion benutzt R noch eine zeilenbasierte Programmsprache, die auch erst einmal gelernt werden muss. Dankeswerterweise existiert aber auch eine graphische Oberfläche (Rcmdr).
  • Internetwerkzeuge. Selbstverständlich benutze ich, damit der Arbeitsprozess einheitlich bleibt, weder den Internetexplorer noch den Adobe-Reader. Beide sind zwar auch frei verfügbare Software, aber schon weil sie von so vielen Menschen benutzt werden, muss man auch mal was anderes probieren. Wobei ich da nicht wirklich kreativ bin. Mozilla Firefox als Browser (allerdings mit zahlreichen Add-ons) und der foxit-Reader in der kostenlosen Variante (welcher tatsächlich schneller und meines Erachtens auch besser zu handhaben ist, als der Adobe-Reader. Auf einen eigenen Feedreader oder die Feedfunktion von Mozilla verzichte ich ehrlich gesagt, weil ich die Arbeit mit Bloglines schätzen gelernt hab. Einfach, weil ich mit Bloglines auch von anderen Rechnern auf meine Quellen zugreifen kann. Obwohl ich zugeben muss, dass sich für den deutschsprachigen Bereich die Anzahl der abonnierten Feeds durch planet.biblioland (hier und hier) radikal reduziert hat.
  • (Ach und die Musik läuft auf dem Quintessential-Player. Aber das ist ja schon wieder eher Arbeitsumfeld.)

(Tagebuchfunktion I) bibliothekarisches Glücksversprechen

„Da es nicht sinnvoll ist, die Vermittlung von Informationskompetenz nur theoretisch stattfinden zu lassen, benötigt man einen Lernort, an dem elektronische und gedruckte Informationsressourcen zur Verfügung stehen: die Bibliotheken. Sie besitzen Expertenwissen im Umgang mit Information, in ihnen werden unterschiedliche Informationsressourcen in unterschiedlichsten Medienformen erfasst, selektiert, inhaltlich und formal erschlossen sowie für die Nutzung verfügbar gemacht. Bibliothekare haben täglich mit den unterschiedlichsten Informationssystemen zu tun, sind mit ihnen vertraut und können diese effizient nutzen. So sind die Bibliotheken prädestiniert als ideale Lernorte von Informationskompetenz für die unterschiedlichsten Zielgruppen: z.B. für Schüler.“
[Ulrike Bull / Bibliotheken als Lernorte für Informationskompetenz : eine Analyse der Angebote für Schülerinnen und Schüler. – [Diplomarbeit] . – Potsdam : Fachbereich Informationswissenschaft der Fachhochschule Potsdam, 2003, Seite 5]

Glücksversprechen
So der Beginn einer Diplomarbeit aus Potsdam. Solche Herleitungen finde ich gefährlich.

  1. Ich kann nachvollziehen, dass Bibliothekarinnen und Bibliothekare die Bibliothek gerne als Lernort für Informationskompetenz sehen würden und das aus ihrer Kompetenz, den Medienbeständen und ihrem (nicht unbedingt von der gesamten Profession geteilten) Selbstverständnis als Informationsvermittlerinnen und -vermittler herleiten. Aber das ist doch kein Beweis dafür, dass dies von der restlichen Welt auch so gesehen wird. Über Schulbibliotheken wird gleiches behauptet und doch hatten die Schulbibliotheken, die ich für meine Magisterarbeit besuchte, teilweise nicht mal Computer und wollten auch gar keine haben. Informationskompetenzvermittlung fand in schuleigenen Computerkabinetten statt. Ähnliches kann ich mir für Öffentliche Bibliotheken vorstellen.
  2. „Bibliothekare haben täglich mit den unterschiedlichsten Informationssystemen zu tun, sind mit ihnen vertraut und können diese effizient nutzen.“
    Einige ja. Aber sieht die Realität in Öffentlichen Bibliotheken wirklich so aus oder wird hier nicht einfach ein Ideal von Bibliothekaren als Normativ gesetzt? Ich habe oft genug Anderes erlebt, nämlich das engagierte Kolleginnen und Kollegen viele andere Aufgaben wahrnahmen und wahrnehmen wollten, nur nicht mit Informationssystemen arbeiten. Deren Informationskompetenz beschränkte sich oft auf Google. Das finde ich nicht schlimm. Sie hatten andere Interessenschwerpunkte bei ihrer täglichen Arbeit. Aber werden solche Bibliothekarinnen und Bibliothekare, mitsamt ihrer Arbeit, nicht vollständig dequalifizierte, wenn man bei ihnen Kompetenzen voraussetzt, die sie nicht haben und auch nicht als notwendig für ihre Arbeit ansehen.
    Zumal auch nicht klar ist, wo Bibliothekarinnen und Bibliothekare eigentlich Informationskompetenz für die aktuellen Medien erlernen sollten, wenn sie es nicht in der Ausbildung gelernt haben. Die Fortbildungssituation ist nun mal nicht die beste.
  3. Die Vorstellung, dass Bibliotheken die perfekten Orte zur Vermittlung von Informationskompetenz darstellen, scheint oft den Blick darauf zu verstellen, dass sie beileibe nicht die einzigen Orte darstellen, an denen eine solche Vermittlung stattfinden kann. Führt solch eine Einstellung nicht dazu, andere Lernorte gering zu schätzen und deshalb Zusammenarbeiten (direkt oder indirekt) gar nichts anzudenken? Blickt man darauf, mit wem Öffentliche Bibliotheken im Bildungsbereich zusammenarbeiten, ist offensichtlich, dass es sich fast immer um Schulen handelt. Und denen werden nahezu immer dieselben Angebote gemacht: Lesekisten und Führungen für Schulklassen, mal verbunden mit Rechercheprojekten in der Bibliothek, mal ohne. Teilweise gibt es zusätzlich Vorlesewettbewerbe oder Vorlesestunden für Kinder. Und eventuell gestaltet sich, angeregt durch das Konzept „Spiralcurriculum“, in den letzten Jahren die Zusammenarbeit mit Schulen sogar kontinuierlicher, als zuvor.
    Dennoch sind bei allen diesen Angeboten zwei Dinge auffällig. Erstens scheint immer die Bibliothek für Informationskompetenz und Leseförderung zuständig, zumindest in der Theorie. Was ist dann aber die Aufgabe der Schulen? Ist das schon eine Zusammenarbeit, wenn sie die Kinder und Jugendlichen vorbei bringen? Zweitens fallen die anderen Lernorte in diesen Konzeptionen fort. Dabei lernen heute alle Menschen in einem Lernnetzwerk, dass sich individuell zusammensetzt und in dem unterschiedliche Lernort individuell bewertet und genutzt werden.
    Ich bin mir sicher, dass eine Evaluation von Bildungswirkungen schon durch rein deskriptiv verwendete Interviews mit Nutzerinnen und Nutzern zeigen würden, dass Bibliotheken weder primär als Lernorte für Informationskompetenz wahrgenommen werden, noch dass sich die genutzten Lernorte auf Schule und Bibliothek beschränken.

Normativ
Solche Zitate, wie das oben wiedergegebene, lassen sich dennoch zahlreich finden. Doch jedesmal frage ich mich, wieso eigentlich? Haben Bibliothekarinnen und Bibliothekare es nötig, sich ständig gegenseitig zu versichern, dass ihr Arbeitsbereich wichtig ist? Kann man nicht einfach die Realität klarer wahrnehmen: Einerseits Bibliothekarinnen und Bibliothekare, die gerne eine Einrichtung für Informationsvermittlung hätten, anderseits solche, die andere Funktionen von Bibliotheken betont sehen wollen. Eine Öffentlichkeit, von der man nicht so genau weiß, was sie eigentlich von Bibliotheken hält. Und eine alltägliche Praxis, bei der nicht so recht klar ist, ob Informationskompetenz überhaupt nötig ist oder ob nicht doch die Beherrschung des hauseigenen OPACs vollständig ausreicht, um die gestellten Informationsbedürfnisse zu befriedigen.
Sicher, Informationskompetenz heißt auch, den Nutzerinnen und Nutzern zu zeigen, dass ihr Informationsbedarf vielleicht ein anderer ist, als sie selber annehmen. Das hieße, sie über den OPAC hinaus auf andere Informationvermittlungssysteme zu verweisen. Aber ist das tatsächlich die Arbeit, die in Öffentlichen Bibliotheken geleistet wird? Vielleicht ja, es gibt dazu keine Daten. Aber wenn beispielsweise in Berlin Bibliotheken primär nach den Ausleihzahlen bewertet werden, wäre ein solches Vorgehen vollkommen widersinnig. Erstens leihen informationskompetente Nutzerinnen und Nutzer vielleicht gar nicht mehr so viel aus, wie zuvor. Und zweitens tun sie das vielleicht noch in gänzlich anderen Bibliotheken, die ihren speziellen Informationsbedarf besser bedienen. Damit würde die Informationskompetenzvermittlung nur einen zeitaufwändig erreichten Verlust für die jeweilige Bibliothek bedeuten.
Wenn, dann sollte man die im obigen Zitat steckende Vorstellung als Wunsch ernst nehmen, wie in Bibliotheken gearbeitet werden sollte. Dann kann man darauf auch zuarbeiten, der Öffentlichkeit klarmachen, dass solche Arbeit gemacht werden und unterstützt werden muss. (Beispielsweise müsste sie in Bibliotheksbewertungen einfließen.)

Schülerführung / Schülerprojekte
Abgesehen davon liefert die zitierte Arbeit übrigens eine wichtige Differenzierung zwischen „klassischer Schülerführung“, in denen es vorrangig um die Vermittlung von Bibliothekskompetenz geht und „Schülerprojekten“, welche an der Vermittlung von Informationskompetenz orientiert sind. Diese Unterteilung mag auf den erste Blick banal sein, bieten meines Erachtens aber eine Möglichkeit Lehrprojekte in Öffentlichen Bibliotheken besser und gerechter zu bewerten.
Der Widerspruch ist schließlich offensichtlich zwischen den Selbstdarstellungen von Bibliotheken, die sich die Vermittlung von Informationskompetenz zuschreiben, in deren Klassenführungen dann aber vor allem die Anmeldeformalitäten der jeweiligen Bibliothek und die Funktion des OPACs erklärt wird. Mit einer Differenzierung der Projekte in „klassische Schülerführung“ und „Schülerprojekt“ lässt sich dieser Widerspruch gut erklären. Hinter ihnen stehen zwei unterschiedliche Ziele: die Gewinnung neuer Bibliothekskundinnen und -kunden in den klassischen Führungen, die Informationskompetenzvermittlung bei den Schülerprojekten. Letztere mögen gesellschaftlich relevanter sein (schließlich werden mit Informationskompetenz neben positiven Arbeitsmarkteffekten auch positive Auswirkungen für die gesellschaftliche und politische Teilhabe der Individuen verbunden). Aber von der aktueller Bewertung der Bibliotheken durch die meisten Träger her gesehen sind klassische Führungen produktiver. Die erzeugen immerhin zählbare Zuwächse an Nutzerinnen und Nutzern, zumindest formal.

Thesen zur realistischen Evaluation

Sigmar-Olaf Tergau stellt in seinem Artikel „Realistische Qualitätsevaluation von E-Learning“ (In: Meister, Dorothee M. ; Tergau, Sigmar-Olaf ; Zentel, Peter [Hrsg.] / Evaluation von E-Learning : Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven. – Münster ; New York ; München ; Berlin : Waxmann, 2004. – [Medien in der Wissenschaft ; 25]. – Seite 131-154) 10 Thesen zu „realistischen Evaluationen“ vor. Diese beziehen sich zwar auf E-Learning, vorrangig im akademischen Rahmen, lassen sich allerdings meines Erachtens gut verallgemeinern und zumindest als eine Grundlage für die Evaluation von Bildungseffekten Öffentlicher Bibliotheken verwenden. Vor allem betonen sie die Grenzen und Möglichkeiten von Evaluationen.

  • These 1: Realistische Evaluation heißt, sich der Anforderungen und Rahmenbedingungen bewusst zu sein, unter denen Evaluation durchgeführt wird
  • These 2: Realistische Evaluation heißt, ein adäquates Verständnis von Evaluation zu Grunde zu legen
  • These 3: Realistische Evaluation heißt, ein den Anforderungen entsprechendes Verständnis von Qualität zu Grunde zu legen
  • These 4: Realistische Evaluation heißt, einen den Anforderungen angemessenen Evaluationsansatz zu wählen
  • These 5: Realistische Evaluation heißt, sich der Stärken und Schwächen der eingesetzten Evaluationsmethoden bewusst zu sein
  • These 6: Realistische Evaluation heißt, Wechselwirkungen von Lernvoraussetzungen und Merkmalen des Lernangebots stärker zu berücksichtigen
  • These 7: Realistische Evaluation heißt, die Bedeutung der Lernaktivitäten in den Vordergrund zu rücken
  • These 8: Realistische Evaluation heißt, die Rahmenbedingungen einer Anwendungssituation in die Evaluation einzubeziehen
  • These 9: Realistische Evaluation heißt, die tatsächlich bedeutsamen (lernrelevanten) Bedingungen zu fokussieren
  • These 10: Realistische Evaluation heißt, die Ergebnisse von Evaluation kritisch zu hinterfragen

Reinhard Stockmann (Wirkungsorientierte Programmevaluation : Konzepte und Methode für die Evaluation von E-Learning. – ebenda, Seite 23-42) weißt im selben Sammelwerk darauf hin, dass Evaluation mehrere Aufgaben übernehmen kann:

  • Gewinnung von Erkenntnissen
  • Ausübung von Kontrolle
  • Schaffung von Transparenz für eine Dialog um die evaluierten Projekte
  • Dokumentation des Erfolgs (Legitimation)

Er und andere Autoren des Bandes betonen aber auch, dass Evaluationen gerne als reines Marketinginstrument verstanden werden. Dabei fallen dann zwei wichtige Funktionen von Evaluation fort: einmal zur Verbesserungen der evaluierten Projekte beizutragen und zweitens realistische Erkenntnisse über Wirkungen und Projektverläufe zu gewinnen.
Bei den wenigen im Bereich Öffentlicher Bibliotheken vorliegenden (d.h. dokumentierten) Evaluationen ist das, denke ich, ein wichtiger Hinweis. Zumeist werden sie ja als Argumentationshilfen für Bibliotheken gegenüber den Trägern angepriesen (was ja leider verständliche Hintergründe hat). Aber das Evaluationen verwendet werden, um über die Wirkung von Projekten zu reflektieren? Selten, oder?