Laws of impact evaluation

Sharon Markless und David Streatfield legten in ihrem Buch „Evaluating the impact of your library“ (Markless, Sharon ; Streatfield, David (2006) / Evaluating the impact of your library. London : Facet Publishing, 2006) einen klar und einfach geschriebenen Leitfaden vor, mit dem Bibliotheken eine umfangreiche Messung ihres Einflusses durchführen können. Das Buch ist auf die Praxis hin geschrieben, hier und da geht es schon in Richtung Marketing, obwohl gerade vor einem solchen Ansatz gewarnt wird. Evaluation ist für Markless/Streatfield vorrangig ein Mittel, um sich der Qualitäten und Problem der eigenen bibliothekarischen Arbeit gewahr zu werden.

Evaluation of initiatives should help to show what is working more or less well, which elements in the programme need remedial attention or should be more widely adopted, and whether the initiative represents good value for money. If the ‚evaluation‘ assures the last point and concentrates on showing how everything in the garden is lovely, this ceases to be evaluation and is not a good foundation on which to build a convincing case for development. [13]

Sie stellen mehrere Methoden der Evaluation vor, welche sie für Bibliotheken angepasst beschreiben. Dabei verwerfen sie erst einmal die in Deutschland – aber nicht nur in Deutschland – üblichen Kennziffern von Biblioteken als für die Bestimmung von „impact“ kaum nutzbar. Stattdessen plädieren sie für die Neuformulierung von Faktoren für jede einzelne Bibliothek. (Nicht kontextlos, die Erfahrungen anderer Bibliotheken und der empirischen Sozialwissenschaft sollen beachtet werden. Es geht um die passgerechte Formulierung für die jeweils spezifischen Services im jeweils spezifischen Umfeld.)
Den Rahmen ihres Buches bilden zwölf „Laws of impact evaluation“, die so spezifisch ausgearbeit sind, dass sie für Öffentliche Bibliotheken kaum besser formuliert werden könnten.

Laws of impact evaluation

  1. Effective impact evaluation requires clear and consistent use of terms. [23]
  2. If we are to focus on impact we need to articulate precisely what we are trying to achieve rather than how we will get there. [62]
  3. If we don’t generate specific and time-limited objectives to help focus on impact, we will end up monitoring efficiency instead. [62]
  4. When you are thinking about what impact you would like to see, don’t inhibit yourself by worrying about how you will gather the evidence – yet. [63]
  5. Beware of formulating too many quantitative indicators. This can lead you to concentrate too headily on the statistical side of your impact – numbers never tell the whole story. [70]
  6. Be political if you are gathering information to convince other people. Give them what they want – until you have persuaded them that your evidence is more useful then what they are used to. [92]
  7. The care for impact evaluation is strongest in areas of service development, where time and resources are limited but real change can be demonstrated. [93]
  8. Questionnaire surveys are ideal for projecting the compiler’s preconceptions and prejudices and having them confirmed by an invisible audience. They are also quite useful for collecting small amounts of information from a sample of respondents or all respondents within a target group. [105]
  9. Effective impact work is not about gathering lots of evidence. It is about focusing on real impact and about rigour in collecting, analysing and reporting data. [123]
  10. Beware of the Holy Grail! To gauge the impact of a service you need to know what change it is making, not what you hope it might do – evidence not aspirations! [129]
  11. If impact targets are not helping, change them or ditch them. [133]
  12. Benchmarking should be seen as the beginning of a journey of discovery – not as an end in itself. The aim should be to learn more about your service by comparing its impact with that of others – not to secure a place in a table of merit. [151]
Advertisements

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s