De maatschappelijke waarde van de openbare bibliotheek: Meten is zweten

Zo presenteert zich de openbare bibliotheek thans als de instelling die zowel in passieve als in actieve zin voor ieder bestemd is en ieder in de gelegenheid wil stellen kennis te nemen van al hetgeen in gepubliceerde vorm ter kennisneming voor studie- en informatiedoeleinden beschikbaar is, dan wel een bijdrage levert tot ontwikkeling, vorming, ontspanning en estetische beleving.¹

Dit schreef Wim de la Court, Hans van Velzens voorganger als directeur van de Openbare Bibliotheek Amsterdam, in 1970. In één zucht benoemde hij de kernfuncties van het openbaar bibliotheekwerk: informatie, ontwikkeling/vorming, ontspanning, esthetiek. Vijfendertig jaar later werden de functies in (toen nog) eendrachtige samenwerking tussen de Vereniging van Openbare Bibliotheken en de gemeentekoepel VNG geherformuleerd en uitgebreid: kennis & informatie, ontwikkeling & educatie, kunst & cultuur, lezen & literatuur en (met stip nieuw op 5) ontmoeting & debat.

Ontspanning is onder lezen geschaard om de indruk te vermijden dat ook Thaise massage en het organiseren van puzzelritten onderdeel van de bibliothecaire dienstverlening zouden moeten zijn. De vijf kernfuncties staan in het wetsvoorstel Wet Stelsel Openbare Bibliotheekvoorzieningen dat onlangs de Tweede Kamer passeerde (130 stemmen voor, 20 tegen) en dit najaar in de Eerste Kamer ter stemming zal worden gebracht.

Kernfuncties

Een opsomming van kernfuncties is geen vrijblijvendheid. Wellicht was het ten tijde van De la Court vooral bedoeld als richtsnoer voor de enorme uitbouw van het stelsel van openbare bibliotheken die er aan zat te komen. De Wet op het Openbaar Bibliotheekwerk die van 1975 tot 1987 van kracht zou zijn, betekende een krachtige impuls voor deze ‘educatieve, informatieve en sociaal-culturele voorzieningen’. Toen in de decennia daarna de afrekencultuur van het new public management de bestuurders(boven)kamers binnentrad, werden de kernfuncties tot maatstaven.
Meteen na zijn aantreden als directeur van de OBA in 1988 kreeg Hans van Velzen hier indirect mee te maken. De Raad van Advies voor Bibliotheekwezen en Informatieverzorging (RABIN) liet uitzoeken hoe vraag en aanbod in de bibliotheek zich tot elkaar verhielden. Dit geschiedde aan de hand van de uitgaven aan de vier functies recreatie, educatie, informatie en cultuur.²
De OBA had het geluk dat het moeten toerekenen van uitgaven aan functies aan haar voorbij ging (de buren in Abcoude waren minder fortuinlijk). De conclusie luidde destijds dat de uitgaven van de onderzochte bibliotheken in lijn waren met wat gebruikers van de bibliotheek wensten en verwachtten.

Meten maatschappelijke waarde: outputs en outcomes

Dit onderzoek is achteraf gezien de opmaat geweest voor meer studies die poogden de maatschappelijke waarde van de openbare bibliotheken in kaart te brengen. Wordt ons belastinggeld wel goed besteed? Is er, zoals de Amerikanen het prozaïsch uitdrukken, wel voldoende bang for the buck?
Toen ik in 2005 aantrad als bijzonder hoogleraar bibliotheekwetenschap aan de Universiteit van Amsterdam merkte ik al snel dat dit vraagstuk een van de prangendste was waar men in de sector een antwoord op zocht. Ik realiseerde me ook dat het bepaald geen eenvoudige klus was om dit met de degelijkheid die van de wetenschap wordt verwacht vast te stellen. Natuurlijk waren er de landelijke statistieken, maar die belichtten wel de outputs doch nauwelijks de outcomes van het openbaar bibliotheekwerk.

De outputs van de bibliotheek zijn goed te tellen: aangeschafte materialen, uitleningen, bezoeken, informatievragen. Maar om de outcomes is het beleidsmakers en bestuurders eigenlijk te doen: wat die uitleningen en bezoeken nu feitelijk voor verschil maken voor individu en samenleving. Nemen kennis, vermaak, sociale verbondenheid en culturele vorming merkbaar toe dankzij de diensten van de openbare bibliotheken? In mijn inaugurele rede stelde ik daarom voor met de branche te gaan werken aan prestatie-indicatoren die van outputs naar outcomes zouden evolueren.³ In de vakliteratuur werd die overgang namelijk wel genoemd als de volgende te zetten stap. In de praktijk kwam er van die stap nog niet heel veel terecht. Begrijpelijk, want het in cijfers vangen van Verlichtingsidealen als ‘cognitieve ontwikkeling’, ‘oordeelsvermogen’, ‘wederzijds begrip’ en ‘culturele competentie’ is geen sinecure. Zulks meten is zweten.

Bibliotheekstatistieken en standaarden

De ontwikkeling van internationale standaarden voor bibliotheekstatistieken biedt een goede illustratie van de af te leggen route. Veertig jaar geleden zag de eerste ISO-standaard voor bibliotheekstatistieken, nummer 2789, het licht. Die standaard was feitelijk niet meer dan een oproep aan bibliothecarissen om de eenvoudig te tellen aspecten van het bibliotheekwerk (collecties, personeel, uitleningen en dergelijke) op dezelfde manier te tellen. Alleen dan had het vergelijken van cijfers – benchmarking – zin.
Vervolgens duurde het een kwart eeuw tot in 1998 een nieuwe standaard het levenslicht zag. Het betrof nummer 11620, die de nog weinig zeggende tellingen uit de eerdere standaard aanvulde met prestatie-indicatoren.⁴ Dat waren maten waar het bibliotheekmanagement de eigen interne processen mee kon verbeteren.

Nadat die laatste ISO-standaard tien jaar later in een fris jasje was gestoken, kon het werk beginnen aan een nieuwe. Deze ISO 16439 is getiteld Methoden en procedures voor het vaststellen van de impact van bibliotheken. De stap die hiermee moet worden gezet is die van bibliotheekinterne kwaliteitsmaatstaven naar het zichtbaar maken van de maatschappelijke relevantie van bibliotheken.
De weerbarstigheid van deze materie moge blijken uit het gegeven dat na enkele jaren werk de commissie niet veel verder is gekomen dan het ondankbare maar o zo noodzakelijke voorwerk. De eerste taak: het scheppen van begripsmatige helderheid omtrent bijna-synoniemen als impact, value, benefit en outcome, en het inventariseren van mogelijke methoden waarmee deze gemeten kunnen worden.⁵ Aan het moeilijkste werk, het afbakenen van wat er moet worden gemeten en hoe, en dat voor verschillende typen bibliotheken, moet eigenlijk nog geschieden, want de ISO-standaard gaat er niet op in.

Opbrengsten en kwaliteitsmeting

Terwijl wetenschappers en statistici zich buigen over definities en meetprotocollen staat de wereld niet stil. De recessie die volgde op de geklapte hypothekenzeepbel had ingrijpende gevolgen voor de bibliotheeksubsidies. Onder druk van dreigende subsidiekortingen werd de roep om instrumenten die de toegevoegde waarde van de openbare bibliotheek konden aantonen luider. Geen klimaat waarin je als onderzoeker gemoedelijk kunt doorwerken aan je meetinstrumentarium. De afgelopen jaren lieten een ware wildgroei zien aan pogingen om de bang for the buck te kwantificeren:

• Return On Investment-studies (ROI). Deze proberen de waarde van een maatschappelijke voorziening in geld uit te drukken. Die waarde leidt men af uit wat mensen bereid zouden zijn ervoor te betalen, uit wat het zou kosten om dezelfde diensten op de vrije markt in te kopen, en het indirecte economische rendement (de restaurants La Place en Va Piano in de OBA profiteren van de aanloop). Deze studies komen grosso modo uit op een ratio van rond de 1 op 4: voor elke in bibliotheken geïnvesteerde euro krijgt de samenleving er rond de vier terug in termen van maatschappelijk rendement.⁶
• De Social Return On Investment-benadering (SROI). Deze wijkt enigszins af van de ROI-benadering doordat ze de opbrengsten niet alleen in geld uitdrukt, maar deze definieert in samenspraak met stakeholders en financiers. Samen worden doelen vastgesteld (‘10% meer uitleningen dan vorig jaar’, ‘lidmaatschapspercentage onder bijstandsgerechtigden stijgt jaarlijks met 5%’) die richting geven aan het beleid in de nabije toekomst en zo de beoogde outcomes van de bibliotheek dichterbij brengen.
• Quality and performance assessment. Op het web zijn diverse aanbieders te vinden van webgebaseerde, gestandaardiseerde meetinstrumenten voor prestatiemeting en klanttevredenheid, zoals het Amerikaanse LibQual en het Canadese Counting Opinions. De IFLA Metropolitan Libraries Section, waarvan de OBA lid is, maakt gebruik van de diensten van laatstgenoemd bedrijf.
• Benchmarking. Het kunnen vergelijken van de eigen prestaties met die van anderen is een middel om de eigen sterke en zwakke punten te kunnen identificeren. De jaarlijkse BIS-meting van de openbare bibliotheken heeft een tijd lang als benchmarkinstrument gefunctioneerd. Het wachten is nu op het landelijke datawarehouse, dat diezelfde functie zal kunnen vervullen zodra de gegevens op een vergelijkbare wijze door de bibliotheken zijn aangeleverd. Goed voorbeeld is Duitsland met de Bibliotheksinformationsindex BIX. Bibliotheken kunnen zelf beslissen of zij zich aan de vergelijking met anderen willen blootstellen of niet.⁷

Minder direct gericht op de maatschappelijke waarde, maar zeker verwant, is de certificering door de Stichting Certificering Openbare Bibliotheken, die een op het INK-managementmodel gebaseerde checklist hanteert voor de interne organisatie en de externe resultaten.⁸ Het behalen van de certificering geldt binnen de branche en naar de subsidiegever toe als een kwaliteitskeurmerk.

Waar we staan

Aan pogingen om de kwaliteit, de performance en de maatschappelijke waarde van de bibliotheek te meten is anno 2014 bepaald geen gebrek. De vraag is wel wat er gewonnen is met dit toch ietwat onoverzichtelijke evaluatielandschap. Een landelijke, of liever nog internationale standaard zou de voorkeur moeten hebben boven een lokale. Ook zou een wetenschappelijk gevalideerd meetinstrument te verkiezen zijn boven instrumenten die een dergelijke toets niet hebben doorstaan.
Het initiatief dat het Sectorinstituut Openbare Bibliotheken is gestart om een wetenschappelijk gevalideerd instrument te ontwikkelen heeft internationaal de aandacht getrokken. Een literatuurinventarisatie heeft laten zien dat er op vijf gebieden outcomes zijn of althans verwacht worden: educatief, sociaal, cultureel, economisch en affectief. Hoewel al veel voorwerk is verricht, staan we pas aan het begin van het ontwikkelen en valideren van het instrumentarium dat deze vijf domeinen afdekt.⁹ Gevoed door een symposium met experts uit diverse landen, gaan de ideeën nu uit naar een combinatie van meetinstrumenten met een vaste kern en optionele modules die bibliotheken op lokaal niveau kunnen inzetten. Deze instrumenten geven, een beetje zoals in de SROI-benadering, directe feedback die de bibliotheken kunnen gebruiken om hun diensten direct te verbeteren. Het vergaren van lokale metingen moet het SIOB anderzijds de mogelijkheid geven om op landelijk niveau uitspraken te doen over de maatschappelijke waarde van het stelsel van openbare bibliotheken als geheel.

Functies, outcomes en voortbestaan

Het meten van bibliotheekprestaties staat zonder twijfel mijlenver af van de geest waarin de oprichters van de Openbare Bibliotheek Amsterdam in de jaren van de Eerste Wereldoorlog moesten ploeteren om aan de Keizersgracht eerst maar eens een openbare bibliotheek in het leven te roepen.¹⁰

Filiaalhoofden OBA in 1988; voorste rij 2e van rechts Wim de la Court

In de hoogtijdagen onder Wim de la Court en het eerste decennium van Hans van Velzen was het benoemen van kernfuncties, achteraf gezien, het onder woorden brengen van een status quo waarvan men toentertijd vermoedde dat die onveranderd zou voortduren. Inmiddels weten we beter. Teruglopende landelijke uitleencijfers als gevolg van veranderende tijdsbestedingspatronen en de opkomst van wereldwijd web, sociale media en mobiele apparatuur maken dat de vraag zelfs wordt gesteld hoe toekomstbestendig de openbare bibliotheek eigenlijk is.¹¹ Tegelijkertijd is er onder de bevolking een breed gedragen steun voor de openbare bibliotheek. Die steekt bijna altijd de kop op wanneer er ergens in wijk of dorp een vestiging op de nominatie staat om te verdwijnen. Ook in de landelijke politiek staat Kamerbreed het voortbestaan van de openbare bibliotheek eigenlijk niet ter discussie. De tegenstemmers in de Tweede Kamer waren niet tegen de bibliotheken maar tegen de in hun ogen ontoereikende wet.

Het is op het gemeentelijke niveau, daar waar de eindjes aan elkaar geknoopt moeten worden, dat college en raad de subsidie aan de bibliotheek moeten afwegen tegen die aan andere voorzieningen: zwembaden, sportvelden, theaters, wijkcentra, speeltuinen. Zonder aan het belang van die andere voorzieningen iets af te willen doen: het moge duidelijk zijn dat in een samenleving waarin het belang van informatie en bijgevolg de vaardigheid in het omgaan ermee nog altijd groeit, het belang van een openbare bibliotheek niet moet worden onderschat.
Het meetbaar maken van de maatschappelijke waarde van het openbaar bibliotheekwerk is een tweesnijdend zwaard. Het laat aan subsidiegevers en belastingbetalers zien wat zij voor het geïnvesteerde geld terug krijgen. En het laat aan de bibliotheekmedewerkers zien wat het belang van hun werk is, maar ook wat zij kunnen en moeten doen om de informatievoorziening, ontwikkeling en vorming, ontspanning en esthetische beleving van burgers op een (nog) hoger plan te brengen. Dat zal voor een belangrijk deel met nieuwe vormen van dienstverlening moeten geschieden. Denk aan een sterkere nadruk op digitale diensten, meer context bieden, sterkere participatie van de gebruikers – zomaar wat steekwoorden die in het rapport-Cohen te lezen zijn.¹²
Ook het meetinstrumentarium zal moeten meebewegen. Zoals het woordje ‘thans’ in het openingscitaat van De la Court subtiel onderstreepte: het is nooit helemaal af.

Noten

Bovenstaande tekst is een licht geactualiseerde versie van mijn gelijknamige essay dat is opgenomen (pp. 132-139) in de bundel Bibliotheek 7.7 (red. Inge van Asperen, Marian Koren, Rob Pronk en Evert Slot, 2014) voor Hans van Velzen, hem aangeboden bij zijn afscheid als directeur van de Openbare Bibliotheek Amsterdam op 7 juli 2014 in het Theater van het Woord, hoofdvestiging OBA op het Oosterdokseiland, Amsterdam. Actualiseringen hebben betrekking op het aannemen van de Wet Stelsel Openbare Bibliotheekvoorzieningen door de Tweede Kamer op 10 juni 2014, het publiceren van de ISO-standaard 16439 op de website van ISO, en het aannemen van de nieuwe certificeringsnorm in juni 2014.

1. W. de la Court (1970). Openbare bibliotheken en cultuur. In W. de la Court, Th.P. Loosjes, G.A. van Riemsdijk en J. Stellingwerff (red.), Nederlandse Bibliotheekproblemen (pp. 45-60; citaat p. 49). Amsterdam: NVB/Buijten & Schipperheijn.
2. R. Onverzaagt en P.H.J. Vrancken (Instituut voor Onderzoek van Overheidsuitgaven) (1989). Bibliotheekfuncties gemeten. Een analyse van vraag en aanbod van openbare bibliotheken. Den Haag: RABIN.
3. Frank Huysmans (2006). ISO 2789 and ISO 11620: Short Presentation of Standards as Reference Documents in an Assessment Process. LIBER Quarterly, 17 (3/4).
4. Roswitha Poll (2012). Can we quantify the library’s influence? Creating an ISO standard for impact assessment. Performance Measurement and Metrics, 13 (2), 121-130. (DOI 10.1108/14678041211241332); ISO (2014), Draft International Standard 16439: Methods and procedures for assessing the impact of libraries. Geneva: ISO.
5. Susan Imholz & Jennifer Weil Arns (2007). Worth Their Weight. An Assessment of the Evolving Field of Library Valuation. New York: Americans for Libraries Council; Svanhild Aabo (2009). Libraries and Return on Investment: A Meta-Analysis. New Library World, 110 (7/8), 311-324 (DOI 10.1108/03074800910975142); Jennifer Weil Arns, Robert Williams & Karen Miller (2013). Valuing Public Libraries: Promises and Prospects. A Review of the Literature and Meta-Analysis (META). University of South Carolina: School of Library and Information Science.
6. //www.bix-bibliotheksindex.de, laatstelijk geraadpleegd 10 juli 2014.
7. //www.bibliotheekcertificaat.nl/upload/documenten/agendapunt-3.2-zichtbare-waarde-bijlage-1-.pdf, geraadpleegd 10 juli 2014.
8. Frank Huysmans en Marjolein Oomes (2013). Measuring the public library’s societal value: A methodological research program. IFLA Journal, 39 (2), 168-177 (DOI 10.1177/0340035213486412); Pertti Vakkari, Svanhild Aabo, Ragnar Audunson, Frank Huysmans en Marjolein Oomes, Perceived outcomes of public libraries in Finland, Norway and the Netherlands, Journal of Documentation, 70 (5), 927-944.
9. René Zwaap (1994). Een nobel bedrijf. Vijfenzeventig jaar Openbare Bibliotheek Amsterdam 1919-1994. Amsterdam: Openbare Bibliotheek Amsterdam.
10. Frank Huysmans en Carlien Hillebrink (2008). De openbare bibliotheek tien jaar van nu. Den Haag: Sociaal en Cultureel Planbureau.
11. Job Cohen et al. (2014). Bibliotheek van de toekomst: Knooppunt voor kennis, contact en cultuur. Den Haag: Sectorinstituut Openbare Bibliotheken.

De maatschappelijke waarde van de openbare bibliotheek: Meten is zweten by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 10 juli 2014 | Posted in beleid, essay, onderzoek, vakpublicaties | Tagged evaluatieonderzoek, impact, kernfuncties, maatschappelijke meerwaarde, openbare bibliotheken, return on investment, social return on investment | 1 reactie

Altmetrics: het meten van impact op/met het sociale web

Iedereen heeft het tegenwoordig over altmetrics. Maar wat zijn het en waarom zijn ze er gekomen? En lossen ze hun belofte wel in, of maken ze de problemen die ze moesten oplossen alleen maar groter?

http://altmetric.com

Waarom altmetrics?

Op 26 oktober 2010 wordt een manifest gepubliceerd op de site altmetrics.org. Vier relatief jonge wetenschappers, onder wie Paul Groth van de Vrije Universiteit, roepen anderen ertoe op in een gezamenlijk proces te werken aan nieuwe maten die wetenschappers kunnen helpen het kaf van het koren te scheiden. De bestaande maten, de Journal Impact Factor (JIF) voorop, zijn onzuiver en te eenzijdig gericht op wetenschappelijke impact. Het sociale web maakt dat kopieën-voor-eigen-gebruik van wetenschappelijke artikelen niet langer stof vergaren in een kast, maar op sociale platforms als Mendeley en Zotero aan een tweede leven beginnen. Zulke platforms helpen onderzoekers met het vinden van andere voor hen relevante literatuur. Als voldoende wetenschappers in je eigen veld meedoen, ontstaan recommender-achtige mogelijkheden: ‘anderen die paper X uploadden, deden dat ook met papers Y en Z’. Er valt wat voor te zeggen om ook het delen van papers op zulke platforms als een vorm van impact te zien. En die als zodanig te gaan meten in aanvulling op citatiescores. Net als het aantal attenderingen dat wetenschappers afgeven op sociale media als Twitter, Google+ en Facebook.

Wat is er mis met de impact factor?

Het ontstaan van altmetrics kan niet los worden gezien van de groeiende ontevredenheid met de Journal Impact Factor (JIF). Deze JIF is de afgelopen decennia verworden tot de maat aller dingen in veel takken van wetenschap. Reputaties van individuele onderzoekers, onderzoeksgroepen en hele faculteiten en universiteiten worden eraan afgemeten. Dat slaat nergens op, wordt al jaren betoogd, recent ook steeds vaker door hoofdredacteuren van de tijdschriften zelf. Op 17 mei jongstleden werd de San Francisco Declaration on Research Assessment (DORA) gepubliceerd, ondersteund door onder anderen de hoofdredacteur van Science. Deze verklaring roept op tot het loslaten van de impact factor als wetenschappelijke maat aller dingen. Waarom?

Door puur en alleen citaties te tellen, krijg je geen volledig beeld van de weg die een publicatie in een wetenschapsgebied aflegt.

De JIF is geïntroduceerd als een maat voor de wetenschappelijke impact van een tijdschrift. Het is een breuk met in de teller het aantal citaties dat artikelen in een jaargang van het tijdschrift hebben gescoord in de twee jaargangen daarna – in hetzelfde, of in andere tijdschriften. In de noemer staat het aantal artikelen dat in de jaargang zelf is gepubliceerd. Hoe hoger het gemiddelde aantal citaties in een tijdschrift, hoe hoger de impact en hoe beter het tijdschrift, is de redenering. Met als zelfversterkend effect dat de ‘betere’ wetenschappers in de betere tijdschriften zullen willen publiceren, waardoor het tijdschrift meer citaties zal blijven scoren dan andere.

Rammelende validiteit

De bezwaren tegen de JIF richten zich op de validiteit van de maat zelf en op hoe de JIF in het wetenschappelijke bedrijf wordt geïnterpreteerd en gewaardeerd. Over de maat zelf vallen diverse kritiekpunten te horen.

http://www.swets.com/

Oneigenlijk gebruik

Over de interpretatie en waardering van de JIF is de kritiek evenmin mals. De JIF is een maat voor de impact van tijdschriften maar wordt in het wetenschappelijk bedrijf ook gebruikt voor de waardering van individuele artikelen en auteurs, en speelt een rol in het aanstellings- en afvloeiingsbeleid van universiteiten en onderzoeksinstituten. Als zodanig ontmoedigt hij vernieuwend werk omdat dat veel investeringen in tijd en faciliteiten vraagt. Daarentegen moedigt hij het veilig volgen van gebaande paden aan. Ook nodigt de JIF uit tot strategisch citeergedrag. Auteurs verwijzen onnodig naar eigen werk, dat van naaste collega’s (‘citatiekartels’) en de editors van het tijdschrift. Editors dringen er soms bij auteurs op aan om bij herziening van hun manuscripten ook verwijzingen naar eerdere artikelen in het eigen tijdschrift toe te voegen. En in hun editorials citeren ze eveneens die ‘eigen’ artikelen, zodat de JIF stijgt. Sommige editors maken hiervan gebruik en andere niet, wat de vergelijking scheef maakt.
Verder is de JIF minder goed bruikbaar in wetenschapsgebieden, met name in de geestes- en sociale wetenschappen, waar boeken minstens even belangrijke publicatiekanalen zijn. Toch worden auteurs ook daar vaak afgerekend op wat zij in tijdschriften hebben gepubliceerd en hoe zij daarin worden geciteerd. Bovendien verschillen de publicatieculturen en dus de JIFs tussen subdisciplines van één tak van wetenschap. Dit ten nadele van jonge onderzoekers die toevallig in de ‘verkeerde’ discipline hun carrière begonnen zijn.
Met name in de exacte wetenschappen gaan onderzoekers steeds vaker over tot ‘pre-publicatie’ op platforms als Arxiv.org van Cornell University Library. In competitieve gebieden is het belangrijk om de eerste groep te zijn die met een opvallend resultaat naar buiten komt. De lange weg die een manuscript heeft te gaan van indienen tot publicatie is dan een hindernis. Eenmaal op Arxiv gepubliceerd heeft het stuk al impact lang vóór het in een (al dan niet hoog gerankt) tijdschrift staat. De JIF staat erbij en kijkt ernaar. En tot slot: de JIF geeft nagenoeg geen zicht op de maatschappelijke impact van wetenschappelijk werk. In de medische wetenschap bijvoorbeeld is verspreiding van veelbelovende resultaten van nieuwe medicijnen en therapieën van groot belang. Ook al citeren artsen en verpleegkundigen die artikelen niet, de impact kan in termen van geredde of verlengde mensenlevens groot zijn.

Ook altmetrics zijn kwantitatieve maten. Doordat die in afzonderlijke dimensies worden weergegeven, krijg je toch meer zicht op kwalitatieve aspecten.

Aan een deel van deze bezwaren is Thomson Reuters tegemoetgekomen. Zo zijn er inmiddels meerdere JIFs beschikbaar, ook met een langere citeertermijn dan twee jaar. Er zijn ook gezuiverde versies waaruit zelfcitaten van auteurs en editors zijn verwijderd. Daarmee staan de grootste bezwaren nog overeind.

Wat betekent ‘altmetrics’?

Met altmetrics wordt gepoogd daar wat aan te doen. De naam wordt op twee manieren uitgelegd. Als alternative metrics, waarin het zich afzetten tegen de JIF en de verruiming van perspectief tot uitdrukking komen. En als article-level metrics, maten die de impact van de wetenschappelijke bijdrage zélf uitdrukken, niet die van het publicatiekanaal waarin ze zijn verschenen. Ze moeten worden gezien als aanvulling op en correctie van citatiescores als de JIF en het aantal views en downloads zoals die door tijdschriftuitgevers als indicatoren voor impact al worden geopenbaard.

Hoe worden altmetrics berekend?

Het concept ‘altmetrics’ bestaat nog maar kort. Er is dan ook nog geen vaststaande set van maten en waarschijnlijk komt die er ook nooit. Al was het maar omdat sociale platforms verschijnen en verdwijnen ten gunste van nieuwe, nog betere. En omdat het ontwikkelen van nieuwe maten niet wordt gestuurd maar een open proces is, waardoor er steeds betere en verfijndere kunnen komen. Op de altmetrics-website kan worden doorgeklikt naar een reeks tools waarin de momenteel meest gangbare maten zijn opgenomen:

• Aantal uploads van het artikel in webgebaseerde reference managers als Mendeley, Zotero en CiteULike;
• Aantal vermeldingen van het artikel in wetenschappelijke blogposts;
• Aantal vermeldingen van het artikel in berichten op nieuwssites;
• Aantal verwijzingen naar het artikel op sociale netwerken als Twitter, Google+ en Facebook, gewogen naar maximum aantal daarmee bereikte volgers.

Hoe de maten worden berekend, wordt in redelijk detail uit de doeken gedaan op de site van het open access publicatieplatform PLoSONE. De editors, onder wie een van de manifest-auteurs Cameron Neylon, benadrukken dat de maten nog verre van perfect en compleet zijn. Voor het kunnen tellen van vermeldingen op sociale media en in blogs is men afhankelijk van de API’s van de betreffende platforms of van aggregatoren (bij wetenschappelijke blogs). Werk in uitvoering dus. Maar zolang iedereen zich daarvan bewust blijft, is de kans op misinterpretaties à la de JIF niet zo groot. Omdat alles in de openbaarheid gebeurt, zijn attenderingen op fouten een kwestie van korte tijd.

Kwantiteit en kwaliteit

http://blogs.ntu.edu.sg

Het panacee?

Altmetrics zijn een goede aanvulling op citatiescores en downloadcijfers met hun beperkte zeggingskracht. Als wetenschap vervlochten raakt met het wereldwijde web is het ook goed dat de verspreiding op het web zelf beter in kaart wordt gebracht. Zijn de nieuwe maten daarmee het panacee voor alle problemen die met de JIF in verband zijn gebracht?

Net als bij de JIF verschillen wetenschapsgebieden en subdisciplines daarbinnen in publicatiecultuur en dat zal op het web niet anders zijn. Het citeren van andere soorten publicaties dan artikelen, zoals datasets en discussiestukken op blogposts, varieert zeker naar wetenschapsgebied. De hoogte van altmetrics vergelijken tussen die gebieden heeft dan ook even weinig zin, maar precies dat benadrukken de voorstanders zelf. Hun gaat het om het meer kwalitatief in de breedte kunnen inschatten hoe onderzoek is ‘geland’.

Zoals alle tellingen zijn ook deze gevoelig voor manipulatie. Een duizendtal likes op Facebook of mentions op Twitter is immers zo gekocht. Dit argument kan ook positief worden uitgelegd: juist omdat manipulatie mogelijk is, moet er aan de precieze hoogte van de maten weinig waarde worden gehecht – zoals dat bij de JIF eigenlijk ook had moeten gebeuren. Pessimistische waarnemers zien in dat laatste weer reden om te vrezen dat dezelfde misinterpretaties ook bij altmetrics hun lelijke kop zullen opsteken.

De praktijk zal de toegevoegde waarde van altmetrics aan het licht moeten brengen. Eerste evaluatiestudies zijn inmiddels verschenen die de traditionele en de alternatieve maten vergelijken (zie bijvoorbeeld hier en hier). Een correctie van de eenzijdige nadruk op publicaties in tijdschriften (ten koste van boeken en andere kanalen, zoals blogposts) en op de wetenschappelijke impact (ten koste van de praktische/maatschappelijke) was hoe dan ook wenselijk. Tel daarbij op dat open publicatieplatforms als PLoS ONE inmiddels hogere JIFs behalen dan veel traditionele tijdschriften, dan dringt zich het vermoeden op dat altmetrics onderdeel zijn van een veel bredere transformatie. Wetenschap wordt opener en meer webgebaseerd. Altmetrics geven precies aan die verandering uitdrukking.

Dit artikel verscheen in Informatieprofessional, jrg. 17, nr. 5, pp. 19-22.

Altmetrics: het meten van impact op/met het sociale web by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 12 juni 2013 | Posted in beleid, onderzoek, vakpublicaties | Tagged altmetrics, impact, journal impact factor, open access, open data, research assessment | Reactie