In het verleden ben ik wel eens minder enthousiast geweest over wat er op de IFLA-conferenties geboden werd, maar de editie dit jaar in Singapore barstte van de interessante sessies. Al meteen na de openingsceremonie ging het los met een sessie over e-metrics. Hoe meet je gebruik en impact van afzonderlijke wetenschappelijke artikelen, naast de meer algemene journal impact factor die de kwaliteit van het tijdschrift-als-publicatiekanaal pretendeert uit te drukken?
Usage factor naast de impact factor
Interessant was dat de sessie twee gezichtspunten op de problematiek verenigde. Vertegenwoordiger van het ‘traditionele’, bibliometrische perspectief was Peter T. Shepherd. Hij is directeur van COUNTER, een not-for-profit-organisatie die op onafhankelijke wijze probeert tot betrouwbare tellingen van het gebruik van wetenschappelijke tijdschriften op het web te komen: de usage factor.
Shepherd liet zien hoeveel tijd en zorgvuldigheid er gaat zitten in kwalitatief goede tellingen van bijvoorbeeld het aantal downloads van een wetenschappelijk artikel. Eerst moet je vaststellen welke versies van een artikel je gaat meetellen. COUNTER identificeert er zeven. Vijf daarvan worden meegeteld (voor de liefhebbers: Accepted Manuscript (AM), Proof (P), Version of Record (VoR), Corrected Version of Record (CVoR), Enhanced Version of Record (EVoR)). Dan zijn er nog twee die niet worden meegeteld (Author Version (AV) en het Submitted Manuscript Under Review (SMUR)). De ‘knip’ tussen meetellen of niet zit ‘m in het peer review filter gepasseerd zijn. Pas als de reviewers en de redactie hebben besloten tot publicatie, wordt er geteld.
Dan is er het probleem van de uitgeversplatforms en de repositories. Tellingen van de bezoeken aan repositories hebben laten zien dat 90 tot 99% van de bezoeken van robots afkomstig zijn. Het betreft dus geen raadplegingen door onderzoekers maar harvesting van (meta)data door aggregatoren. Ook dit probleem blijkt oplosbaar te zijn, zodat het volgens Peter Shepherd mogelijk is om tot een goed beeld te komen van hoe vaak een artikel geraadpleegd is, in een van de getelde versies, vanaf verschillende platforms.
Voorwaarde is wel dat degenen die de data aanleveren, dat doen volgens een vaste set van afspraken (protocol) zodat het resultaat COUNTER-compliant article-level usage statistics (jawel) zijn. Shepherd noemde er twee: PIRUS en IRUS.
Altmetrics
Een heel ander, maar wel gerelateerd perspectief werd geleverd door Jason Priem. Hij is een van de vier opstellers van het Altmetrics-manifest uit 2010 en promovendus in Library & Information Science aan de Universiteit van North Carolina in Chapel Hill. Hij kijkt als het ware vanuit de digitale toekomst terug naar de huidige, papier-gebaseerde praktijk van publiceren. Want laten we wel zijn: een e-tijdschrift is thans nog niet veel meer dan een p-tijdschrift in een digitaal jasje.
Bij web-native publiceren ligt het voor de hand dat verschillende onderdelen van het publicatieproces – Priem noemt archivering, registratie, verspreiding en certificering – op termijn niet langer gekoppeld zullen zijn. De verschillende fasen in het publicatie- en disseminatieproces zullen door verschillende spelers in de markt uitgevoerd kunnen worden. We zullen een Decoupled Journal krijgen. In Priems woorden:
“Web-native science means we can start making public, not merely ‘publishing’.”
Andere doorkijkjes naar de toekomst, die volgens Priem voor de hand liggen: niet alleen volwaardige artikelen, maar ook andere publicatievormen zullen mee gaan tellen in de evaluatie van wetenschappelijk werk. Het delen van en discussiëren over wetenschappelijk werk verhuist meer en meer naar het web. Ook commentaren op Twitter en in blogs kunnen worden geteld. Dit is het idee achter altmetrics: het in kaart brengen van wat wetenschappelijk werk beweegt – in de wetenschap zelf maar ook daarbuiten. (Zie ook mijn artikel in InformatieProfessional nummer 5 van jaargang 2013).
Samen met Heather Piwowar heeft Jason Priem ImpactStory opgezet, een not-for-profit-onderneming die het individuele onderzoekers makkelijk maakt om de reikwijdte van hun publicaties in het digitale domein te volgen. Al wat je nodig hebt is een account en de digital object identifiers (DOIs) van je publicaties.
Peer review: voor of na publicatie?
Beide sprekers deden hun best om vriendjes te blijven en benadrukten dat hun beide benaderingen naast elkaar kunnen bestaan. Zo vond Priem de usage factor een goede aanvulling op altmetrics en stelde Shepherd het omgekeerde. Toch bleken er wel wat punten van verschil te bestaan.
Jason Priem deed een goed woordje voor de open peer review en stelde dat in het webgebaseerde publiceren peer review geen filter hoeft te zijn. Je kunt heel goed je paper publiceren en andere experts vragen erop te reageren. In Shepherds benadering is peer review juist het cruciale filter tussen wat wel en wat niet als wetenschap gelden mag. Desgevraagd zei Shepherd in de discussieronde dat hij die open peer review gaat meenemen naar zijn bedrijf. Ook hem bekruipt het gevoel dat pre-publication peer review op termijn niet meer het centrale filter zal zijn.
Deze blogpost verscheen eerder op de site van InformatieProfessional op 19 augustus 2013.
Posted by Frank Huysmans on 29 augustus 2013 | Posted in beleid, vakpublicaties | Tagged altmetrics, e-metrics, journal impact factor, usage factor
|
Iedereen heeft het tegenwoordig over altmetrics. Maar wat zijn het en waarom zijn ze er gekomen? En lossen ze hun belofte wel in, of maken ze de problemen die ze moesten oplossen alleen maar groter?
http://altmetric.com
Niemand kan nog bijhouden wat er aan wetenschappelijke publicaties verschijnt. Zeker niet in de wetenschap als geheel en ook niet meer in de meeste disciplines en subdisciplines. Om het zoeken naar goede en waardevolle publicaties te vergemakkelijken, zijn in de loop der jaren maten gecreëerd die iets zeggen over de impact die een publicatie heeft (gehad). Deze zijn gebaseerd op het aantal citaties dat een wetenschappelijke bijdrage heeft ‘gescoord’. Nu de wetenschap meer en meer vervlochten raakt met het open en sociale web, groeit de kritiek op deze manier van impact meten. Door puur en alleen citaties te tellen, krijg je geen volledig beeld van de weg die een publicatie in een wetenschapsgebied aflegt. Er worden webpagina’s opgeroepen, er wordt doorgebladerd, gedownload, geüpload en gearchiveerd in persoonlijke bibliotheken zoals Mendeley, er wordt over artikelen geschreven door wetenschapsbijlages en -blogs, men attendeert er anderen op via Twitter, Google+ en Facebook. Doordat veel van die webplatforms zulke informatie bijhouden en publiek maken via hun open application programming interface (API), kunnen maten worden berekend die een indicatie geven van deze vormen van verspreiding en (latente) impact. Wetenschap is op het sociale web gearriveerd, en dat sociale web geeft daarvoor iets terug in de vorm van altmetrics.
Waarom altmetrics?
Op 26 oktober 2010 wordt een manifest gepubliceerd op de site altmetrics.org. Vier relatief jonge wetenschappers, onder wie Paul Groth van de Vrije Universiteit, roepen anderen ertoe op in een gezamenlijk proces te werken aan nieuwe maten die wetenschappers kunnen helpen het kaf van het koren te scheiden. De bestaande maten, de Journal Impact Factor (JIF) voorop, zijn onzuiver en te eenzijdig gericht op wetenschappelijke impact. Het sociale web maakt dat kopieën-voor-eigen-gebruik van wetenschappelijke artikelen niet langer stof vergaren in een kast, maar op sociale platforms als Mendeley en Zotero aan een tweede leven beginnen. Zulke platforms helpen onderzoekers met het vinden van andere voor hen relevante literatuur. Als voldoende wetenschappers in je eigen veld meedoen, ontstaan recommender-achtige mogelijkheden: ‘anderen die paper X uploadden, deden dat ook met papers Y en Z’. Er valt wat voor te zeggen om ook het delen van papers op zulke platforms als een vorm van impact te zien. En die als zodanig te gaan meten in aanvulling op citatiescores. Net als het aantal attenderingen dat wetenschappers afgeven op sociale media als Twitter, Google+ en Facebook.
Wat is er mis met de impact factor?
Het ontstaan van altmetrics kan niet los worden gezien van de groeiende ontevredenheid met de Journal Impact Factor (JIF). Deze JIF is de afgelopen decennia verworden tot de maat aller dingen in veel takken van wetenschap. Reputaties van individuele onderzoekers, onderzoeksgroepen en hele faculteiten en universiteiten worden eraan afgemeten. Dat slaat nergens op, wordt al jaren betoogd, recent ook steeds vaker door hoofdredacteuren van de tijdschriften zelf. Op 17 mei jongstleden werd de San Francisco Declaration on Research Assessment (DORA) gepubliceerd, ondersteund door onder anderen de hoofdredacteur van Science. Deze verklaring roept op tot het loslaten van de impact factor als wetenschappelijke maat aller dingen. Waarom?
Door puur en alleen citaties te tellen, krijg je geen volledig beeld van de weg die een publicatie in een wetenschapsgebied aflegt.
De JIF is geïntroduceerd als een maat voor de wetenschappelijke impact van een tijdschrift. Het is een breuk met in de teller het aantal citaties dat artikelen in een jaargang van het tijdschrift hebben gescoord in de twee jaargangen daarna – in hetzelfde, of in andere tijdschriften. In de noemer staat het aantal artikelen dat in de jaargang zelf is gepubliceerd. Hoe hoger het gemiddelde aantal citaties in een tijdschrift, hoe hoger de impact en hoe beter het tijdschrift, is de redenering. Met als zelfversterkend effect dat de ‘betere’ wetenschappers in de betere tijdschriften zullen willen publiceren, waardoor het tijdschrift meer citaties zal blijven scoren dan andere.
Rammelende validiteit
De bezwaren tegen de JIF richten zich op de validiteit van de maat zelf en op hoe de JIF in het wetenschappelijke bedrijf wordt geïnterpreteerd en gewaardeerd. Over de maat zelf vallen diverse kritiekpunten te horen.
http://www.swets.com/
Ook de exacte berekening van de ‘officiële’ JIF is onduidelijk. Thomson Reuters geeft de brondata niet vrij. Dit maakt de JIFs oncontroleerbaar, wat tegen de wetenschappelijke ethiek indruist. Ze blijken zelfs moeilijk of niet te reproduceren door anderen, zelfs als die over een deel van de brondata mogen beschikken. Bovendien is het interval tussen indienen en verschijnen van een artikel in aardig wat tijdschriften en wetenschapsgebieden behoorlijk. De kans dat een artikel al in de eerste 2 jaar na verschijnen wordt geciteerd – de citerende artikelen zitten nog in de publicatiepijplijn – is daardoor klein en de JIF geeft dan geen valide weergave van de impact.
Oneigenlijk gebruik
Over de interpretatie en waardering van de JIF is de kritiek evenmin mals. De JIF is een maat voor de impact van tijdschriften maar wordt in het wetenschappelijk bedrijf ook gebruikt voor de waardering van individuele artikelen en auteurs, en speelt een rol in het aanstellings- en afvloeiingsbeleid van universiteiten en onderzoeksinstituten. Als zodanig ontmoedigt hij vernieuwend werk omdat dat veel investeringen in tijd en faciliteiten vraagt. Daarentegen moedigt hij het veilig volgen van gebaande paden aan. Ook nodigt de JIF uit tot strategisch citeergedrag. Auteurs verwijzen onnodig naar eigen werk, dat van naaste collega’s (‘citatiekartels’) en de editors van het tijdschrift. Editors dringen er soms bij auteurs op aan om bij herziening van hun manuscripten ook verwijzingen naar eerdere artikelen in het eigen tijdschrift toe te voegen. En in hun editorials citeren ze eveneens die ‘eigen’ artikelen, zodat de JIF stijgt. Sommige editors maken hiervan gebruik en andere niet, wat de vergelijking scheef maakt.
Verder is de JIF minder goed bruikbaar in wetenschapsgebieden, met name in de geestes- en sociale wetenschappen, waar boeken minstens even belangrijke publicatiekanalen zijn. Toch worden auteurs ook daar vaak afgerekend op wat zij in tijdschriften hebben gepubliceerd en hoe zij daarin worden geciteerd. Bovendien verschillen de publicatieculturen en dus de JIFs tussen subdisciplines van één tak van wetenschap. Dit ten nadele van jonge onderzoekers die toevallig in de ‘verkeerde’ discipline hun carrière begonnen zijn.
Met name in de exacte wetenschappen gaan onderzoekers steeds vaker over tot ‘pre-publicatie’ op platforms als Arxiv.org van Cornell University Library. In competitieve gebieden is het belangrijk om de eerste groep te zijn die met een opvallend resultaat naar buiten komt. De lange weg die een manuscript heeft te gaan van indienen tot publicatie is dan een hindernis. Eenmaal op Arxiv gepubliceerd heeft het stuk al impact lang vóór het in een (al dan niet hoog gerankt) tijdschrift staat. De JIF staat erbij en kijkt ernaar. En tot slot: de JIF geeft nagenoeg geen zicht op de maatschappelijke impact van wetenschappelijk werk. In de medische wetenschap bijvoorbeeld is verspreiding van veelbelovende resultaten van nieuwe medicijnen en therapieën van groot belang. Ook al citeren artsen en verpleegkundigen die artikelen niet, de impact kan in termen van geredde of verlengde mensenlevens groot zijn.
Ook altmetrics zijn kwantitatieve maten. Doordat die in afzonderlijke dimensies worden weergegeven, krijg je toch meer zicht op kwalitatieve aspecten.
Aan een deel van deze bezwaren is Thomson Reuters tegemoetgekomen. Zo zijn er inmiddels meerdere JIFs beschikbaar, ook met een langere citeertermijn dan twee jaar. Er zijn ook gezuiverde versies waaruit zelfcitaten van auteurs en editors zijn verwijderd. Daarmee staan de grootste bezwaren nog overeind.
Wat betekent ‘altmetrics’?
Met altmetrics wordt gepoogd daar wat aan te doen. De naam wordt op twee manieren uitgelegd. Als alternative metrics, waarin het zich afzetten tegen de JIF en de verruiming van perspectief tot uitdrukking komen. En als article-level metrics, maten die de impact van de wetenschappelijke bijdrage zélf uitdrukken, niet die van het publicatiekanaal waarin ze zijn verschenen. Ze moeten worden gezien als aanvulling op en correctie van citatiescores als de JIF en het aantal views en downloads zoals die door tijdschriftuitgevers als indicatoren voor impact al worden geopenbaard.
Hoe worden altmetrics berekend?
Het concept ‘altmetrics’ bestaat nog maar kort. Er is dan ook nog geen vaststaande set van maten en waarschijnlijk komt die er ook nooit. Al was het maar omdat sociale platforms verschijnen en verdwijnen ten gunste van nieuwe, nog betere. En omdat het ontwikkelen van nieuwe maten niet wordt gestuurd maar een open proces is, waardoor er steeds betere en verfijndere kunnen komen. Op de altmetrics-website kan worden doorgeklikt naar een reeks tools waarin de momenteel meest gangbare maten zijn opgenomen:
- Aantal uploads van het artikel in webgebaseerde reference managers als Mendeley, Zotero en CiteULike;
- Aantal vermeldingen van het artikel in wetenschappelijke blogposts;
- Aantal vermeldingen van het artikel in berichten op nieuwssites;
- Aantal verwijzingen naar het artikel op sociale netwerken als Twitter, Google+ en Facebook, gewogen naar maximum aantal daarmee bereikte volgers.
Hoe de maten worden berekend, wordt in redelijk detail uit de doeken gedaan op de site van het open access publicatieplatform PLoSONE. De editors, onder wie een van de manifest-auteurs Cameron Neylon, benadrukken dat de maten nog verre van perfect en compleet zijn. Voor het kunnen tellen van vermeldingen op sociale media en in blogs is men afhankelijk van de API’s van de betreffende platforms of van aggregatoren (bij wetenschappelijke blogs). Werk in uitvoering dus. Maar zolang iedereen zich daarvan bewust blijft, is de kans op misinterpretaties à la de JIF niet zo groot. Omdat alles in de openbaarheid gebeurt, zijn attenderingen op fouten een kwestie van korte tijd.
Kwantiteit en kwaliteit
http://blogs.ntu.edu.sg
Het panacee?
Altmetrics zijn een goede aanvulling op citatiescores en downloadcijfers met hun beperkte zeggingskracht. Als wetenschap vervlochten raakt met het wereldwijde web is het ook goed dat de verspreiding op het web zelf beter in kaart wordt gebracht. Zijn de nieuwe maten daarmee het panacee voor alle problemen die met de JIF in verband zijn gebracht?
Net als bij de JIF verschillen wetenschapsgebieden en subdisciplines daarbinnen in publicatiecultuur en dat zal op het web niet anders zijn. Het citeren van andere soorten publicaties dan artikelen, zoals datasets en discussiestukken op blogposts, varieert zeker naar wetenschapsgebied. De hoogte van altmetrics vergelijken tussen die gebieden heeft dan ook even weinig zin, maar precies dat benadrukken de voorstanders zelf. Hun gaat het om het meer kwalitatief in de breedte kunnen inschatten hoe onderzoek is ‘geland’.
Zoals alle tellingen zijn ook deze gevoelig voor manipulatie. Een duizendtal likes op Facebook of mentions op Twitter is immers zo gekocht. Dit argument kan ook positief worden uitgelegd: juist omdat manipulatie mogelijk is, moet er aan de precieze hoogte van de maten weinig waarde worden gehecht – zoals dat bij de JIF eigenlijk ook had moeten gebeuren. Pessimistische waarnemers zien in dat laatste weer reden om te vrezen dat dezelfde misinterpretaties ook bij altmetrics hun lelijke kop zullen opsteken.
De praktijk zal de toegevoegde waarde van altmetrics aan het licht moeten brengen. Eerste evaluatiestudies zijn inmiddels verschenen die de traditionele en de alternatieve maten vergelijken (zie bijvoorbeeld hier en hier). Een correctie van de eenzijdige nadruk op publicaties in tijdschriften (ten koste van boeken en andere kanalen, zoals blogposts) en op de wetenschappelijke impact (ten koste van de praktische/maatschappelijke) was hoe dan ook wenselijk. Tel daarbij op dat open publicatieplatforms als PLoS ONE inmiddels hogere JIFs behalen dan veel traditionele tijdschriften, dan dringt zich het vermoeden op dat altmetrics onderdeel zijn van een veel bredere transformatie. Wetenschap wordt opener en meer webgebaseerd. Altmetrics geven precies aan die verandering uitdrukking.
Dit artikel verscheen in Informatieprofessional, jrg. 17, nr. 5, pp. 19-22.
Posted by Frank Huysmans on 12 juni 2013 | Posted in beleid, onderzoek, vakpublicaties | Tagged altmetrics, impact, journal impact factor, open access, open data, research assessment
|
In het verleden ben ik wel eens minder enthousiast geweest over wat er op de IFLA-conferenties geboden werd, maar de editie dit jaar in Singapore barstte van de interessante sessies. Al meteen na de openingsceremonie ging het los met een sessie over e-metrics. Hoe meet je gebruik en impact van afzonderlijke wetenschappelijke artikelen, naast de meer algemene journal impact factor die de kwaliteit van het tijdschrift-als-publicatiekanaal pretendeert uit te drukken?
Een heel ander, maar wel gerelateerd perspectief werd geleverd door Jason Priem. Hij is een van de vier opstellers van het Altmetrics-manifest uit 2010 en promovendus in Library & Information Science aan de Universiteit van North Carolina in Chapel Hill. Hij kijkt als het ware vanuit de digitale toekomst terug naar de huidige, papier-gebaseerde praktijk van publiceren. Want laten we wel zijn: een e-tijdschrift is thans nog niet veel meer dan een p-tijdschrift in een digitaal jasje.
Beide sprekers deden hun best om vriendjes te blijven en benadrukten dat hun beide benaderingen naast elkaar kunnen bestaan. Zo vond Priem de usage factor een goede aanvulling op altmetrics en stelde Shepherd het omgekeerde. Toch bleken er wel wat punten van verschil te bestaan.
bedrijf (zzp) en site van Frank Huysmans, bijzonder hoogleraar Information Society en onderzoeker/adviseur in media, informatie en communicatie. 