Altmetrics: het meten van impact op/met het sociale web

Iedereen heeft het tegenwoordig over altmetrics. Maar wat zijn het en waarom zijn ze er gekomen? En lossen ze hun belofte wel in, of maken ze de problemen die ze moesten oplossen alleen maar groter?

http://altmetric.com

Waarom altmetrics?

Op 26 oktober 2010 wordt een manifest gepubliceerd op de site altmetrics.org. Vier relatief jonge wetenschappers, onder wie Paul Groth van de Vrije Universiteit, roepen anderen ertoe op in een gezamenlijk proces te werken aan nieuwe maten die wetenschappers kunnen helpen het kaf van het koren te scheiden. De bestaande maten, de Journal Impact Factor (JIF) voorop, zijn onzuiver en te eenzijdig gericht op wetenschappelijke impact. Het sociale web maakt dat kopieën-voor-eigen-gebruik van wetenschappelijke artikelen niet langer stof vergaren in een kast, maar op sociale platforms als Mendeley en Zotero aan een tweede leven beginnen. Zulke platforms helpen onderzoekers met het vinden van andere voor hen relevante literatuur. Als voldoende wetenschappers in je eigen veld meedoen, ontstaan recommender-achtige mogelijkheden: ‘anderen die paper X uploadden, deden dat ook met papers Y en Z’. Er valt wat voor te zeggen om ook het delen van papers op zulke platforms als een vorm van impact te zien. En die als zodanig te gaan meten in aanvulling op citatiescores. Net als het aantal attenderingen dat wetenschappers afgeven op sociale media als Twitter, Google+ en Facebook.

Wat is er mis met de impact factor?

Het ontstaan van altmetrics kan niet los worden gezien van de groeiende ontevredenheid met de Journal Impact Factor (JIF). Deze JIF is de afgelopen decennia verworden tot de maat aller dingen in veel takken van wetenschap. Reputaties van individuele onderzoekers, onderzoeksgroepen en hele faculteiten en universiteiten worden eraan afgemeten. Dat slaat nergens op, wordt al jaren betoogd, recent ook steeds vaker door hoofdredacteuren van de tijdschriften zelf. Op 17 mei jongstleden werd de San Francisco Declaration on Research Assessment (DORA) gepubliceerd, ondersteund door onder anderen de hoofdredacteur van Science. Deze verklaring roept op tot het loslaten van de impact factor als wetenschappelijke maat aller dingen. Waarom?

Door puur en alleen citaties te tellen, krijg je geen volledig beeld van de weg die een publicatie in een wetenschapsgebied aflegt.

De JIF is geïntroduceerd als een maat voor de wetenschappelijke impact van een tijdschrift. Het is een breuk met in de teller het aantal citaties dat artikelen in een jaargang van het tijdschrift hebben gescoord in de twee jaargangen daarna – in hetzelfde, of in andere tijdschriften. In de noemer staat het aantal artikelen dat in de jaargang zelf is gepubliceerd. Hoe hoger het gemiddelde aantal citaties in een tijdschrift, hoe hoger de impact en hoe beter het tijdschrift, is de redenering. Met als zelfversterkend effect dat de ‘betere’ wetenschappers in de betere tijdschriften zullen willen publiceren, waardoor het tijdschrift meer citaties zal blijven scoren dan andere.

Rammelende validiteit

De bezwaren tegen de JIF richten zich op de validiteit van de maat zelf en op hoe de JIF in het wetenschappelijke bedrijf wordt geïnterpreteerd en gewaardeerd. Over de maat zelf vallen diverse kritiekpunten te horen.

http://www.swets.com/

Oneigenlijk gebruik

Over de interpretatie en waardering van de JIF is de kritiek evenmin mals. De JIF is een maat voor de impact van tijdschriften maar wordt in het wetenschappelijk bedrijf ook gebruikt voor de waardering van individuele artikelen en auteurs, en speelt een rol in het aanstellings- en afvloeiingsbeleid van universiteiten en onderzoeksinstituten. Als zodanig ontmoedigt hij vernieuwend werk omdat dat veel investeringen in tijd en faciliteiten vraagt. Daarentegen moedigt hij het veilig volgen van gebaande paden aan. Ook nodigt de JIF uit tot strategisch citeergedrag. Auteurs verwijzen onnodig naar eigen werk, dat van naaste collega’s (‘citatiekartels’) en de editors van het tijdschrift. Editors dringen er soms bij auteurs op aan om bij herziening van hun manuscripten ook verwijzingen naar eerdere artikelen in het eigen tijdschrift toe te voegen. En in hun editorials citeren ze eveneens die ‘eigen’ artikelen, zodat de JIF stijgt. Sommige editors maken hiervan gebruik en andere niet, wat de vergelijking scheef maakt.
Verder is de JIF minder goed bruikbaar in wetenschapsgebieden, met name in de geestes- en sociale wetenschappen, waar boeken minstens even belangrijke publicatiekanalen zijn. Toch worden auteurs ook daar vaak afgerekend op wat zij in tijdschriften hebben gepubliceerd en hoe zij daarin worden geciteerd. Bovendien verschillen de publicatieculturen en dus de JIFs tussen subdisciplines van één tak van wetenschap. Dit ten nadele van jonge onderzoekers die toevallig in de ‘verkeerde’ discipline hun carrière begonnen zijn.
Met name in de exacte wetenschappen gaan onderzoekers steeds vaker over tot ‘pre-publicatie’ op platforms als Arxiv.org van Cornell University Library. In competitieve gebieden is het belangrijk om de eerste groep te zijn die met een opvallend resultaat naar buiten komt. De lange weg die een manuscript heeft te gaan van indienen tot publicatie is dan een hindernis. Eenmaal op Arxiv gepubliceerd heeft het stuk al impact lang vóór het in een (al dan niet hoog gerankt) tijdschrift staat. De JIF staat erbij en kijkt ernaar. En tot slot: de JIF geeft nagenoeg geen zicht op de maatschappelijke impact van wetenschappelijk werk. In de medische wetenschap bijvoorbeeld is verspreiding van veelbelovende resultaten van nieuwe medicijnen en therapieën van groot belang. Ook al citeren artsen en verpleegkundigen die artikelen niet, de impact kan in termen van geredde of verlengde mensenlevens groot zijn.

Ook altmetrics zijn kwantitatieve maten. Doordat die in afzonderlijke dimensies worden weergegeven, krijg je toch meer zicht op kwalitatieve aspecten.

Aan een deel van deze bezwaren is Thomson Reuters tegemoetgekomen. Zo zijn er inmiddels meerdere JIFs beschikbaar, ook met een langere citeertermijn dan twee jaar. Er zijn ook gezuiverde versies waaruit zelfcitaten van auteurs en editors zijn verwijderd. Daarmee staan de grootste bezwaren nog overeind.

Wat betekent ‘altmetrics’?

Met altmetrics wordt gepoogd daar wat aan te doen. De naam wordt op twee manieren uitgelegd. Als alternative metrics, waarin het zich afzetten tegen de JIF en de verruiming van perspectief tot uitdrukking komen. En als article-level metrics, maten die de impact van de wetenschappelijke bijdrage zélf uitdrukken, niet die van het publicatiekanaal waarin ze zijn verschenen. Ze moeten worden gezien als aanvulling op en correctie van citatiescores als de JIF en het aantal views en downloads zoals die door tijdschriftuitgevers als indicatoren voor impact al worden geopenbaard.

Hoe worden altmetrics berekend?

Het concept ‘altmetrics’ bestaat nog maar kort. Er is dan ook nog geen vaststaande set van maten en waarschijnlijk komt die er ook nooit. Al was het maar omdat sociale platforms verschijnen en verdwijnen ten gunste van nieuwe, nog betere. En omdat het ontwikkelen van nieuwe maten niet wordt gestuurd maar een open proces is, waardoor er steeds betere en verfijndere kunnen komen. Op de altmetrics-website kan worden doorgeklikt naar een reeks tools waarin de momenteel meest gangbare maten zijn opgenomen:

• Aantal uploads van het artikel in webgebaseerde reference managers als Mendeley, Zotero en CiteULike;
• Aantal vermeldingen van het artikel in wetenschappelijke blogposts;
• Aantal vermeldingen van het artikel in berichten op nieuwssites;
• Aantal verwijzingen naar het artikel op sociale netwerken als Twitter, Google+ en Facebook, gewogen naar maximum aantal daarmee bereikte volgers.

Hoe de maten worden berekend, wordt in redelijk detail uit de doeken gedaan op de site van het open access publicatieplatform PLoSONE. De editors, onder wie een van de manifest-auteurs Cameron Neylon, benadrukken dat de maten nog verre van perfect en compleet zijn. Voor het kunnen tellen van vermeldingen op sociale media en in blogs is men afhankelijk van de API’s van de betreffende platforms of van aggregatoren (bij wetenschappelijke blogs). Werk in uitvoering dus. Maar zolang iedereen zich daarvan bewust blijft, is de kans op misinterpretaties à la de JIF niet zo groot. Omdat alles in de openbaarheid gebeurt, zijn attenderingen op fouten een kwestie van korte tijd.

Kwantiteit en kwaliteit

http://blogs.ntu.edu.sg

Het panacee?

Altmetrics zijn een goede aanvulling op citatiescores en downloadcijfers met hun beperkte zeggingskracht. Als wetenschap vervlochten raakt met het wereldwijde web is het ook goed dat de verspreiding op het web zelf beter in kaart wordt gebracht. Zijn de nieuwe maten daarmee het panacee voor alle problemen die met de JIF in verband zijn gebracht?

Net als bij de JIF verschillen wetenschapsgebieden en subdisciplines daarbinnen in publicatiecultuur en dat zal op het web niet anders zijn. Het citeren van andere soorten publicaties dan artikelen, zoals datasets en discussiestukken op blogposts, varieert zeker naar wetenschapsgebied. De hoogte van altmetrics vergelijken tussen die gebieden heeft dan ook even weinig zin, maar precies dat benadrukken de voorstanders zelf. Hun gaat het om het meer kwalitatief in de breedte kunnen inschatten hoe onderzoek is ‘geland’.

Zoals alle tellingen zijn ook deze gevoelig voor manipulatie. Een duizendtal likes op Facebook of mentions op Twitter is immers zo gekocht. Dit argument kan ook positief worden uitgelegd: juist omdat manipulatie mogelijk is, moet er aan de precieze hoogte van de maten weinig waarde worden gehecht – zoals dat bij de JIF eigenlijk ook had moeten gebeuren. Pessimistische waarnemers zien in dat laatste weer reden om te vrezen dat dezelfde misinterpretaties ook bij altmetrics hun lelijke kop zullen opsteken.

De praktijk zal de toegevoegde waarde van altmetrics aan het licht moeten brengen. Eerste evaluatiestudies zijn inmiddels verschenen die de traditionele en de alternatieve maten vergelijken (zie bijvoorbeeld hier en hier). Een correctie van de eenzijdige nadruk op publicaties in tijdschriften (ten koste van boeken en andere kanalen, zoals blogposts) en op de wetenschappelijke impact (ten koste van de praktische/maatschappelijke) was hoe dan ook wenselijk. Tel daarbij op dat open publicatieplatforms als PLoS ONE inmiddels hogere JIFs behalen dan veel traditionele tijdschriften, dan dringt zich het vermoeden op dat altmetrics onderdeel zijn van een veel bredere transformatie. Wetenschap wordt opener en meer webgebaseerd. Altmetrics geven precies aan die verandering uitdrukking.

Dit artikel verscheen in Informatieprofessional, jrg. 17, nr. 5, pp. 19-22.

Altmetrics: het meten van impact op/met het sociale web by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 12 juni 2013 | Posted in beleid, onderzoek, vakpublicaties | Tagged altmetrics, impact, journal impact factor, open access, open data, research assessment | Reactie

Moedig voorwaarts op twee sporen

Bron: http://www.pottermore.com/

Het was een wijze les voor Rowling. Of eigenlijk twee. Eén: als mensen op hun manier toegang willen tot content, krijgen ze die ook. Twee: zelfs als een Potterboek gepirateerd wordt, verkoopt het als een tierelier. Toch zijn auteurs en uitgevers nog altijd als de dood, zoals eerder de muziek- en filmbazen, dat met het aanbieden van digitale versies het downloadhek van de dam is. Het geval Rowling en de ontwikkelingen in muziek en film doen anders vermoeden. De werelden zijn flink opgeschud. De verdienmodellen zijn veranderd. Artiesten can cut out the middle men en rechtstreeks met hun fans zaken doen (Rowling verkoopt inmiddels via haar eigen Pottermore.com de Potterserie als e-book en digital audio books). Maar nog altijd hebben we wereldwijd dezelfde machtige muzieklabels en filmstudio’s als voorheen. De laatste cijfers laten bovendien zien dat de omzet in de muziekbusiness weer groeit.

Met het auteursrecht van nu hebben bibliotheken geen enkele onderhandelingskracht

Op de nieuwe tijd toegesneden distributiemodellen in de wereld van het algemene boek introduceren. Dat zouden uitgevers en boekhandelaren moeten doen. Het lijkt erop dat hun dat niet lukt (en Amazon wel). De belangen van uitgevershuizen en boekhandelaren lopen niet parallel en ook tussen grotere en kleinere spelers wringt het. Vrees voor het onbekende is de enige gemeenschappelijke factor.

In zo’n situatie transformeert de status quo in een blok beton. De Europese bibliotheeklobbyorganisatie EBLIDA liep daar onlangs tegenaan. Ze probeerde met de Federation of European Publishers (FEP) een Memorandum of Understanding te bereiken. Het uitgangspunt van EBLIDA was dat openbare bibliotheken uit alle beschikbare e-boektitels tegen redelijke voorwaarden een collectie moeten kunnen samenstellen om die aan hun gebruikers te kunnen uitlenen. Met boeken van papier en inkt gaat dat al jaren goed. Maar de uitgeversfederatie hield in Brussel de deur dicht.

Door deze ervaring wijs geworden sluit de bibliotheekkoepel nu nieuwe allianties, onder andere met consumentenplatforms. Ook acht ze eindelijk de tijd rijp om op Europees niveau actief te gaan lobbyen voor een digitale versie van het leenrecht. Verstandig, want met het auteursrecht van nu hebben bibliotheken geen onderhandelingskracht. Tot het zover is, is het even wijs om op kleine schaal modellen met individuele uitgevers uit te proberen, zoals Bibliotheek.nl en Bibnet.be nu doen. Als deze tweesporenstrategie consequent wordt gevolgd – moedig voorwaarts, op beide sporen tegelijk – lichten in 2020 in vele kinderkamers om klokslag middernacht de tablets op.

Deze column verschijnt in Informatieprofessional, jaargang 17, nummer 5, 2013

Moedig voorwaarts op twee sporen by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 30 mei 2013 | Posted in beleid, columns, opinie, vakpublicaties | Tagged auteursrecht, businessmodellen, e-books, leenrecht, piraterij, strategie | Reactie

E-books in European public libraries: lending rights and business models

PLEASE READ THIS FIRST:

Will public libraries in Europe ever be able to lend out e-books to their patrons on their own terms? That seems a strange question, for in several countries lending e-books is already happening. Library patrons will wonder why they shouldn’t be able to borrow e-books in the first place, just like they are used to borrowing printed books. However, from a legal point of view a paper book and an e-book are different things. To cut a long legal story short, whereas lending out paper books is covered by a lending right exception in copyright law in most European countries, lending out e-books is not.

While some legal scholars still see possibilities for e-book lending within existing copyright law, most will say that the library exception to copyright law does not extend to digital content, including e-books. EBLIDA, the European Bureau of Library, Information and Documentation Associations, holds this view, as does IFLA, the International Federation of Library Associations and Institutions. In the Netherlands, the ministry of Education, Culture and Science commissioned a study on the matter in the preparation stage of a new public library law.

The conclusion of that study (report with summary in English here, blog post in English here is straightforward: ‘neither current Dutch copyright law nor the EU legal framework seems to leave room for e-lending without right holder permission. Of course, this does not mean that libraries cannot lend e-books, merely that this practice is not covered by a copyright exception at the moment and therefore requires agreements with authors and other right holders.’ (quote from the blog post by Kelly Breemen and Vicky Breemen of the Institute for Information Law (IvIR) at the University of Amsterdam).

Public libraries currently have no other option than to carefully manoeuver and try to make a deal which leaves a maximum of their principles standing.

The absence of a copyright exception therefore implies that public libraries and their umbrella associations must negotiate with right holders, usually publishers, the terms under which e-books and other digital content can be lent out to patrons.

Now let’s turn back to the question at the outset of this post: I added the words on their own terms because here is where things start to hurt. It is not that public libraries cannot reach agreements with right holders. The cases of Germany, the USA, Canada, Norway and (in pilot projects) the Netherlands and Flanders show that this is possible. What is at stake is the conditions under which it becomes possible. Library organisations almost always have to give up on some of the principles they formulated before entering the negotiations. Both IFLA and EBLIDA formulated principles that could guide their member organisations in positioning themselves. One of the more essential demands is that they have the right to choose themselves, from all titles that have been made available by publishers, which ones they will obtain for e-lending.

But as could be expected, in a situation without a copyright exception inscribed in the law, one is not in a position to put demands on the table and expect to get what one desires. It is the right holder side dictating what is possible and what is not, since the law grants them full control over what happens with ‘their’ content. Public libraries currently have no other option than to carefully manoeuver and try to make a deal which leaves a maximum of their principles standing. It comes as no surprise that the negotiation results are varying widely between countries.

This state of affairs leaves many in the public library world and in the responsible ministries worried. On 13-14 May 2013 I was invited to join and report on a meeting in Milan on e-books in public libraries and report on the meeting’s outcomes. A working group of NAPLE (National Authorities on Public Libraries in Europe) discussed the current state of negotiations between public library organisations and publishers and other rights holders. Five cases were presented and discussed: Flanders, the Netherlands, Denmark, Slovenia and Germany/the German-speaking part of Switzerland.

Even in this small ‘sample’, a great variety of options can be observed. In the scheme below, the NAPLE working group’s chairman, Jan Braeckman (director of Bibnet Flanders) and I have tried to summarize these options in a dozen dimensions. The table, which is available for download under CC-BY-SA, might be helpful for library organisations in preparing negotiation strategies. It might also aid in operationalizing umbrella organisations’ principles (‘this we recommend, that we would discourage’) before entering negotiations with right holders.

>>> Download Dimensions in business models for public library e-lending [pdf]

The Milano meeting made it clear that public libraries and their umbrellas are growing increasingly uneasy with the absence of legal provisions for e-lending. EBLIDA will start to campaign in the EU and in the member countries for the legal ‘right to buy and lend e-books at reasonable conditions’, now their attempt at reaching a memorandum of understanding with the Federation of European Publishers (FEP/FEE). A strong plea was made to continue on two paths simultaneously: in the long term, obtain the legal right to select and lend out books, and in the short term work out viable deals with publishers. This approach will put some more pressure on right holders to meet the libraries’ reasonable demands, provided that ‘Europe’ will actually start to make moves towards legally enabling e-lending.

For more information and guidance, the list of documents below (some of which were already cited above) from various sources may also come in handy. If you have other documents to add, please post them below or give me a hint.

IFLA
– Thinkpiece on e-lending
– E-lending background paper
– Principles for library e-lending
– Report on an IFLA expert meeting on e-book lending

EBLIDA
– European libraries and the challenges of e-publishing
– Key Principles on the acquisition of and access to E-books by libraries

ALA (American Library Association)
– E-books Business Models for Public Libraries

Dbv (Deutscher Bibliotheksverband e.V.)
– Positionspaper: Gleichstellung von gedruckten Büchern und E-books

OECD (Organisation for Economic Co-operation and Development)
– E-books: Developments and Policy Considerations

IvIR (Institute for Information Law, University of Amsterdam)
– Can e-lending land itself a spot under the public lending right?
– Online uitlenen van e-books [with summary in English] (SEO/IvIR)

E-books in European public libraries: lending rights and business models by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 22 mei 2013 | Posted in beleid, vakpublicaties | Tagged businessmodellen, e-books, English, Europese Unie, leenrecht, openbare bibliotheken | 2 Comments