Informatie in beeld 1: ICT en welvaart

Op 7 oktober 2013 publiceerde de International Telecommunications Union (ITU) het rapport Measuring the Information Society 2013. De ITU is een organisatie van de Verenigde Naties die de standaardisering en verspreiding van informatie- en communicatietechnologie in de wereld bevordert. ‘Committed to connecting the world’ is haar motto.

Door het rapport scrollend trok bovenstaande grafiek meteen mijn aandacht. Wat laat die zien? De suggestie is dat er een sterk verband bestaat tussen iets op de horizontale as en iets anders op de verticale. De afkortingen op de assen verhinderen een snelle interpretatie.
Om met de verticale as te beginnen: in het rapport wordt de ICT Development Index (IDI) gepresenteerd en verantwoord. Die index is gebaseerd op een aantal indicatoren die gezamenlijk uitdrukking geven aan de mate waarin een land een informatiesamenleving genoemd kan worden. Ze zitten in drie ‘mandjes’:

1. ict-toegang: beschikken mensen over de apparaten en de aansluitingen om van ict gebruik te kunnen maken? Indicatoren zijn vaste en mobiele telefoonaansluitingen;
2. ict-vaardigheden: zijn mensen slim en handig genoeg om met de apparaten en aansluitingen waarover ze kunnen beschikken om te gaan? Bij gebrek aan vergelijkbare cijfers over zulke vaardigheden grijpt men terug op indicatoren voor onderwijsparticipatie en alfabetisering;
3. ict-gebruik: in hoeverre maken ze ook daadwerkelijk gebruik als ze over toegang en vaardigheden beschikken?

Het is een logisch opgebouwd rijtje: eerst moet je toegang hebben, dan moet je ermee om kunnen gaan, en dan pas kun je er ook (goed) gebruik van maken. De ITU maakt er wel een beetje een rommeltje van. Ze voert vaste en mobiele telefoonaansluitingen terecht op onder uitrusting en toegang, maar schaart vaste en mobiele breedbandaansluitingen onder gebruik. En gebruik wordt vóór vaardigheden toegelicht. Hoe dit ook zij, de indicatoren belanden in een mandje en na weging – sommige dingen vindt men belangrijker dan andere – krijgt elk land een score op de IDI. Dat cijfer kan variëren tussen 1 (hobbelt hopeloos achteraan) tot 10 (informatiesamenleving par excellence). Een infographic geeft de voorlopers, achterblijvers en snelset stijgers weer.

Dan de horizontale as. GNI per capita betekent: bruto nationaal inkomen per hoofd van de bevolking. Het is wat een land in een jaar bij elkaar verdient omgerekend naar een gemiddelde per inwoner. Een maat dus voor wat Jan met de pet (ook de economisch inactieve Jannen, zoals kinderen en gepensioneerden) per jaar te besteden heeft. Het wordt uitgedrukt in PPP$, wat staat voor purchasing power parity in internationale dollars. Wat houdt deze koopkrachtpariteit in? Je leest geregeld in de krant dat op het platteland wonende Indiërs rond moeten komen van nog geen US-dollar per dag. Daarbij wordt meestal niet vermeld dat je op dat platteland voor een dollar doorgaans veel meer kunt kopen dan langs een highway in Tennessee. De PPP$ corrigeert hiervoor, zodat een vergelijking tussen inwoners van landen zinvoller wordt. De niet werkelijk bestaande internationale dollar heeft dezelfde koopkracht als een Amerikaanse dollar in de VS. Dan nog zijn de verschillen enorm groot. Om een indruk te geven: een Liberiaan moest het in 2011 met 550 PPP-dollars zien te rooien. De gemiddelde Nederlander had in 2012 43.150 van deze dollars te besteden. Hij had dus ruim 75 keer zoveel koopkracht als de Liberiaan, terwijl een Pool het met iets minder dan de helft van de Nederlandse koopkracht moest doen. (Het is dus veel aantrekkelijker voor een Liberiaan om naar Polen te emigreren dan voor een Pool om naar hier te komen, maar dat terzijde.)

Het is dus zeker geen uitgemaakte zaak dat investeren in ict in ontwikkelingslanden automatisch leidt tot economische groei. Hoewel veel internationale ontwikkelingsorganisaties daarin geloven, kunnen daar wel wat vraagtekens bij worden gezet

Terug naar de grafiek. Nu we weten waar de assen naar verwijzen, zien we dat er een sterk verband is tussen de koopkracht in een land en de mate waarin inwoners over een goede informatie-infrastructuur beschikken. Oftewel: in hoeverre het land volgens de ITU een informatiesamenleving genoemd kan worden. De kromme lijn – zo te zien een parabool – geeft aan dat de winst vooral te behalen valt aan de arme kant van het spectrum. Een stijging van het gemiddelde inkomen van nul naar tienduizend PPP-dollars levert meer ‘informatieontwikkelingswinst’ op voor een land dan een toename van veertig- naar vijftigduizend. Sterker nog: voorbij onze ruim veertigduizend PPP-dollar per Nederlands hoofd is het met de groei wel gedaan. De echt rijke olie- en banklanden (onder wie in Europa Luxemburg, Zwitserland en Noorwegen) doen het niet beter dan wij, al suggereert de lijn nog een stijging.

In één plaatje wordt duidelijk waarom een VN-organisatie als de ITU een rapport als dit de wereld in stuurt. Als informatie de grondstof is van de economie in de eenentwintigste eeuw, dan is de toegang tot die hulpbron bar oneerlijk verdeeld in de wereld. De lijn door de punten verbeeldt een ijzeren wetmatigheid. De toevoeging ‘R2 = 0,8848’ onderstreept dat nog eens. Voor de niet in de verklarende statistiek ingewijden onder u een toelichting – en een relativering.
De lijn is een zogenaamde regressielijn. In de regressie-analyse wordt een kenmerk teruggevoerd (‘geregresseerd’) op een andere. De aanname is dat de ‘afhankelijke’ variabele verklaard kan worden door een andere, ‘onafhankelijke’ variabele. Met wat rekenwerk is een wiskundige vergelijking te schatten die zo dicht mogelijk bij alle punten in de grafiek ligt. Hoe dichter de punten bij de lijn, hoe beter de vergelijking de werkelijkheid afbeeldt en hoe groter de ‘verklaarde variantie’ in het te verklaren kenmerk. In de figuur wordt enkele landen benoemd die juist wat verder van de lijn af liggen. Je boven de lijn bevinden betekent hier dat je het boven verwachting goed doet. Zuid-Korea, Estland (de bakermat van Skype) en Moldavië bevinden zich in deze ‘relatieve voorhoede’. Onder de lijn bevinden zich de welvarende Afrikaanse landen Angola, Gabon en Botswana, en een heel stuk hoger op de welvaartsschaal de Verenigde Arabische Emiraten en Brunei. Die doen het minder goed dan op basis van de vergelijking verwacht mocht worden. De sjeik en de sultan hebben dus nog wat werk te verrichten. Nederland is overigens het eerste puntje dat je tegenkomt als je van de Emiraten naar links gaat. Het ligt tegen de lijn aan, aan de bovenkant.

Is de positie op de informatie-en-communicatie-technologie-ontwikkelingsindex (IDI bekt lekkerder, toegegeven) dus voor bijna 90 procent een platte kwestie van geld? Daarop valt wel wat af te dingen. Op de eerste plaats doet het plaatje het voorkomen alsof van alle landen betrouwbare gegevens voorhanden zijn over het aantal internetaansluitingen en dergelijke. Dat was lang niet altijd het geval. Waar deze data niet beschikbaar waren, heeft de ITU gegevens ‘geïmputeerd’: statistisch jargon voor ‘verzonnen’. Dat verzinnen is uiteraard wel met beleid gebeurd. Als er een waarde ontbrak voor een land, is men op andere kenmerken naar vergelijkbare landen gaan zoeken. De gemiddelde waarde van die landen op de ontbrekende waarde is vervolgens in het lege vakje geplaatst. Deze manier van bijschatten stuurt de verzonnen punten naar de lijn in het midden. Dat maakt dat de verklaarde variantie wat kunstmatig hoog uitvalt.

De tweede relativering is dat niet alleen de positie op de index afhankelijk is van de koopkracht, maar dat het omgekeerde ook heel goed het geval kan zijn. Als het waar is dat informatie de grondstof is van de hedendaagse ‘kenniseconomie’, kan de welvaart op zijn beurt afhangen van ict-toegang, -vaardigheden en -gebruik. Geld bevordert de ict-adoptie, maar die doet op haar beurt het geld weer groeien. We zagen dat in de ict-vaardigheden opleidingsindicatoren verstopt zitten. En een goed geschoolde bevolking is voor het geglobaliseerde bedrijfsleven een asset, een reden om er een kantoor te openen, wat de werkgelegenheid opstuwt en het nationaal inkomen doet groeien. Er zit met andere woorden ‘reverse causaliteit’ (excusez le jargon) in het verklaringsmodel. Daar is wel een mouw aan te passen, maar dan wordt het statistisch een stuk gecompliceerder dan in de grafiek kan worden uitgebeeld.
Ook is het heel goed denkbaar dat er achterliggende variabelen zijn die zowel welvaart als ict-ontwikkeling verklaren. Denk aan politiek-historische en geografische verschillen tussen landen. Het is dus zeker geen uitgemaakte zaak dat investeren in ict in ontwikkelingslanden automatisch leidt tot economische groei. Hoewel veel internationale ontwikkelingsorganisaties daarin geloven, kunnen daar wel wat vraagtekens bij worden gezet.

Hoe dan ook valt niet te ontkennen dat er een sterke samenhang bestaat tussen nationaal inkomen en ict-ontwikkeling. Welke praktische betekenis daar nu aan kan worden gehecht is er niet uit af te leiden, vanwege de onduidelijkheid over oorzaak en gevolg. Maar dat toegang tot informatie op welke manier dan ook gekoppeld is aan economische welvaart – die kennis mag uit de grafiek wel worden gehaald.

Informatie in beeld 1: ICT en welvaart by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 15 oktober 2013 | Posted in onderwijs, onderzoek, WareKennis | Tagged ict, informatie, informatie in beeld, informatiesamenleving | Reactie

IFLA Trend Report: impuls voor professionalisering

Waar moet het heen met de bibliotheken? Onder bibliothecarissen lijken zich twee overtuigingen af te tekenen. Eén: er zal altijd behoefte blijven aan bibliotheken. En twee: we hebben geen idee hoe ze er in de toekomst uit zullen zien. Althans, dat was af te lezen aan het thema van het 79e World Library and Information Congress van de IFLA deze zomer in Singapore: Future libraries: infinite possibilities. Als de mogelijkheden grenzeloos zijn, is het toekomstperspectief zacht gezegd niet erg helder. Is er niet vooral behoefte aan een stip op de horizon?

Gelukkig deed IFLA haar best om de waaier aan mogelijkheden een beetje dicht te schuiven. Op maandag 19 augustus lanceerden voorzitter Ingrid Parent en directeur Jennefer Nicholson een nieuw trendrapport in aanwezigheid van een flink deel van de congresdeelnemers. Hoewel: de naam Trend Report bleek een tikje misleidend. Wat werd gepresenteerd was een zestien pagina’s tellend ‘insights document’ met als titel Riding the waves or caught in the tide? en een website.

Op die site is meer te vinden. Onder andere een literatuurstudie naar relevante trends, een uitgebreide lijst van bronnen (met doorklikmogelijkheid) en een discussieplatform. De intentie met de trendstudie, zo lichtten Parent en Nicholson toe, is dat bibliothecarissen wereldwijd het gesprek met elkaar aangaan over wat trends als deze gaan betekenen voor het bibliotheekwerk en –vak zoals we het lange tijd hebben gekend. In de woorden van de voorzitter: “The Trend Report isn’t looking at libraries in the information environment – it’s looking across society. The Trend Report is the starting point for libraries to work back from, and consider how they fit into the new global economy.”

Dat daarbij keuzes moesten worden gemaakt, spreekt vanzelf. Als je maar breed en diep genoeg zoekt, is het aantal maatschappelijke ontwikkelingen dat op de een of andere manier de bibliotheken raakt overweldigend. IFLA heeft er wijselijk voor gekozen er vijf uit te lichten. Dit zijn ze:

1. Nieuwe technologieën zullen de toegang van groepen mensen tot informatie zowel verruimen als beperken
2. Online onderwijs zal het traditionele leren ingrijpend veranderen
3. De grenzen van databescherming en privacy zullen opnieuw worden vastgesteld
4. Hyper-verbonden samenlevingen zullen naar nieuwe groepen luisteren én hen ‘empoweren’
5. De globale informatie-economie zal door nieuwe technologieën een verandering ondergaan

Het eerste dat opvalt is dat al deze trends met veranderingen in technologie verband houden. Met de gekozen formuleringen wordt gepoogd onder woorden te brengen hoe de maatschappij probeert om te gaan met de digitalisering van informatie. Domeinen als onderwijs, economie, sociale cohesie en de privésfeer staan daarin centraal. Ontwikkelingen in die domeinen zelf, los van digitalisering, komen in het rijtje niet voor.

“The Trend Report isn’t looking at libraries in the information environment – it’s looking across society. The Trend Report is the starting point for libraries to work back from, and consider how they fit into the new global economy.”

Ten tweede: niet alles lijkt even solide onderbouwd. Met name de tweede trend roept (in elk geval bij ondergetekende) de vraag op of die zich zal materialiseren. De opkomst van de massive open online courses (MOOCs) en andere vormen van online onderwijs lijkt van nog te recente datum te zijn om te kunnen zeggen dat het traditionele leren echt ingrijpend zal veranderen. Het afstandsonderwijs van de open universiteiten zoals we dat al enkele decennia kennen heeft het ‘fysieke’ onderwijs aan reguliere universiteiten niet omvergeworpen. Het is er vooral een welkome aanvulling op geweest. Hetzelfde kan mogelijk bij de MOOCs over twintig jaar terugkijkend worden vastgesteld. Hoe dan ook is de opkomst van het verschijnsel ‘open’ – het gratis (en niet zelden ook in auteursrechtelijke zin ‘vrij’) beschikbaar maken van content – relevant voor bibliotheken.

Ingrid Parent (foto: Mark Koh, IFLA HQ; CC-BY)

Verder: de datasporen die gebruikers achterlaten zijn voor bibliotheken instrumenteel in het verbeteren van hun dienstverlening. Zeker als er e-books gestreamd worden, krijgen bibliotheken in potentie een schat aan gegevens die veel kan leren over hoe boeken daadwerkelijk gelezen worden. Hoever kunnen ze gaan in het verzamelen en combineren van gebruik(er)sregistraties?

Uiteraard zijn er de nu al prangende kwesties rond het digitaliseren van materialen, auteursrechtelijke beperkingen bij het uitleveren daarvan, het ontwikkelen en promoten van metadatastandaarden en het converteren van oude formats naar nieuwe. Dit brengt stijgende kosten voor digitalisering met zich mee, terwijl de fysieke conservering niet direct minder gaat kosten. Hoe lossen bibliotheken dit op in economisch niet bijster florissante tijden?

En dan is er nog het probleem van de big data en de verhouding tussen bibliotheken en de overheden die hun financieren. Van oudsher hebben bibliotheken zich sterk gemaakt voor creativiteit en de vrijheid van meningsuiting, en overheidscensuur bestreden. Zodoende hebben ze nieuwe sociale bewegingen gesteund. Maar in hoeverre zullen ze daartoe nog steeds in staat zijn in een samenleving waarin the powers that be toegang hebben tot veel gegevens en grassroots activism in een vroeg stadium kunnen opsporen en tegenwerken?

Vragen, vragen. Het opwerpen en bediscussiëren daarvan is, aldus de IFLA-voorvrouwen, het eigenlijke doel van het IFLA Trend Report. Daarmee maakten ze het rapport immuun voor kritiek in de trant van ‘hebben we dit al niet eerder gezien’. Inderdaad kun je je bij sommige van de vijf trends afvragen of ze in de kern zoveel verschillen van degene die vijf of tien jaar geleden werden geïdentificeerd door onder andere OCLC Research. Wie de achterliggende documenten op de website bekijkt, ziet dat er veel meer voer voor discussie is dan de vijf trends alleen. Zo wordt er ook aandacht besteed aan niet-technologische trends. Denk aan ongelijkheden tussen groepen naar leeftijd en etniciteit op lokale, nationale en globale schaal.

Nieuw is wel dat de wereldbibliotheekfederatie zo’n trendverkenning publiceert en haar leden oproept om via de website met haar en met elkaar in discussie te gaan over wat dit alles gaan betekenen voor bestaande concepties over wat een ‘bibliotheek’, een ‘collectie’, ‘informatiedienstverlening’ is. Waarmee ze de professionaliteit in de bibliotheekbranche een impuls geeft. De nieuwe voorzitter, Sinikka Sipilä, toonde zich vastbesloten om dit stokje van haar voorganger over te nemen, toen ze in haar eerste toespraak stelde dat wat haar betreft het IFLA Trend report een “crucial tool for libraries to position themselves in the changing information landscape” is.

Dat zal nog moeten blijken. Vooralsnog loopt het niet storm in de discussieruimte, die pas na registratie als gebruiker van de site toegankelijk is. Veel zal afhangen van de professionele houding van bibliothecarissen en hun verenigingen op deze aardbol in het riding the waves, in plaats van being caught in the tide.

Dit artikel verscheen in Informatieprofessional, jaargang 17 nummer 7 (pp. 10-11), 26 september 2013

IFLA Trend Report: impuls voor professionalisering by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 4 oktober 2013 | Posted in beleid, onderzoek, vakpublicaties, WareKennis | Tagged bibliotheken, IFLA, strategie, trends | Reactie

Altmetrics: het meten van impact op/met het sociale web

Iedereen heeft het tegenwoordig over altmetrics. Maar wat zijn het en waarom zijn ze er gekomen? En lossen ze hun belofte wel in, of maken ze de problemen die ze moesten oplossen alleen maar groter?

http://altmetric.com

Waarom altmetrics?

Op 26 oktober 2010 wordt een manifest gepubliceerd op de site altmetrics.org. Vier relatief jonge wetenschappers, onder wie Paul Groth van de Vrije Universiteit, roepen anderen ertoe op in een gezamenlijk proces te werken aan nieuwe maten die wetenschappers kunnen helpen het kaf van het koren te scheiden. De bestaande maten, de Journal Impact Factor (JIF) voorop, zijn onzuiver en te eenzijdig gericht op wetenschappelijke impact. Het sociale web maakt dat kopieën-voor-eigen-gebruik van wetenschappelijke artikelen niet langer stof vergaren in een kast, maar op sociale platforms als Mendeley en Zotero aan een tweede leven beginnen. Zulke platforms helpen onderzoekers met het vinden van andere voor hen relevante literatuur. Als voldoende wetenschappers in je eigen veld meedoen, ontstaan recommender-achtige mogelijkheden: ‘anderen die paper X uploadden, deden dat ook met papers Y en Z’. Er valt wat voor te zeggen om ook het delen van papers op zulke platforms als een vorm van impact te zien. En die als zodanig te gaan meten in aanvulling op citatiescores. Net als het aantal attenderingen dat wetenschappers afgeven op sociale media als Twitter, Google+ en Facebook.

Wat is er mis met de impact factor?

Het ontstaan van altmetrics kan niet los worden gezien van de groeiende ontevredenheid met de Journal Impact Factor (JIF). Deze JIF is de afgelopen decennia verworden tot de maat aller dingen in veel takken van wetenschap. Reputaties van individuele onderzoekers, onderzoeksgroepen en hele faculteiten en universiteiten worden eraan afgemeten. Dat slaat nergens op, wordt al jaren betoogd, recent ook steeds vaker door hoofdredacteuren van de tijdschriften zelf. Op 17 mei jongstleden werd de San Francisco Declaration on Research Assessment (DORA) gepubliceerd, ondersteund door onder anderen de hoofdredacteur van Science. Deze verklaring roept op tot het loslaten van de impact factor als wetenschappelijke maat aller dingen. Waarom?

Door puur en alleen citaties te tellen, krijg je geen volledig beeld van de weg die een publicatie in een wetenschapsgebied aflegt.

De JIF is geïntroduceerd als een maat voor de wetenschappelijke impact van een tijdschrift. Het is een breuk met in de teller het aantal citaties dat artikelen in een jaargang van het tijdschrift hebben gescoord in de twee jaargangen daarna – in hetzelfde, of in andere tijdschriften. In de noemer staat het aantal artikelen dat in de jaargang zelf is gepubliceerd. Hoe hoger het gemiddelde aantal citaties in een tijdschrift, hoe hoger de impact en hoe beter het tijdschrift, is de redenering. Met als zelfversterkend effect dat de ‘betere’ wetenschappers in de betere tijdschriften zullen willen publiceren, waardoor het tijdschrift meer citaties zal blijven scoren dan andere.

Rammelende validiteit

De bezwaren tegen de JIF richten zich op de validiteit van de maat zelf en op hoe de JIF in het wetenschappelijke bedrijf wordt geïnterpreteerd en gewaardeerd. Over de maat zelf vallen diverse kritiekpunten te horen.

http://www.swets.com/

Oneigenlijk gebruik

Over de interpretatie en waardering van de JIF is de kritiek evenmin mals. De JIF is een maat voor de impact van tijdschriften maar wordt in het wetenschappelijk bedrijf ook gebruikt voor de waardering van individuele artikelen en auteurs, en speelt een rol in het aanstellings- en afvloeiingsbeleid van universiteiten en onderzoeksinstituten. Als zodanig ontmoedigt hij vernieuwend werk omdat dat veel investeringen in tijd en faciliteiten vraagt. Daarentegen moedigt hij het veilig volgen van gebaande paden aan. Ook nodigt de JIF uit tot strategisch citeergedrag. Auteurs verwijzen onnodig naar eigen werk, dat van naaste collega’s (‘citatiekartels’) en de editors van het tijdschrift. Editors dringen er soms bij auteurs op aan om bij herziening van hun manuscripten ook verwijzingen naar eerdere artikelen in het eigen tijdschrift toe te voegen. En in hun editorials citeren ze eveneens die ‘eigen’ artikelen, zodat de JIF stijgt. Sommige editors maken hiervan gebruik en andere niet, wat de vergelijking scheef maakt.
Verder is de JIF minder goed bruikbaar in wetenschapsgebieden, met name in de geestes- en sociale wetenschappen, waar boeken minstens even belangrijke publicatiekanalen zijn. Toch worden auteurs ook daar vaak afgerekend op wat zij in tijdschriften hebben gepubliceerd en hoe zij daarin worden geciteerd. Bovendien verschillen de publicatieculturen en dus de JIFs tussen subdisciplines van één tak van wetenschap. Dit ten nadele van jonge onderzoekers die toevallig in de ‘verkeerde’ discipline hun carrière begonnen zijn.
Met name in de exacte wetenschappen gaan onderzoekers steeds vaker over tot ‘pre-publicatie’ op platforms als Arxiv.org van Cornell University Library. In competitieve gebieden is het belangrijk om de eerste groep te zijn die met een opvallend resultaat naar buiten komt. De lange weg die een manuscript heeft te gaan van indienen tot publicatie is dan een hindernis. Eenmaal op Arxiv gepubliceerd heeft het stuk al impact lang vóór het in een (al dan niet hoog gerankt) tijdschrift staat. De JIF staat erbij en kijkt ernaar. En tot slot: de JIF geeft nagenoeg geen zicht op de maatschappelijke impact van wetenschappelijk werk. In de medische wetenschap bijvoorbeeld is verspreiding van veelbelovende resultaten van nieuwe medicijnen en therapieën van groot belang. Ook al citeren artsen en verpleegkundigen die artikelen niet, de impact kan in termen van geredde of verlengde mensenlevens groot zijn.

Ook altmetrics zijn kwantitatieve maten. Doordat die in afzonderlijke dimensies worden weergegeven, krijg je toch meer zicht op kwalitatieve aspecten.

Aan een deel van deze bezwaren is Thomson Reuters tegemoetgekomen. Zo zijn er inmiddels meerdere JIFs beschikbaar, ook met een langere citeertermijn dan twee jaar. Er zijn ook gezuiverde versies waaruit zelfcitaten van auteurs en editors zijn verwijderd. Daarmee staan de grootste bezwaren nog overeind.

Wat betekent ‘altmetrics’?

Met altmetrics wordt gepoogd daar wat aan te doen. De naam wordt op twee manieren uitgelegd. Als alternative metrics, waarin het zich afzetten tegen de JIF en de verruiming van perspectief tot uitdrukking komen. En als article-level metrics, maten die de impact van de wetenschappelijke bijdrage zélf uitdrukken, niet die van het publicatiekanaal waarin ze zijn verschenen. Ze moeten worden gezien als aanvulling op en correctie van citatiescores als de JIF en het aantal views en downloads zoals die door tijdschriftuitgevers als indicatoren voor impact al worden geopenbaard.

Hoe worden altmetrics berekend?

Het concept ‘altmetrics’ bestaat nog maar kort. Er is dan ook nog geen vaststaande set van maten en waarschijnlijk komt die er ook nooit. Al was het maar omdat sociale platforms verschijnen en verdwijnen ten gunste van nieuwe, nog betere. En omdat het ontwikkelen van nieuwe maten niet wordt gestuurd maar een open proces is, waardoor er steeds betere en verfijndere kunnen komen. Op de altmetrics-website kan worden doorgeklikt naar een reeks tools waarin de momenteel meest gangbare maten zijn opgenomen:

• Aantal uploads van het artikel in webgebaseerde reference managers als Mendeley, Zotero en CiteULike;
• Aantal vermeldingen van het artikel in wetenschappelijke blogposts;
• Aantal vermeldingen van het artikel in berichten op nieuwssites;
• Aantal verwijzingen naar het artikel op sociale netwerken als Twitter, Google+ en Facebook, gewogen naar maximum aantal daarmee bereikte volgers.

Hoe de maten worden berekend, wordt in redelijk detail uit de doeken gedaan op de site van het open access publicatieplatform PLoSONE. De editors, onder wie een van de manifest-auteurs Cameron Neylon, benadrukken dat de maten nog verre van perfect en compleet zijn. Voor het kunnen tellen van vermeldingen op sociale media en in blogs is men afhankelijk van de API’s van de betreffende platforms of van aggregatoren (bij wetenschappelijke blogs). Werk in uitvoering dus. Maar zolang iedereen zich daarvan bewust blijft, is de kans op misinterpretaties à la de JIF niet zo groot. Omdat alles in de openbaarheid gebeurt, zijn attenderingen op fouten een kwestie van korte tijd.

Kwantiteit en kwaliteit

http://blogs.ntu.edu.sg

Het panacee?

Altmetrics zijn een goede aanvulling op citatiescores en downloadcijfers met hun beperkte zeggingskracht. Als wetenschap vervlochten raakt met het wereldwijde web is het ook goed dat de verspreiding op het web zelf beter in kaart wordt gebracht. Zijn de nieuwe maten daarmee het panacee voor alle problemen die met de JIF in verband zijn gebracht?

Net als bij de JIF verschillen wetenschapsgebieden en subdisciplines daarbinnen in publicatiecultuur en dat zal op het web niet anders zijn. Het citeren van andere soorten publicaties dan artikelen, zoals datasets en discussiestukken op blogposts, varieert zeker naar wetenschapsgebied. De hoogte van altmetrics vergelijken tussen die gebieden heeft dan ook even weinig zin, maar precies dat benadrukken de voorstanders zelf. Hun gaat het om het meer kwalitatief in de breedte kunnen inschatten hoe onderzoek is ‘geland’.

Zoals alle tellingen zijn ook deze gevoelig voor manipulatie. Een duizendtal likes op Facebook of mentions op Twitter is immers zo gekocht. Dit argument kan ook positief worden uitgelegd: juist omdat manipulatie mogelijk is, moet er aan de precieze hoogte van de maten weinig waarde worden gehecht – zoals dat bij de JIF eigenlijk ook had moeten gebeuren. Pessimistische waarnemers zien in dat laatste weer reden om te vrezen dat dezelfde misinterpretaties ook bij altmetrics hun lelijke kop zullen opsteken.

De praktijk zal de toegevoegde waarde van altmetrics aan het licht moeten brengen. Eerste evaluatiestudies zijn inmiddels verschenen die de traditionele en de alternatieve maten vergelijken (zie bijvoorbeeld hier en hier). Een correctie van de eenzijdige nadruk op publicaties in tijdschriften (ten koste van boeken en andere kanalen, zoals blogposts) en op de wetenschappelijke impact (ten koste van de praktische/maatschappelijke) was hoe dan ook wenselijk. Tel daarbij op dat open publicatieplatforms als PLoS ONE inmiddels hogere JIFs behalen dan veel traditionele tijdschriften, dan dringt zich het vermoeden op dat altmetrics onderdeel zijn van een veel bredere transformatie. Wetenschap wordt opener en meer webgebaseerd. Altmetrics geven precies aan die verandering uitdrukking.

Dit artikel verscheen in Informatieprofessional, jrg. 17, nr. 5, pp. 19-22.

Altmetrics: het meten van impact op/met het sociale web by Frank Huysmans is licensed under a Creative Commons Attribution 4.0 International License.

Posted by Frank Huysmans on 12 juni 2013 | Posted in beleid, onderzoek, vakpublicaties | Tagged altmetrics, impact, journal impact factor, open access, open data, research assessment | Reactie