Når forskningsindikatorer bedømmer forskningen

Forskningsindikatorer er baseret på matematiske udregninger - ikke subjektive vurderinger. (Foto: Colourbox)

Mens peer review som redskab til kvalitetsbedømmelse af forskning har en lang historie, er brugen af forskningsindikatorer et ret nyt fænomen i videnskabens verden.

De første forsøg på at konstruere kvantitative indikatorer til at analysere og evaluere forskning blev udviklet af polske forskningssociologer i 1920'erne og 30'erne.

Desværre ødelagde det nazistiske regime dette frugtbare og banebrydende forskningsarbejde.

I 1950'erne og 1960'erne udviklede den amerikanske lingvist Eugene Garfield m.fl. idéen om et egentligt citationsindeks for naturvidenskabelige tidsskrifter. Garfield udgav i 1976 den første såkaldte Journal Citation Report (JCR).

JCR omfatter i dag en lang række indikatorer for tidsskrifter, herunder Impact Factor (IF) som angiver et mål for tidsskriftets videnskabelige gennemslagskraft. Selv om IF ikke var intenderet som et mål for individuelle forskeres eller individuelle artiklers videnskabelige gennemslagskraft, er det i vid udstrækning sådan det i dag finder anvendelse.

Peer review foregår "bottom up": Forskerne er selv med til at bedømme, hvad der er henholdsvis god og dårlig forskning. Der findes ingen (eller kun ganske få) alment accepterede regler eller standarder for, hvordan peer review af artikler og ansøgninger bør finde sted. Tværtimod er peer review i høj grad op til de udvalgte bedømmeres egen erfaring med og viden om forskningskvalitet.

Brugen af forskningsindikatorer er derimod "top down". Her er det nogle på forhånd vedtagne indikatorer, der rangerer forskningen. Forskningsindikatorerne er derfor langt mere objektive end peer review. Forskningsindikatorer er ofte også langt mindre ressourcekrævende end peer review - og dermed ikke også sagt, at de nødvendigvis er bedre.

Hvor peer review tit bliver kritiseret for at være en subjektiv bedømmelsesmetode, er forskningsindikatorer ofte under anklage for at være for konforme og homogeniserede. Mange forskningsindikatorer er ganske enkelt ikke nuancerede nok til at "opfange" forskellen mellem forskningsfelterne.

Lad os tage IF som eksempel: IF måler det gennemsnitlige antal af citationer til alle artikler publiceret af et bestemt tidsskrift i løbet af de foregående to år. Det højst rangerende tidsskrift inden for neurovidenskab er Annual Review of Neurosciences med en IF på 26,405 (2008-listen).

Hvis vi kigger på den tilsvarende liste for matematik, ligger Communications on Pure and Applied Mathematics højst med IF=3,806, mens det højst placerede inden for videnskabshistorie og -filosofi er Social Studies of Science med IF=1,343.

Det er meget svært at sammenligne disse IF-tal. De store forskelle angiver ikke kvalitetsforskelle, men derimod forskelle i de enkelte forskningsområder måder at citere på, herunder "hastigheden" hvormed der refereres til nye artikler.

Endvidere har det vist sig, at der ikke er en entydig sammenhæng mellem - på den ene side - den videnskabelige gennemslagskraft af en forskers eller forskergruppes publikationer i et bestemt tidsskrift og - på den anden side - størrelsen på det pågældende tidsskrifts IF.

Antallet af forskningsindikatorer er på det nærmeste eksploderet inden for de senere år. Der findes i dag en hel industri, der udelukkende beskæftiger sig med kvantitativ forskningsanalyse baseret på forskningsindikatorer.

Det bedst kendte produkt er nok det kommercielle, webbaserede ISI Web of Knowledge, som drives af firmaet Thompson Reuters, og som er en udløber af Eugene Garfields oprindelige Institute for Scientific Information.

I dag kan forskningens kvalitet for eksempel måles ved hjælp af den rangordensnormaliserede IF, h-indekset, egenværdiindekset, g-indekset og mange, mange flere. Den store mangfoldighed har fået Davis A. Pendlebury, som arbejder med ISI Web of Knowledge ved Thompson Reuters til at forelå "10 bud" for brugen af forskningsindikatorer:

De 10 bud for forskningsindikatorer

1. Overvej om de tilgængelige data er tilstrækkelige til at analysere forskningen med hensyn til de ønskede kvalitetsparametre.
2. Definér hvilke publikationstyper (artikler, kommentarer, ledere, nyheder og lign.), forskningsfelter og perioder, der skal indgå i analysen.
3. Beslut om der skal bruges hel eller delvis optælling - dvs. skal alle forfattere (og deres institutioner) til en bestemt artikel tælles ligeligt med (det er det nemmeste og mest brugte), eller skal der gives større grad af anerkendelse til førsteforfattere?
4. Afgør om det er nødvendigt at redigere i data for at fjerne oplagte fejlkilder (såsom forskellige forfatternavne til samme forsker eller forskellige måder at opgive samme tilhørsinstitution).
5. Sammenlign kun sammenlignelige størrelser (ikke æbler og pærer). For eksempel giver det ikke mening at sammenligne IF for henholdsvis neurovidenskab og matematik, jf. eksemplet ovenfor.
6. Anvend forholdsmæssige, ikke absolutte størrelser. Der er for eksempel bred enighed om, at det ikke giver mening kun at se på antallet af artikler for et tidsskrift eller en forskningsgruppe, selvom vores menneskelige intuition ofte har det med at ligestille kvantitet med kvalitet.
7. Brug mange forskellige indikatorer til at belyse og sammenligne forskningskvaliteten fra mange vinkler.
8. Anerkend at indikatorfordeling ofte er meget skæv, for eksempel vil det typisk være sådan, at et videnskabeligt tidsskrift har meget få artikler, der har en høj citationsfrekvens, mens størsteparten kun har meget få eller ingen citationer.
9. Bekræft at de indsamlede data er relevante i forhold til de undersøgte kvalitetsparametre.
10. Få erfarne forskere til at kigge data og resultater kritisk igennem.

Det 10. og sidste bud viser, at det "gode, gamle" peer review langt fra har udspillet sin rolle som indikator for, hvad god forskning er.