Når forskere bedømmer forskere

Det røde kort trækkes af og til af forskerne overfor kollegaernes artikler. Dom: tilbage til skrivebordet og gør arbejdet bedre. Processen kaldes peer review og er et centralt element i videnskaben. (Foto: Colourbox)

Peer review eller fagfællebedømmelse, som det hedder på dansk, består i nogle få, ret enkle metoder til at evaluere videnskabelige meritter.

Peer review bliver fortrinsvis brugt i vurderingen af videnskabelige artikler og forskningsansøgninger.

Eftersom publikationer og bevillinger er altafgørende for at fremme forskeres egen videnskabelige karriere, er peer reviewet af helt grundlæggende betydning for forskningen og for forskerne.

1.000 arbejdsår hver uge

Det er som regel forskerne selv, der varetager peer review. Meningen er, at forskere skal udsætte deres arbejde og ideer i form af artikler og ansøgninger for kritisk vurdering blandt deres fagfæller. Derved opnår man i princippet en retfærdig kvalitetssikring og fælles højnelse af forskningsniveauet.

Peer review er yderst ressourcekrævende. Et af de mest udbredte citationsværkstøjer, ISI Web of Science, registrerer hver uge 24.200 nye artikler inden for naturvidenskab (19.000), samfundsvidenskab (2.900) og humaniora (2.300). Omkring halvdelen af alle indsendte artikler afvises som følge af peer review, og det betyder, at mere end 50.000 artikler skal gennem peer review ugentligt.

Typisk involverer et peer review to-tre faglige bedømmere plus mindst én person i tidsskriftets redaktion. Hvis vi løseligt anslår, at de tilsammen bruger en uges arbejde, "koster" peer review 50.000 videnskabelige arbejdsuger eller godt 1.000 arbejdsår - om ugen!

Virker det?

De fleste forskere priser peer review, ofte som det mindst ringe kvalitetssikringssystem. Mange vil dog også anerkende, at der er problemer forbundet med peer review.

Der findes mange undersøgelser af kvaliteten af peer review (se oversigt i DeVries, Marschall & Stein 2009). Nogle forskere har kigget på udvalgte artikler før og efter, de har været gennem peer review. Her er den generelle konklusion, at artiklerne rent faktisk bliver bedre på en række punkter.

I andre undersøgelser indgår der artikler, der allerede har været publiceret, og som bliver genindsendt uændret eller med indsatte fejl til tidsskrifter. En undersøgelse foretaget med tolv uændrede artikler, som er trykt i anerkendte tidsskrifter inden for psykologi, viste, at 89 % af artiklerne blev afvist ved genindsendelse, blandt andet på grund af alvorlige metodefejl.

En anden undersøgelse indsendte en konstrueret artikel indeholdende ti større og tretten mindre fejl til en medicinsk artikeldatabase. Her overså alle bedømmere (i alt 199) omtrent 2/3 af artiklens fejl.

Nepotisme og kønsdiskrimination

Ydermere kan man også vurdere peer review ved at se på enighed mellem forskellige bedømmere inden for samme fagområde. Det er selvfølgeligt umuligt at opnå fuldkommen enighed i en bedømmelse.

Faktisk har det vist sig, at der generelt hersker meget lav enighed blandt bedømmerne af samme artikel. Graden af enighed befinder sig i mange undersøgelser kun lige over, hvad man ville have fundet, hvis bedømmelserne havde været rent tilfældige.

Endelig kan man også undersøge peer reviewets systematiske fejl. En nylig svensk undersøgelse af ansøgninger til det medicinske forskningsråd påviste en vis nepotisme i bedømmelserne. De ansøgninger, som var underskrevet af forskningsledere med en relation til bedømmerne, opnåede statistisk set 15 % højere score end andre ansøgninger.

Undersøgelsen påviste også, at ansøgninger fra kvindelige forskningsledere fik 10 % bonus i forhold til ansøgninger skrevet af mandlige forskningsledere (Sandström & Hällsten 2008).

Hvor kommer det fra?

Den første dokumenterede anvendelse af noget, der har mindelser om moderne peer review, finder man i en bog om lægeetik skrevet af den arabiske forfatter Ishap bin Ali Al Rahwi. Han levede år 854-931.

Bogen angiver retningslinjer for, hvordan læger bør udlevere kopier af noter og diagnoser til det lokale lægeråd, som efterfølgende kan gennemføre en faglig bedømmelse af lægernes arbejde (Spier 2002).

Brug af peer review i forbindelse med videnskabelige tidsskrifter opstod i Storbritannien i det 17. og 18. århundrede. Redaktøren af tidsskriftet Philosophical Transactions of the Royal Society, Henry Oldenburg, anvendte fra og med oprettelsen i 1665 faglig bedømmelse af alle artikler.

Bedømmelse blev dog primært foretaget af Oldenburg selv og de fagfolk, hvis hjælp han selv mente, det var hensigtsmæssigt at opsøge.

I 1731 indførte Royal Society of Edinburgh et udvalgt korps af faglige bedømmere, hvis kritiske bedømmelser skulle være vejledende for redaktøren i udgivelsen af artikler. Samtidigt var det et krav, at bedømmerne skulle være anonyme for artiklens forfatter(e). Det var starten på peer review, som vi kender det i dag.

Hvad er det?

Som nævnt finder peer review anvendelse i forskellige sammenhænge. Nogle former for peer review foregår helt anonymt (hverken forfatter eller bedømmer kender hinanden), mens andre kun involverer anonymisering af den ene part.

Peer review er både en faglig og en kollektiv proces. Inden for videnskabssociologi er peer review ofte blevet beskrevet som en procedure, hvorigennem der etableres en distributiv retfærdighed og enighed i forhold til, hvad der gælder som god videnskab.

Det betyder, at forskere i det store hele får den bedømmelse for deres arbejde, som de forventer. Og det betyder i sidste ende, at standarden for, hvad god videnskab er, afhænger af, hvad det samlede forskersamfund mener.

Ideen om, at peer review skulle være anvendelsen af fælles, accepterede regler for god videnskab, er dog nok lidt for ideel. En interviewundersøgelse af 81 fagfællebedømmere inden for samfundsvidenskab og humaniora har påpeget, at bedømmerne foretager deres bedømmelse ud fra en vurdering af, hvilke standarder, de mener, passer bedst til det foreliggende videnskabelige arbejde.

Der foretages altså hele tiden en konkret tilpasning af de faglige standarder i forbindelse med peer review. Der findes ikke et sæt alment accepterede regler for, hvordan det skal gøres.

Litteratur  DeVries, D. R., Marschall, E. A. & Stein, R. A. (2009) Exploring the Peer Review Process: What IS It, Does It Work, and Can It Be Improved? Fisheries 34(6): 270-279 Mallard, G., Lamont, M. & Guetzkow, J. (2009) Fairness as Appropriateness: Negotiating Epistemological Differences in Peer Review. Science, Technology, & Human Values 34(5): 573-606. Sandström, U. & Hällsten, M. (2008) Persistent nepotism in peer review. Scientometrics 74(2): 175-189. Spier, R. (2002) The history of the peer-review process. Trends in Biotechnology 20(8): 357-358.