Forskningskvalitet inn i tellekanten

Tellekantsystemet ble innført for å øke antallet publiseringer. Nå har NIFU utredet hvordan kvaliteten også kan måles. Forskerforbundet er slett ikke så sikre på at kvalitet skal tallfestes.

Publiseringsindikatoren, eller tellekantsystemet, som det også kalles, har ført til at flere forskere og flere institusjoner publiserer flere artikler og i større tidsskrifter. Men økt antall er ikke det samme som økt kvalitet. Det vil si at Norge ligger på omtrent samme plass som tidligere i andel av de mest siterte artiklene, og fortsatt bak Danmark og Sverige.

Da det ble lagt fram et forslag til nytt finansieringssystem for universiteter og høyskoler i fjor, ble det blant annet foreslått å utrede en hvordan man kan telle antall siteringer, slik at artikler som får stort gjennomslag også får økonomiske konsekvenser.

«Hovedformålet med en eventuell siteringsindikator skal være å stimulere til mer forskning av høyere kvalitet ved å premiere institusjoner med stort gjennomslag i anerkjente publiseringskanaler», skrev Kunnskapsdepartementet.

Nå har NIFU, Nordisk institutt for studier av innovasjon, forskning og utdanning og Gunnar Sivertsen, kommet med et forslag til hvordan publiseringsindikatoren kan utvides for å inkludere kvalitet, målt gjennom hvor mye vitenskapelige artikler blir sitert.

UiO tjener mest på endring

I forslaget er UiO den institusjonen som har mest å tjene på siteringsindikatoren slik den er foreslått. Ifølge et regnestykke Sivertsen har utarbeidet vil UiO tjene 732 poeng. UiB kommer på andreplass, og tjener 388 poeng.

Sivertsen forteller at slik systemet er nå, har de mest forskningstunge institusjonene gradvis havnet bakpå, mens høyskoler som har kommet seg opp fra ingen til noen publikasjoner har tjent mye. Siteringsindikatoren kan rette opp i noe av dette.

Høyskolen i Oslo og Akershus er de som taper mest i Sivertsens utregning, de vil få 63 poeng mindre enn i dagens system.

I utredningen blir det antatt at artikler som blir mye sitert er ekstra nyttige og innflytelsesrike. Når mange siterer en artikkel, kan det bety at den inneholder forskning av spesielt høy kvalitet og originalitet. En bok eller artikkel kan også bli hyppig sitert fordi den presenterer en mye brukt metode eller er en god oversikt over annen forskning på feltet.

Kan kvalitet telles?

Da forslaget om å telle siteringer kom på bordet, var Forskerforbundet skeptiske. De skrev blant annet at «en siteringsindikator har åpenbare svakheter ved at siteringer blant annet ikke dekker HUMSAM-fagene på en god måte, at den vil være lite relevant for mindre institusjoner».

Disse punktene er det tatt høyde for i utredningen, retten og sletten ved å ikke måle siteringer fra de minste institusjonene og justere for fagprofilen slik at siteringsindikatoren kun måler for de fagene som har en relevant siteringspraksis. Dermed er for eksempel juss og humaniora utenfor.

Petter Aaslestad i Forskerforbundet berømmer utredningen for å være solid. Samtidig er han ikke sikker på om et enda mer finjustert måleinstrument er den rette medisinen for å heve forskningskvaliteten.

– Det er klart at publiseringsindikatorsystemet må vedlikeholdes og videreutvikles, men er det gjennom å opprettholde publiseringspresset som ligger i indikatoren at man sikrer kvaliteten i forskningen?, spør han.

Aaslestad skulle gjerne sett mer oppmerksomhet rundt akademisk frihet og sannhetssøken, og mindre mot å ligge i verdenstoppen og søke prestisje.

Skal ikke berøre enkeltforskere

En annen kritikk kommer fra NSO. I deres forskningspolitiske plattform ønsker de seg en indikator som måler den enkelte forskers siteringer, for eksempel som grunnlag for opprykk og ansettelse.

Sivertsens forslag er det motsatte, siteringsindikatoren er i utgangspunktet bare på institusjonsnivå. Han presiserer til Uniforum at systemet ikke kan berøre den enkelte forskeren.

Selv om mange forskere ser seg i sitt lille speil på veggen der og følger med på hvor mye deres egne artikler blir sitert, så sier Sivertsen at hans forslag ikke kan ikke brukes for å få tilbakemelding på egne artikler.

– Flere fakulteter på UiO er allerede opptatt av å måle siteringer, men det måles på en annen måte, forklarer Sivertsen. – Alle som er i fag hvor sitering er valid følger med på siteringer av egne artikler. Det behøver vi ikke å innføre, utdyper han. 

Del av finansieringssystemet

NSO ønsker heller ikke en indikator som får budsjettkonsekvenser, men det er selve grunnlaget for Kunnskapsdepartementets ønske.

– Jeg mener at det er viktig at indikatoren blir en del av finansieringssystemet. Det vil gi et endret fokus på institusjonene, sier Sivertsen.  

Han mener at tiltak som får konsekvenser for budsjettene er effektive for å få universitetene til å støtte opp under forskningen, men at det bare er ett av mange virkemidler for å heve kvaliteten.

– Budsjettindikatorer kan aldri være det primære virkemiddelet for å heve forskning, sier han.

I utredningen legges det vekt på at siteringene kun brukes til å justere publiseringspoengene, som allerede har relativt liten økonomisk betydning, fordi de inngår i budsjettmodellen sammen med andre indikatorer og sammen med en stor andel basisfinansiering.

Utredningen ble overlevert til Kunnskapsdepartementet i juni, og statssekretær Bjørn Haugstad sier at den vil få politiske konsekvenser. Det er imidlertid lite sannsynlig at forslaget blir inkludert i statsbudsjettet som kommer 6. oktober.

– Det er kompliserende å innføre denne indikatoren, den eneste grunnen til å gjøre det er at det er i tråd med regjeringens kvalitetspolitikk, innrømmer Sivertsen, som tror at forslaget kanskje vil være klart til politisk behandling neste høst.

Liten trussel fra siteringskarteller

Utredningen har også vurdert om artikler kan bli mye sitert uten at de egentlig er særlig nyttige eller nyskapende. En mulighet er at de blir trukket fram for å få kritikk, men ifølge utredningen er det relativt få slike negative siteringer.

Siteringshyppighet kan også manipuleres. Det mest utbredte fenomenet er at tidsskrifter har en redaksjonell politikk hvor de ikke tar inn artikler som ikke siterer artikler i eget tidsskrift. Ifølge utredningen kan slike tidsskrifter bli utelukket fra siteringsdatabasen. I utredningen står det også at «Muligheten for siteringskarteller blant forskere diskuteres internasjonalt, men er ikke påvist i større skala. Slike tiltak er også lett å avsløre, særlig innenfor et begrenset nasjonalt datasett av den typen det er tale om i denne rapporten.»

Og selv om mange forskere siterer seg selv mye, er det ifølge utredningen vanskelig å oppnå særlig høyt siterte artikler på denne måten, fordi det krever at forskeren selv publiserer et høyt antall siterende publikasjoner. «Normalt kreves betydelig internasjonal oppmerksomhet for at en artikkel skal bli blant de mest siterte i fagfeltet», står det i rapporten.