Aftenposten viser til Fagerbergutvalget og slår 30. januar 2011 fast at Høyskolen i Narvik “slår landets universiteter ned i støvlene”. Oppslaget er basert på en måling der resultater i form av forskningspublikasjoner divideres på FoU-utgifter1. Det meste av dette er høyst diskutabelt.
Telleren i brøken
Publikasjoner er målt som et gjennomsnitt av tre ulike datakilder: To av dem gjelder internasjonale publikasjoner i ISI Web of Science (ISI) og en gjelder publikasjonsdata fra den resultatbaserte omfordelingen i finansieringssystemet for universiteter og høyskoler.
ISI-databasen inneholder i all hovedsak informasjon om tidskriftspublikasjoner. En hovedutfordring ved bruk av ISI-data på institusjonsnivå er at fagområder – først og fremst humaniora, men også mange av samfunnsfagene – med utstrakt publisering i bøker (monografier og antologier) i stor grad er utelatt.
Nevneren i brøken
FoU-utgifter er en oversikt som utarbeides av NIFU. Fordelingen av basisbevilgningene på formål bygger på tidsbrukundersøkelser blant det vitenskapelige personalet. For eksterne midler anslår man hvor stor andel av samlede kostnader som er anvendt på ulike typer FoU-arbeid. Jo mindre en organisasjon er, jo mer sårbar er man for anvendelsen av skjønn. Det viser seg da også at det er svært store forskjeller mellom institusjonene når det gjelder FoU-andel av samlede kostnader. NIFU har ellers valgt å ikke publisere FoU-innsats ned på den enkelte høyskole. Det reflekterer en type usikkerhet som Fagerberg ikke nevner.
Tidspunkt
Målingen gjelder ett enkelt år – publikasjonsdata fra 2009 og FoU-utgifter i 2007. Siden vi snakker om svært heterogene institusjoner når det gjelder størrelse, ville et gjennomsnitt over flere år langt vært å foretrekke. Særlig for de minste institusjonene ville det eliminert tilfeldige utslag. For Høyskolen i Narvik spesielt gjelder at 2009 var et eksepsjonelt godt år mht. publikasjoner med et resultat på 51,8 publikasjonspoeng mot et gjennomsnitt på 27,4 i årene 2006-2008 (Database for høyere utdanning, DBH).
Alternative data
Man kan velge å bruke andre data både når det gjelder resultater og ressurser.
Publikasjonspoeng:
* Det norske systemet for registrering av forskningspublikasjoner (Cristin/DBH) har ett vesentlig fortrinn – det er altomfattende når det gjelder fagområder. I noen få tilfeller er det en faglig diskusjon om hvorvidt en konkret publikasjonskanal hører hjemme på nivå 1 eller 2. På aggregert nivå er det likevel udiskutabelt at nivå 2-kanalene representerer høyere kvalitet enn nivå 1-kanalene. Hvis man ønsker å måle kvalitet i publiseringen, er derfor Cristin/DBH det beste verktøyet vi har pr. dags dato.
Ressurser:
* De rene statsbevilgningene og eksterne forskningsbidrag gir et enkelt tilgjengelig og pålitelig bilde av ressursgrunnlaget både for små og store institusjoner og grupper av institusjoner.
* Tall for ressursinnsats i form av vitenskapelige årsverk er også lett tilgjengelig i offentlig tilgjengelig statistikk.
Alternative beregninger
Nedenfor har vi målt gjennomsnittet 2007–2009 av publikasjonspoeng på nivå 2 mot ressursinnsats på tre måter:
- Gjennomsnittet av bevilgninger (statlige + NFR-/EU-midler samt andre bidrag) for de samme tre årene (kilde er statsbudsjettet).
- Antall årsverk 2007 i de såkalte “undervisnings- og forskerårsverk” (kilde er DBH).
- FoU-utgifter i 2007 (kilde er NIFUs indikatorrapport).
Telleren er altså lik i alle tre målinger. Nevneren er ulik. Og – som det er lett å se – de tre målingene gir helt forskjellige resultater2.
Fig.1 Utvalgte institusjoner:
Bruk av FoU-utgifter i nevneren får den tidligere høyskolen UiS til å framstå som en klar vinner. Også de statlige høyskolene får et vesentlig bedre resultat da. Årsaken er nok bl.a. at man vurderer FoU-andelen av tidsbruken for det vitenskapelige personalet helt ulikt i høyskolesektoren enn ved (de gamle) universitetene3.
Tar vi gjennomsnittet 2007–2009 av alle publika-sjonspoeng og ser disse mot gjennomsnittet av bevilgninger i samme periode for alle universiteter og høyskoler i Norge, avtegner det seg følgende bilde:
Fig.2 Publikasjonspoeng pr. bevilget million:
Som man ser, domineres denne oversikten av universitetene og de vitenskapelgie høyskolene. Og blant de fire beste befinner landets tre største universiteter seg. Om man bare legger til grunn publikasjonspoeng på nivå 2, endres ikke bildet i nevneverdig grad.
Ikke bare forskning
Universiteter og høyskoler driver ikke bare med forskning. Er det slik at de som gjør det mindre bra når det gjelder publisering (forskning), til gjengjeld er bedre når det gjelder undervisning? Vi har målt alle publikasjonspoeng pr. vitenskapelige årsverk mot avlagte studiepoeng (dvs. 60-studiepoengenheter) pr. vitenskapelig årsverk i et x/y-diagram4.
Fig.3 Utdanning og forskning vs. vit.årsverk:
Alle data som inngår i tabellen bygger på et fireårig gjennomsnitt (2006-2009) og gjelder landets nåværende åtte universiteter. De to grå linjene i figuren representerer gjennomsnittsverdi for disse åtte institusjonene for hver av de undersøkte dimensjonene. Den røde linja er en trendlinje – og som man ser, det er ingen trend: Tilfeldighetene råder.
Vi ser også at landets tre største universiteter er best når det gjelder forskning (UiO er aller best). UiO er også blant de beste (nr. to) i landet når man måler utdanningen på denne måten.
Man kan i stedet for vitenskapelige årsverk i nevneren bruke bevilgningstall, jf. figur 4 nedenfor5. Da blir figuren en del annerledes med en klar negativ trend, dvs. at det er typisk å være effektiv mht. forskning og det motsatte mht. utdanning. Eller omvendt.
Fig.4 Utdanning og forskning vs. bevilgninger:
Konklusjon
Vår gjennomgang viser at det er grunn til å advare mot målinger basert på ufullstendig datagrunnlag. I tillegg er alternative framstillinger nyttige for å vise at UH-sektoren er heterogen og kompleks. Produktivitet/effektivitet er vanskelige begreper, og det kan være spesielt vanskelig å finne én enkelt standardisert måte å måle dette på for universiteter og høyskoler.
Det er viktig å måle og telle. Likevel gjelder også Einsteins ord: "Ikke alt som kan telles teller, og ikke alt som teller kan telles". Ikke minst gjelder dette i en periode der vi diskuterer Universitetets rolle i dannelse.
En ensidig vektlegging av publikasjonspoeng, som Fagerbergutvalget synes å legge opp til, vil lett tilsløre det faktum at universitetetens samfunnsoppgaver strekker seg langt utover det å publisere i internasjonale journaler. Javisst er dette viktig, men vi skal også utdanne på høyt nivå, og vi skal formidle, innovere og være engasjert til stede i samfunnsdebatten. Fagerbergutvalget har et så viktig mandat at det bør tenke igjennom hvordan det formidler universitetenes rolle i samfunnet.
Datagrunnlaget er utarbeidet av Per Heitmann i Økonomi- og planavdelingen, og av Magnus Otto Rønningen og Herman Strøm i Forskningsadministrativ avdeling.
[1] Aftenposten bruker betegnelsen “million kroner mottatt til forskning fra staten”. Ut fra Fagerbergs presentasjon på LO-konferansen 28. januar 2011 antar vi at det menes FoU-utgifter (NIFUs indikatorrapport).
[2] Det har vært organisatoriske endringer i perioden: Fusjonen mellom Universitetet i Tromsø og Høyskolen i Tromsø har medført noen skjønnsmessige justeringer av grunnlagstallene på et par mindre punkter.
[3] Ved universitetene har man gjerne en 50/50-fordeling av tida til hhv. forskning og undervisning. Tilsvarende fordeling av tida ved høyskolene er ofte 75/25.
[4] Datakilde er DBH og datadefinisjonene er iht. til Kunnskapsdepartementets “Tilstandsrapport for høyere utdanningsinstitusjoner”. Den vertikale dimensjonen i figuren handler om studiepoeng, den horisontale om publikasjonspoeng.
[5] Vi bruker de rene statsbevilgningene for 2009 som nevner når studiepoeng er telleren. Når vi måler mot publikasjonspoeng, legger vi forskningsråds- og EU-midler til statsbevilgningen i nevneren.
Logg inn for å kommentere
Ikke UiO- eller Feide-bruker?
Opprett en WebID-bruker for å kommentere