Econ Pöyrys kvalitative utfordringer

Manglende kunnskap og svak statistisk forståelse gjør at Econs konklusjoner om at det er finansieringssystemet som har bidratt til økt studiepoengsproduksjon og publiseringsfrekvens, mangler faglig fundament.

Fredag 5. desember arrangerte Kunnskapsdepartementet (KD) en konferanse om evalueringen av finansieringssystemet som ble innført i forbindelse med Kvalitetsreformen. På konferansen la representanter for analyseselskapet Econ Pöyry fram en rapport som var utarbeidet på bestilling fra KD. Finansieringssystemet er et av de mest kontroversielle instrumentene i innføringen av mål- og resultatstyring i høyere utdanning og forskning, og det er derfor vesentlig at Kunnskapsdepartementets evaluering holder et godt faglig nivå.  

Manglende kunnskap og svak statistisk forståelse gjør imidlertid at Econs konklusjoner om at det er finansieringssystemet som har bidratt til økt studiepoengsproduksjon og publiseringsfrekvens, mangler faglig fundament. For studiepoengsproduksjonen dreier det seg konkret om at man har utelatt å formidle og korrigere for to helt vesentlige forutsetninger i modellen:


1. At studiepoeng/vekttall kan sammenlignes uavhengig av hvor mange studiepoeng som ligger i hver eksamen
2. At studiepoeng/vekttall kan sammenlignes på tvers av ulike organiseringer av studiet
 

Den første forutsetningen tar ikke høyde for at Kvalitetsreformen, særlig på universitetene, førte til at evalueringen ble oppstykket: Der ett års studier, f.eks. et grunnfag, tidligere ble evaluert med én eksamen, kan samme studiemengde i dag dekkes av 6 emner à 10 studiepoeng og bli evaluert med 6 eksamener. Den enkleste mulige kvantitative korreksjon består i en binomisk sannsynlighetsmodell, der sannsynligheten for overhodet ikke å avlegge noen studiepoeng vil avta eksponentielt (!) i takt med reduksjon i antall studiepoeng per eksamen. I rapporten skriver imidlertid Econ Pöyry eksplisitt at de forutsetter at underliggende variabler ikke har ført til en endring i andelen ”nullstudiepoengsytere”.
 

Kjenner man innholdet i Kvalitetsreformen, ser man at den forutsetningen rapportforfatterne skulle stilt opp for å legitimere sin presentasjon av data, er at sannsynligheten for å bestå en individuell eksamen ikke er endret. Da ville de fleste umiddelbart sett at Econ var på dypt vann. Ser man nemlig på den andre forutsetningen, organiseringen av studiet, oppdager man at studentene etter Kvalitetsreformen har fått langt tettere oppfølging underveis, bl.a. i form av seminarundervisning og kvalifiseringsoppgaver. Dette har ikke noe med finansieringssystemet å gjøre, men har trolig innvirkning på sannsynligheten for å bestå eksamen.
 

Disse to forholdene alene kan godt tenkes å forklare økningen i antall avlagte studiepoeng per student. Econ Pöyry har begått den elementære logiske feilslutning å se korrelasjonen mellom økt studiepoengsproduksjon per student og innføringen av finansieringssystemet som en årsaksforklaring, mens det i virkeligheten er minst like sannsynlig å betrakte de studieadministrative konsekvensene av Kvalitetsreformen som deres felles årsak.
 

Når det gjelder analysen av forskningspublisering, har Econ Pöyry i rapporten dessverre valgt å undersøke publikasjonspoeng per førstestilling. Hadde det ikke vært for dét, ville de kanskje ha avdekket en vesentlig svakhet i sin egen analyse. Parallelt med økningen i publikasjonspoeng har det også vært en betraktelig økning i antall stipendiater og avlagte doktorgrader. Doktorgrader avlegges som kjent ikke av tilsatte i førstestilling, og omfatter som regel 2-4 publiserte artikler. Dette, sammen med en generell tendens til redusert datamengde per artikkel kan sannsynligvis forklare mye av økningen i antall publiserte artikler (det snakkes humoristisk om MPUer, dvs. Minimum Publishable Units, den minste datamengden som går gjennom i et vitenskapelig tidsskrifts redaksjon).
 

Uten en korreksjon for disse forholdene framstår Econ Pöyrys slutninger om at det er finansieringssystemet som skal ha æren for den påståtte aktivitetsøkningen, som ukvalifisert synsing. Om det ikke i seg selv var ille nok, kommer også Econ Pöyry med tilrådinger på bakgrunn av slutningene sine. Blant annet mener de at det er unødvendig å justere balansen mellom den resultatbaserte finansieringen og basisbevilgningen fordi finansieringssystemet virker. Men når dét ikke er vist, blir det for enkelt å si if it works, don’t fix it. Videre, på bakgrunn av at de påståtte gevinstene ved finansieringssystemet ble realisert så raskt, slutter Econ Pöyry at utfordringen nå ligger på ledelsesplan, og anbefaler mellom linjene enhetlig ledelse – logikken er temmelig springende, og i tillegg spriker data i alle retninger: Institusjonen som gjør det best, Universitetet i Oslo, har valgt ledelse, men mellomledersjiktet har est ut med 65 % de siste 10 årene.
 

Rapporten skulle utgjøre første fase av Kunnskapsdepartementets evaluering av finansieringssystemet. Nå er det viktig at konklusjonene i rapporten ikke aksepteres som premisser i den videre debatten, både fordi de ikke er fundert i fakta og fordi de har en klar ideologisk slagside i retning mer direktør- og kalkulatorvelde. Det sektoren trenger er ikke et fortsatt fokus på rapportering, indikatorer og byråkratisk ledelse, men stabile, gode og tilstrekkelige rammevilkår. Da kan fokus flyttes fra kvantitet til kvalitet.

 

Emneord: Kvalitetsreformen Av Benjamin Endré Larsen, stipendiat, NTLer og tidligere medlem av UiOs finansieringsmodellutvalg
Publisert 17. des. 2008 10:12 - Sist endret 2. sep. 2014 14:00
Legg til kommentar

Logg inn for å kommentere

Ikke UiO- eller Feide-bruker?
Opprett en WebID-bruker for å kommentere