Måler kvaliteten i eksamensoppgåver og karakterar

Det er prosjektet Digital læring ved Det medisinske fakultetet som var først ute med å engasjera Stefan Schauber til å måla kvaliteten på eksamensoppgåver og karakterane som blir gjevne til medisinarstudentane. Han har ei postdoktorstilling på Det medisinske fakultetet medan Senter for pedagogiske målingar (CEMO) har postdoktor Muirne Paap på det same prosjektet. Senterleiar Sigrid Blömeke viser til at det var konkrete endringar på medisinstudiet som var bakgrunnen for dette.

Vurderer om karakterane er pålitelege

– Etter at karakterane blei innførte på nytt på medisinstudiet, var det behov for å vurdera innhaldet i dei. Me prøver å finna ut om karakterane som dei gir til studentane, er pålitelege. Dessutan vil me prøva å finna ut korleis faglærarane kan gi studentane gode tilbakemeldingar. Derfor samlar me data og forskingsbaserte ting som fakulteta vil ha nytte av i det arbeidet, fortel Sigrid Blömeke.

Så langt er det berre Det medisinske fakultetet som har brukt desse målingane. – No er me i gang med eit liknande prosjekt ved Det utdanningsvitskaplege fakultetet. For dei vil det vera nyttig å læra av erfaringa som Stefan Schauber har gjort ved Det medisinske fakultetet, understrekar Blömeke.

– Ser på svara frå studentane

Stefan Schauber synest det var svært interessant å få jobba med å betra eksamenskvaliteten og utvikla eit system for meir pålitelege karakterar ved Det medisinske fakultetet. – Ofte er eksamenar i medisin fleirvalseksamenar eller Multiple Choice, men dei har også eksamenar der dei driv med simulering av pasientbehandling. Difor er det litt lettare å bruka slike data for å måla kvaliteten på eksamenar. Eg nyttar meg av dei svara som studentane har gitt til lærarane, for å sjå om dei fungerer slik dei hadde tenkt. Ja, svarar dei slik som lærarane hadde tenkt? spør han.

Postdoktoren meiner at kvalitetssikringa av eksamen må skje i god tid før eksamen blir laga. – Faglærarane må vita på førehand kva studentane bør vita om eit tema, før eksamenen skal haldast. Då kjem me inn som forskarar og fortel litt om opplæringsprosessen. Dei må tenkja gjennom korleis dei underviser studentane og kva som er meininga å finna ut om studentane gjennom ein eksamen. Difor har me utvikla ein ny metode for å analysera eksamensoppgåver, fortel Schauber.

– Kan brukast på fleire område

Sjefen hans, senterleiar Sigrid Blömeke er imponert. – Det er spennande. Og det er faktisk mogleg å bruka den same metoden på heilt ulike fagområde. Fag og metode balanserer i denne analysen. Og med litt tilpassing vil metoden kunne måla ulike ting som ein vil oppnå ved mange heilt forskjellige fag. Til og med i filosofi vil det vera mogleg å bruka denne metoden, så sant folk vil vera med på det, konstaterer ho. Begge er overtydde om at Det medisinske fakultetet lettare kan få eit betre bilete av prestasjonane til studentane gjennom å bruka verktøykassen i denne metoden for å måla kvalitet.

– På same måten som ein vitskapleg artikkel må halda høg kvalitet for å kunna koma på trykk i eit vitskapleg tidsskrift, må også eksamenar vera med på å vurdera kven som har best kvalitet i svara sine. Gjennom å stilla dei rette spørsmåla, kan dermed Det medisinske fakultetet no lettare sikra at karakterane avspeglar eksamensprestasjonane til studentane på ein sannferdig måte. Viss kvalitetssikring blir forsømt, er risikoen stor for at ein karakter berre avspeglar kva ein enkelt sensor synest er rett eller feil i staden for å avspegla ei felles forståing, trur Blömeke og Schauber.

Måler også forskingskvalitet

Senter for pedagogiske målingar (CEMO) har god erfaring med måling av kvaliteten på forskingsprosjekt.

– Me har også forskingsprosjektet «Complex problem solving». Der utviklar me målingsmetodar som også eignar seg til å måla kunnskap som er vanskeleg å definera fordi det er så komplekst. Akademisk kunnskap er jo gjerne det. Difor trur me at me kan bruka erfaringa vår frå denne typen forsking til å forbetra eksamenskvalitet, fortel Sigrid Blömeke.

– Eigentleg brukar me den same metoden for å måla kvaliteten på forskingsprosjekt som den me brukar for å måla eksamenskvalitet, seier ho. Gjennom denne forskinga har dei funne ut ein viktig ting. – Feilmarginen ved heilskaplege system er større enn det den er når ein har klart på førehand kva som er kriterium for kva som kjenneteiknar ein god lege, konstaterer Blömeke.

– Studentane må få klare tilbakemeldingar

For Stefan Schauber er kontakten mellom faglærar og studentane ekstremt viktig. – Studentane må få klare tilbakemeldingar der dei får svar på både kva dei er gode på og kva dei er dårlege på. Difor treng me innspela frå studentane, seier han.

Etter deira meining vil tilbakemeldinga hjelpa studentane til å finna ut kva retning dei bør gå.– Gjennomføring av handlingane kan gi dei ei betre peiling på korleis dei kan gjera det på ein kognitiv måte, slår dei fast.

Blömeke og Schauber er visse på at det har kome noko positivt ut av prosjektet deira for å måla kvalitet på eksamenar og karakterar. – Før var det lite kvalitetssikring på desse områda. No ser fakulteta at dei treng ressursar på dette feltet. Difor kan me tilby noko som ikkje har falle direkte ned frå himmelen, seier dei.

Har utvikla eit nytt verktøy

Under arbeidet med prosjektet har Stefan Schauber også utvikla eit heilt nytt verktøy. – Eg har utvikla eit soft ware-program som kan utføra dei analysane som er naudsynte for å måla kvalitet i eksamensoppgåver og i karakterar som blir gjevne. Og eg trur mange universitet er interesserte i å måla denne delen av utdanningskvaliteten, seier han.

No er også senteret trekt inn i arbeidet med det nye Senteret for framifrå utdanning ved Det matematisk-naturvitskaplege fakultetet. – Der skal me måla korleis studentane utviklar seg under utdanningsprosessen, opplyser Sigrid Blömeke. Og Stefan Schauber trur han har funne ut korleis det er mogleg å snakka om måling av kvalitet innanfor alle fagområde. – Me finn eit felles språk. Det tar tid, men når me har gjort det, så går det fint, er erfaringa hans.

.

Fakta om CEMO:

Centre for Educational Measurement (CEMO) er ei nasjonal forskings- og utviklingseining på Det utdanningsvitskaplege fakultet, som skal medverka til nasjonal og internasjonal kompetanseutvikling innanfor pedagogiske målingar. Eininga skal utvikla og formidla praktisk røynsle til utdanningssektoren innanfor områda barnehage, skule og høgare utdanning, men også grunnleggjande forsking innanfor området pedagogiske målingar.

Leiar: Sigrid Blömeke