– På kort sikt er det viktig å redusere risiko for juks på hjemmeoppgaver. Hvis man plasserer studentene på skoleeksamen, kjøper man seg tid for å områ seg og finne ut hva man skal gjøre på sikt, sier førsteamanuensis Peter André Busch ved Institutt for informasjonssystemer på Universitetet i Agder.
Han og førsteamanuensis Geir Inge Hausvik står sammen bak en studie av hvor godt ChatGPT svarer på en konkret drøftingsoppgave. Oppgaven som ble gitt til 15 sensorer, ble i gjennomsnitt bedømt til en C av chatboten.
Busch og Hausvik mener UH-sektoren bør gå sammen og bli enige om hvilke regler som gjelder.
– Vi etterlyser et sektorinitiativ, og at det kommer noen retningslinjer og føringer ganske kjapt. Ellers blir det veldig forskjellige løsninger, sier Hausvik.
– To tanker i hodet
Som Uniforum tidligere har omtalt, er det forskjellige meninger om hvordan universiteter bør forholde seg til ChatGPT. Professor i læring og digitalisering Sten Ludvigsen har tatt til orde for at chatbotene først og fremst bør sees på som en ressurs.
– Å hoppe rett til juksedebatten er en dårlig inngang til dette. I høyere utdanning er de viktige spørsmålene knyttet til hva som skal læres, og hvordan dette kan skje i ulike fagområder. Vi bør starte med å tenke på denne teknologien som en partner i studentenes utvikling, sa han til Uniforum tidligere i mars.
Busch og Hausvik mener også at chatbotene kan utnyttes som en ressurs. Men etter deres oppfatning, er debatten om hva som er å regne som juks, helt avgjørende.
– Vi opplever at det er mange uavklarte spørsmål og at det etter hvert som man diskuterer dukker opp nye ubesvarte spørsmål. Når skal for eksempel studentene skrive om til egne ord? Hva skal til for at en tekst er studentens verk? Jeg tror det tar litt tid før man finner ut av dette, sier Busch.
Derfor mener de at det vil være fornuftig å vente med å ta den nye teknologien i bruk for fullt til man har fått på plass klare retningslinjer for bruken.
– Jeg tror det er best at vi tar en liten pause og gjør noen risikoavklaringer før vi tar dem i bruk. Ellers risikerer vi at det går utover den akademiske integriteten, sier Hausvik.
Manglet kildehenvisninger
Chatboten ble satt til å besvare denne oppgaven:
«Smarttelefonen har mange fordeler, blant annet sin mobilitet. Imidlertid har flere negative konsekvenser av smarttelefonbruk blitt identifisert, spesielt når personer blir for knyttet til smarttelefonen. Diskuter potensielle konsekvenser av smarttelefonavhengighet. Bruk gjerne eksempler for å støtte argumentene dine».
15 sensorer ble bedt om å vurdere to besvarelser hver til denne oppgaven. Totalt ble ti besvarelser vurdert. Fem av dem var generert av ChatGPT, og fem besvarelser var skrevet av studenter.
Chatbotens besvarelser sto gjennomsnittlig til C, men Busch og Hausvik sier de hadde noen klare svakheter.
– Vi oppfattet besvarelsene som overfladiske, platte og glatte, sier Busch.
De påpeker dessuten at besvarelsene mangler kildehenvisninger. For at chatbotens og studentenes besvarelser skulle stille likt, ble studentenes kildehenvisninger fjernet før forsøket.
I rapporten om studien påpeker forskerne at ChatGPT ikke snakker sant. I denne studien ble den imidlertid ikke tatt på faktafeil.
På den andre siden mente de fleste av sensorene at tekstene fra ChatGPT generelt hadde god flyt, framsto logiske og inneholdt eksempler.
Råd til lærere
Basert på funnene i undersøkelsen gir Busch og Hausvik blant annet disse anbefalingene til undervisere:
- Å formulere spørsmål hvor det ligger til grunn en forventning om et bestemt innhold i besvarelsen, uten at det blir uttrykt.
- Å referere til kursplanen i eksamensspørsmål.
- Å stille strenge krav til bruk av referanser.
Samtidig understreker de at det er vanskelig å hindre studentene i å bruke ChatGPT mer enn de mener er akseptabelt.
«Det er dessverre betydelige muligheter for studenter som ønsker å jukse, ved å blande sitt eget språk med ChatGPT-generert tekst, be ChatGPT om å omskrive teksten, legge til referanser manuelt osv.», skriver de i sammendraget til studien.
Logg inn for å kommentere