MatNat har laget nettside med råd om ChatGPT

Kompetansesenter for undervisning i realfag og teknologi (KURT), som drives av fakultetet, gir blant annet disse tipsene i artikkelen: 

•  Å bruke bilder, video, lyd og andre medier i oppgaveformuleringene. Språkmodellene kan nemlig ikke lese grafer eller hente ut meningsfull informasjon fra videoer. 

•  Å lage fiktive scenarier der studentene skal vurdere fiktive utfall gitt visse kriterier. Dette klarer også chatbotene dårligere. 

•  Å fokusere på prosessen.

God til å skrive kode

En av dem som står bak artikkelen er Audun Skau Hansen ved KURT. 

Han sier at språkmodellene, som brukes i chatroboter som ChatGPT, har vist seg å løse enkelte oppgaver veldig bra, mens den overhodet ikke takler andre ganske enkle oppgaver. 

– Den er for eksempel veldig god til å skrive kode, sier han. 

En løsning for de som skal undervise i koding, er å kreve at studentene dokumenterer prosessen. 

– Når man utvikler kode i dag i det profesjonelle, holder man hele tiden oversikt over hvem som gjør hva. Og når store grupper skriver kode bruker man GIT, som er et verktøy for å monitorere hvordan koden blir til. Da blir det vanskelig å bruke ChatGPT, som genererer koden i en vending, forklarer han.

Klare svakheter

På det andre siden har chatrobotene så langt for eksempel vært dårlige til å oppgi kilder, og de kan lett misforstå informasjon. 

– De er for eksempel ikke spesielt gode til å oppgi kilder, og de kan lett oppgi kilder som ikke eksisterer, sier Skau Hansen.

Dessuten kan den oppgi ganske merkelige svar på visse spørsmål som er enkle for et menneske. 

 – De versjonene som var i januar, var ganske dårlige på matematikk. Jeg spurte hvor gammel jeg var på min 14-årsdag, og da svarte den at du kan bare ta alderen du har nå og trekke fra 14 år. Det er også mange andre spørsmål den vil svare relativt rart på. Jeg spurte : Hvis du blåser i en trompet når du står foran speilet, vil du da høre lyd? Og da svarte den at nei, lyden kommer ikke ut fra speilbildet, sier han. 

Siden det er veldig varierende hvor gode svar man får fra chatbotene, mener Skau Hansen de kan brukes til å øve opp sudentene i kritisk tenkning

Framover vil fakultetet se på om det finnes flere muligheter for å bruke språkmodeller til å fremme studentenes læring.

Iboende svakheter

De nevnte svakhetene, tror Skau Hansen kan bli mindre etter hvert som teknologien utvikles videre. 

Han tror imidlertid at også teknologien har noen grunnleggende begrensninger, som det er vanskelig å komme forbi. 

– Akkurat nå framstår kanskje teknologien litt mer banebrytende enn den kommer til å være i det lange løp, sier Skau Hansen.

For eksempel er det trolig vanskelig å utvikle en språkmodell som opptrer kreativt. 

– Det er en iboende svakhet med maskinlæring at sånne modeller er trent på et begrenset datasett, og det vil de alltid være. Når vi mennesker skaper nye ideer, setter vi ikke bare sammen eldre ideer. Vi kan skape noe helt nytt. Mennesker er gode til å komme opp med nye ideer gjennom abstraksjon. Når det er sagt, kan det jo hende man får robotene til å fungere på en mer kreativ måte, sier han.