Flervalgsoppgaver i MOOC på Høgskolen i Østfold

I våre MOOC'er har vi en bevisst bruk av flervalgsoppgaver. Siden vi ikke møter studenter på campus, og at studiet i høy grad består av selvstudier må vi sikre at alle får med seg fagstoffet. Det å gi flervalgsoppgaver styrker sannsynligheten for at fagstoffet blir lest siden de omhandler den mer teoretiske siden av modulene. I tillegg blir det gitt praktiske oppgaver som skal vise at man kan anvende det man har lært.

Flervalgsoppgaver har en tendens til å bli betraktet som ren summativ vurdering, men vi forsøker i MOOC'ene å gjøre dem så formative som mulig. Måten vi gjør det på er todelt; for det første ønsker vi gjennom måten spørsmålene blir stilt på å peke på hva som er viktig, og i test-deg-selv-testene får du også i de fleste tilfeller en tilbakemelding på hvorfor svar er gale. På den måten skal du få en rask korrigering og eventuelt få avklart misforståelser så tidlig som mulig i prosessen. Du får derfor gjennom test-deg-selv-testene både en tilbakemelding og en mulighet til å vurdere deg selv - og i hvilken grad du har forstått fagstoffet. I modultesten i slutten av modulen får du ikke denne støtten, der er det kun en summativ vurdering hvor det beregnes hvor mange riktige svar du har, og om du får nok riktige svar til at modultesten er bestått.

I modul 3 får du lære mer om hvordan vi lager MOOC ved Høgskolen i Østfold, og hvor du får et gjensyn med HIØ MOOC-modell for digitale tester.

HIØ MOOC modellen i praksis

Mange bruker flervalgsoppgaver som rene summative vurderinger, hvor det handler om å svare riktig på spørsmålene. På MOOCene på Høgskolen i Østfold ble det innført i første runde en flervalgstest hvor målet var den summative vurderingen, samtidig som den fungerte som et «ris bak speilet» i forhold til å «tvinge» studentene til å lese fagstoffet i de ulike modulene. Senere har denne praksisen blitt endret, slik at flervalgsoppgavene skulle bli mer læringsfremmende – å kunne støtte studentene i sin læringsprosess. HiØ-modellen, som Magnus Nohr og Eva Bratvold har integrert som praksis for bruk av flervalgsoppgaver - som har blitt tatt godt imot av studentene. Det var faktisk litt overraskende at studentene var så positive, men resultatet var at fra å gjøre enkle piloteringer av denne modellen i enkelte moduler så ble kravet – fra studentene – at dette skulle være i alle moduler. I evaluering av IKTpedmooc for vår 2020 sier 50% av studentene at flervalgsoppgavene i svært stor grad vært viktig for deres læringsutbytte, og 40% som sier at de i noe grad har vært viktig for sin læring. De resterende 10% fordeler seg jevnt mellom hverken/eller, i liten/svært liten grad. Disse tallene gjelder de frivillige flervalgsoppgavene i modulene, og tallene for modultestens betydning for studentenes læring er enda bedre!

MOOCene på Høgskolen i Østfold er bygget opp av moduler, som har ulike tema. Modulene kan nærmest sammenlignes med kapitler i en bok, og hver modul inneholder sider med fagstoff, artikler, videoer, refleksjonsspørsmål, tester og praktiske oppgaver.

Modellen går i korte trekk ut på følgende:

Spredt jevnt ut i kursinnholdet i hver modul er det laget små test-deg-selv-tester hvor studenten kan kontrollere sin egen forståelse – i utgangspunktet er det brukt 5 spørsmål om gangen, men tidvis er det ikke nok innhold å spørre om mens andre ganger kreves det flere spørsmål. Disse flervalgsoppgavene er derfor frivillige, men det har vist seg at de aller fleste av studentene bruker disse aktivt i egen læring. Disse spørsmålene er ikke knyttet mot karakterer, det er kun for studentens egen læring og metakognisjon. Studentene kan bruke så lang tid de ønsker, og gjøre testen så mange ganger de vil. Her får de se sine egne svar, og får tilbakemelding på to ting; om svaret er riktig eller galt – og de får en tilbakemelding som sier noe om hvorfor svaret er riktig eller galt. Denne testen representerer den formative bruken av digitale tester.
I slutten av hver modul er det en modultest. Her trekkes det ut 20 spørsmål blant alle spørsmålene fra test-deg-selv-testene tidligere i modulen. Denne er obligatorisk, og teller med i karakteroversikten. Her er testen på tid – vanligvis 20 minutter – men de kan ta testen flere ganger, og hvor det høyeste resultatet blir lagret automatisk. Som standard må studenten ha 80% riktige svar for at modultesten skal være godkjent (bestått/ikke bestått). De får ikke tilbakemelding på om svar er riktig eller galt, og de får heller ikke tilbakemeldingene. Denne testen representerer den summative bruken av digitale tester.

Bilde av HiØ MOOC-modellen Modellen har blitt utviklet over tid, og har ført til en del prinsipielle diskusjoner. For det første prøver HiØ i spørsmålene å trekke fram det viktigste av faginnholdet – det som er viktig å vite etter å ha arbeidet seg gjennom fagstoffet. Det betyr at typiske «lurespørsmål» som «hva ble ikke sagt i videoen» - selv om dette kunne ført til at de faktisk så videoen. I stedet snus spørsmålene for å sjekke om studentene faktisk har forstått og kan anvende det de har lært – i alle fall i så stor grad som mulig. Når det gjelder svaralternativene prøver vi å ikke lure studentene med å lage snedige svaralternativer, men heller lage alternativer som viser refleksjon og forståelse – slik at studentene kan få demonstrert hva de faktisk kan, i motsetning til å prøve å ta dem i å gjøre feil.

Tilbakemeldingene har vært diskutert mange ganger, men praksisen har endt opp med at studentene får en tilbakemelding som sier noe om hvorfor et svar er riktig eller galt – men uten å fortelle hvilket svar som er korrekt dersom de svarer feil. Dette gjør at misforståelser kan lukes bort, og samtidig virker tilbakemeldingene læringsfremmende. Studentene kan derfor lære av eventuelle feil, eller få styrket sin tro på at de har forstått fagstoffet de har vært gjennom.

For å variere vanskelighetsgrad brukes det ulike typer spørsmål, og også ulikt antall riktige svar. Noen spørsmål kan ha ett riktig svar – i andre spørsmål kan alle svar være korrekte, og alle korrekte alternativer må være avkrysset for at spørsmålet blir godkjent. Det betyr at om man krysser ut 3 av 4 svaralternativer når alle fire svaralternativer er korrekte så vil man ikke få godkjent dette som riktig svar. Ofte er det slik at når det er noe som er svært viktig å vite eller kunne så kan alle svar være korrekte – slik at man ikke driver for mye desinformasjon gjennom snedige svaralternativer.

Ikke minst fungerer disse flervalgsoppgavene godt med tanke på skalerbarhet. Når først spørsmål og tilbakemeldinger er laget foregår vurderingen helt automatisk – og da kan heller fagansvarlige og sensorer bruke tid på de praktiske oppgavene, hvor man da får bedre tid til å vurdere og gi tilbakemeldinger på disse.