Etter å ha definert hvorfor vi ønsker testen og hva den skal teste, er vi klare for å begynne arbeidet med å utforme de gode spørsmålene. Gode spørsmål er spørsmål som faktisk tester det de skal teste, og som er formulert slik at de ikke kan misforstås av en stresset elev og heller ikke kan avsløres ved intelligent gjetting. Slike spørsmål krever vanligvis en stor innsats og mye tankevirksomhet før de er på plass. Samtidig må vi ikke glemme at hovedhensikten med å teste burde være at elevene får vist hva de kan, ikke å prøve å ta dem på det de ikke kan.

Krav til gode spørsmål

Et spørsmål er bygget opp av tre deler: stimuli/ressurs, selve spørsmålet og svaralternativene.

Konstruksjonen av alle tre byr på utfordringer:

spørsmålet: kravet er et spørsmål som i utgangspunktet berører et sentralt faglig tema og som tester på riktig nivå (for eksempel i henhold til Blooms taksonomi), og det skal være klart og utvetydig formulert
stimuli/ressurs: en godt formulert stimuli kan gi elevene noe å jobbe med før de velger seg et svar. Stimuli kan også brukes for å sette kontekst i spørsmålet, for eksempel gjennom å vise et bilde av en plante når spørsmålet handler om fotosyntesen. Stimuli skal være tilstrekkelig utfordrende og motiverende, og bør samtidig være lett å bruke/inkludere i testverktøyet
svaralternativ: kravet er at alternativene er realistiske, like sannsynlige og at de er klart og utvetydig formulert. Det er en utfordring å lage gode distraktører (gale svaralternativer). Når vi stiller et lukket spørsmål, vil vi i valget av alternativer avgrense svarrommet, og også styre tankene i en retning. Det er viktig å huske på at vi skal teste elevenes kunnskap innen et emne, og ikke evnen til å tolke snedige spørsmålsstillinger eller evne til å gjette riktig svar. Det er derfor viktig å være bevisst på å ikke snevre svarrommet for mye inn. Det som du assosierer med noe, trenger ikke å skape samme assosiasjoner hos andre. De kan ikke svare riktig om de ikke forstår spørsmålet, og vi bør ikke uforvarende gi dem svaret gjennom klossete formuleringer. Det er også fort gjort å avsløre svaret et annet sted i testen

Elever er gjerne under press når de tar en slik test, og de misforstår derfor lett det som kan misforstås. Det er verdt å huske på at ikke alle behersker språket like godt. Det kan gjelde både fremmedspråklige og elever/studenter med lese- og skrivevansker.

Vi bør legge vekt på at det at å gjennomføre selve testen skal være så effektivt og enkelt som mulig. Det er ikke det tekniske ved å ta en slik test som er tema!

Og til slutt bør vi legge vekt på å lage tester som utfordrer elevene. De beste spørsmålene krever tankevirksomhet før man svarer, og de må gjerne jobbe en stund for å komme frem til svaret. Samtidig er det viktig å huske på å variere vanskelighetsgraden i en test, slik at ingen får 0 riktige og svært få får alt riktig. Du bør også tenke gjennom progresjonen. Dersom den er stigende, det vil si at testen starter med lette spørsmål og avslutter med vanskeligere, kan det virke motiverende og få frem det beste hos elevene.

Enkle, komplette formuleringer av både spørsmål og alternativer

Som vi tidligere har vært inne på, er målet med testen å teste kunnskap, og ikke evnen til å tolke en mer eller mindre finurlig spørsmålsformulering. Det er derfor svært viktig at språket er enkelt og klart og uten snublefeller. Det er for eksempel en veldig dårlig idé å spille på tilnærmet ordlikhet i ulike alternativer. En stresset elev som vet svaret, kan da lures til å velge feil, og det er jo ikke meningen.

Sjekkliste for å formulere spørsmål og svaralternativer

har du formulert spørsmålet og alternativene så kort og presis som mulig? Er det noen ord du kan ta vekk uten at spørsmålet endrer mening?
starter alle svaralternativene med den samme frasen? Da kan du flytte den til spørsmålet for å gjøre svaralternativene kortere og enklere å lese
inneholder spørsmålet eller alternativene pronomen? Er det helt klart hva et pronomen peker tilbake på?
er alle termer forståelige for en elev/student som kan lærestoffet? Bør du gi dem en ordliste?
har du brukt innskudd og bisetninger? Løs dem opp til korte, selvstendige setninger
bruker du negasjoner (for eksempel ”hvilket av disse alternativene er ikke riktig”)? Vær uhyre forsiktig med det. Hvis de ikke kan unngås, så uthev om ikke annet negasjonen. Hvis du bruker doble negasjoner (hva er ikke feil) bør du omformulere spørsmålet
betyr ja noe negativt eller nei noe positivt? Det kan være vanskelig for elevene å tolke og bør unngås i den grad det er mulig
inneholder spørsmålet et ekstra spørsmål, kan det skape forvirring fordi man ikke vet hvilket spørsmål man skal svare på (eksempel: hvis du skal velge mellom å være rik eller lykkelig, hvem vil du da gå til for å få hjelp til å ta en avgjørelse?)
er noen av svaralternativene dine subjektive oppfatninger? Vi må unngå å stille flervalgsspørsmål når det finnes flere oppfatninger av hva som er riktig. Her må vi bruke fritekst med mulighet for å argumentere for og imot
har du brukt absolutter, som alltid og aldri? Er du sikker på at det ikke finnes minst ett unntak, og at eleven/studenten din vet om det?
er riktig svar på spørsmålet ditt avhengig av tid og sted? Da må du føye til kontekst, gjennom å angi i hvilken sammenheng spørsmålet skal forstås

La alle svaralternativene være like sannsynlige

Vi skal ikke lure elevene med finurlige spørsmål, men vi skal heller ikke hjelpe dem til å gjette svaret. Det bør være minst tre, helst fire likeverdige alternativer som er av den art at elevene må tenke seg grundig om og lese dem nøye.

Det er krevende å lage gode svaralternativer, vi finner gjerne ett eller to gode alternativer til det riktige svaret, men sliter så med å få på plass ett eller to sannsynlige alternativer til. Da er det lett å lage alternativer som elevene straks avslører. Hvis bare ett alternativ straks kan elimineres, øker sjansene betraktelig for at en kan gjette seg til et godt resultat.

Ivar Bjørgen og Helga Ask skrev i 2005 en rapport basert på sine erfaringer fra psykologistudiet ved NTNU (Bjørgen og Ask, 2005). Et av rådene til Bjørgen er å la det være like mange riktige forekomster av alternativ a, alternativ b, alternativ c og alternativ d. Med andre ord må man passe på å stokke om på alternativene slik at det for eksempel er 10 ganger at alternativ a) er riktig svar, 10 ganger at b) er riktig, 10 ganger at c) er riktig og 10 ganger at d) er riktig. Hvis man ikke tenker bevisst gjennom dette, er det fort at alternativ a) oftest er det korrekte svaret, fordi man ofte skriver det riktige svaret først, og deretter lager distraktørene. Bjørgen og Ask understreker altså behovet for å stokke om på alternativene internt i hvert spørsmål på en slik måte at frekvensen for riktige svar fordeles likt. Hvis man ikke er bevisst vil resultatet kunne bli at en elev som kun krysser av for det første alternativet få mange riktige svar. I de fleste digitale tester er det mulig å stokke svar automatisk, også mellom hver gang eleven tar testen og mellom ulike elever. Det gjør at utfordringen med å lage det riktige svaret først blir eliminert, og selv om elevene kan komme til å se en annens skjerm kan også rekkefølgen på svaralternativer variere fra elev til elev.

Vi må også passe på selve utformingen. Hvis ett alternativ er merkbart forskjellig fra de andre, vil elevene ha en tendens til å velge nettopp dette. Her er en sjekkliste for å kontrollere at svaralternativene dine ikke avslører seg i selve utformingen:

har alle alternativene omtrent samme lengde?
er alle grammatikalsk likeverdige (slik at de kompletterer spørsmålssetningen på samme måte)?
er alle på samme detaljnivå (og for eksempel ikke alternativene: rød, blå, svart, lys smaragdgrønn med skjær av blått)?
er det noe i formuleringen som sterkt impliserer hva som er riktig svar?
vi må også passe på at vi ikke direkte avslører riktig svar ved ubetenksomhet. En vanlig feil er å la et spørsmål avsløre svaret på et annet. En annen feil er å uforvarende velge en ressurs/stimuli (for eksempel en illustrasjon) som viser den oppmerksomme eleven hva som er riktig svar i dette eller et annet spørsmål. Vi må også passe på at svaret ikke finnes i et filnavn, et feltnavn eller en lenke.

Distraktørtipset: hjelp til å finne gode spørsmål og alternativer

Mange finner det svært vanskelig å lage gode spørsmål, og ikke minst gode svaralternativer. En måte å gå frem på som vi selv har hatt gode erfaringer med, er å først formulere vanlige, tekstlige spørsmål som elevene svarer på med sin egen tekst. Basert på elevenes svar kan man da finne de vanligste misforståelsene og de gale svarene for temaet. Spørsmålet kan senere omformes til flervalgsspørsmål, og de gale alternativene kan hentes fra de gale svarene. Dette kalles også distraktørtipset og står formulert i Svein Magne Sirnes sin bok. Du kan også lese blogginnlegget til Svend Andreas Horgen om distraktørtipset (ekstern).

Om bruk av "alle alternativer over"

I mangel på gode svaralternativer har vi alltids den muligheten at vi kan bruke: alle alternativene over eller ingen av alternativene over. Men la oss ta et eksempel før vi konstaterer om dette er smart eller ikke. Tenk deg følgende spørsmål:

Hva sa Ole Brumm?

tiddelibom
jeg er sulten
det snør det snør
alle alternativene over

Ole Brumm kunne sagt alle tingene, så ”alle alternativene over” er her riktig svar. Problemet er bare at lille Lise kanskje velger ”tiddelibom”. Dette er jo også riktig. Ole Brumm sa ”tiddelibom”. Lise kunne ett av utsagnene, altså hadde hun delvis kunnskap, men fikk ikke uttelling i det hele tatt. Man bør altså være varsom med denne typen formuleringer, og eventuelt spisse spørsmålet enda mer.

Å lage vanskeligere oppgaver

Funksjonaliteten i testverktøyene gjør at man kan variere vanskelighetsgraden. Når det gjelder flervalgsoppgaver kan du for eksempel velge at det er flere riktige svar, ikke kun ett. Dette øker vanskelighetsgraden når alle korrekte svaralternativer må være avkrysset for at spørsmålet skal bli godkjent som riktig svar. Her kan du derfor variere hvor mange korrekte det skal være for hvert spørsmål, uten at dette nødvendigvis er oppgitt i spørsmålet.

Andre varianter er å bruke fritekst hvor elevene enten skal sette inn et ord eller svare med en egen tekst. Det er til en viss grad mulig å automatisere vurdering og tilbakemelding også for disse, men ofte vil de kreve en manuell vurdering. Elevene kan utfordres ytterligere ved at de først får en flervalgsoppgave hvor de skal velge et eller flere svar, for så i neste oppgave bli bedt i fritekst om å argumentere for hvorfor de mener svaret i foregående oppgave er det korrekte.

Miks og match-oppgaver kan brukes for å se om eleven kan anvende kunnskapen i praksis, for eksempel gjennom å angi ulike begreper og se om eleven klarer å matche disse med utsagn eller praktisk anvendelse. Når det gjelder grammatikk kan man for eksempel ha regler på den ene siden og setninger med grammatikalske feil på den andre siden, og be elevene om å matche hvilken regel som brytes i hvilken setning.