Data og innsamlingsmetoder

Før vi ser nærmere på metoder for å samle inn data, stopper vi litt opp ved selve begrepet data. For hva betyr det, egentlig? Hva "er" data? I følge HiØs førstelektor i IT, Tom Heine Nätt, er ordet "data" både enkelt og dagligdags, samtidig som det er omfattende og kan ha mange ulike definisjoner. Den vanligste måten å beskrive data på, er likevel at data "er en måte å lagre, overføre og prosessere informasjon i form av et bestemt dataformat. Data kan finnes i både analog og digital form" (Nätt, 2021). Data kan eksistere på mange nivåer, også samtidig, men for at data skal kunne få mening, må den behandles. Noen må forstå den og ha kunnskap om dataene. Det er først når data tillegges en mening eller betydning at den blir informasjon. I seg selv er altså data uten verdi, men med kunnskap om hva den representerer og hvordan den skal tolkes blir den nyttig. For eksempel, sier Nätt (2021) hvis man har en fil med ett siffer på hver linje, så er dette i seg selv data, men det er først når fila leses med kunnskap om at hver linje er alderen på enkeltelever i en skoleklasse, at man kan forstå dataene som informasjon.

Det er først når data tillegges en mening eller betydning at den blir informasjon (Nätt, 2021).

I tillegg til at data kan finnes både i analog og digital form, så er det også vanlig å snakke om kvantitative og kvalitative data. Enkelt sagt er kvantitative data å forstå som tall, kvantifiserbare enheter, som for eksempel kan gjøres om til statistikk. Kvalitative data kan, like enkelt, beskrives som ord eller språk. (Postholm & Jacobsen, 2018). Det er ulike metoder man kan bruke for å hente inn de ulike typene data. Kvantitative metoder kan for eksempel være å lage spørreskjemaer med med faste svaralternativer, som kan telles, mens kvalitative metoder kan for eksempel være åpne tekstsvar eller intervjuer. Mange ganger brukes både kvantitative og kvalitative datainnsamlingsmetoder, fordi de kan utdype hverandre og gi oss en enda bedre forståelse av det vi ønsker å forstå. I forskningsverdenen har det vært - og er - heftige debatter omkring hvilke data og metoder som egner seg best til å beskrive virkeligheten, sosiale fenomener og menneskelig adferd (Postholm & Jacobsen, 2018). Vi skal ikke gå inn i denne debatten her, men bare påpeke at det er viktig å tenke på at det finnes ulike datainnsamlingsmetoder, som vil kunne gi ulike typer forståelse og innsikt. Du blir dermed nødt til å tenke over hvilke metoder du ønsker å bruke.

Fordi vi har spisset denne modulen om læringsanalyse til å først og fremst handle om hvordan læreren kan forbedre kursets innhold og praksis, gjennom å revidere på bakgrunn av data hentet inn fra a) læringsplattformen og b) evalueringsskjemaer, så er det disse to områdene som vil få mest fokus i fagstoffet. Både læringsplattformen og evalueringsskjemaene vil dog kunne frambringe både kvantitative og kvalitative data.

Ønsker du å lære mer om kvalitative og kvantitative undersøkelser, kan du lese mer her: Forstå forskjellen på kvalitative og kvantitative undersøkelser

Relevans, reliabilitet og validitet

Beskrivelsen av begrepet data, i avsnittene over, kan altså hjelpe oss til å forstå læringsanalyse. Læringsanalyse handler jo nettopp om å samle inn data, til ulike formål, på ulike nivåer og med ulike metoder, for å få informasjon og forståelse. Som dere også lærte om i forrige semester, så henter vi inn data for å kunne ta beslutninger basert på bevis, ikke på synsing og magefølelse. Men etter innsamlingen må dataene behandles - av deg alene, eller sammen med kollegaer. Og det er ikke alltid like lett å tolke data. For det første er det ikke sikkert vi forstår hva dataene forteller, og for det andre så vil vi alltid ha med våre egne før-forståelser og vår egen forståelse av "verden og virkeligheten" når vi tolker dataene. Dette kan, i ytterste konsekvens, føre til at vi trekker helt feil konklusjoner.

For å få best mulig kvalitet på dataene våre, er det derfor viktig at vi - både får, underveis og etter innsamling - har de tre begrepene som står i tittelen over, med oss:

Relevans handler om at data må kunne relateres til det forsknings- eller kartleggingsspørsmålet som blir stilt - slik at man får svar på det man faktisk lurer på. Lurer du på hvordan deltakeren opplever nettkurset ditt, kan det være irrelevant å spørre hvor de har tenkt til å feriere i sommer - med mindre dette henger sammen med ditt kurs, selvsagt.

Reliabilitet handler (særlig i kvantitative forskningstradisjoner) om at man kan gjøre samme kartlegging på nytt - og få de samme resultatene hver gang. I kvalitativ forskning knyttes reliabilitet til pålitelighet, for eksempel gjennom at forskeren reflekterer over hvordan hun kan ha påvirket resultatet (gjennom sin tolkning ol.) og at hun også har som ideal å gjøre forskningsprosessen så tydelig som mulig, slik at andre forskere kan vurdere det hun har gjort (Postholm & Jacobsen, 2018).

Validitet handler om at man måler det man har tenkt til å måle, og ikke får data som egentlig måler noe annet. Som et eksempel på det siste kan man tenke seg at man bare spør en spesifikk del av befolkningen om noe, framfor at man spør et representativt utvalg - da vil ikke de dataene man får ut være representativt for befolkningen som helhet. Validitet, eller gyldighet, vil si at man må være sikker på å ha dekning for de konklusjonene man trekker ut fra datamaterialet sitt.

Kausalitet (årsak og virkning) og korrelasjon (samvariasjon)

Å forstå sammenhengen (årsak-virkning) mellom for eksempel undervisningsmetode og læringsutbytte, er ikke like lett som å forstå årsakssammenhenger i naturen. Tyngdeloven er tyngdeloven og har samme årsak-virkningsforhold uansett, mens det å innføre et pedagogisk tiltak i nettkurset ditt, ikke nødvendigvis fører til at kursdeltakeren "lærer mer eller bedre". Selv om vi tror at noe vi innfører, vil gi økt effekt på læring, så er det veldig mange andre faktorer som også spiller inn, og vi kan ikke si med sikkerhet at det er en årsak-virkningssammenheng. Det betyr ikke at vi ikke skal være opptatt av kausalitet, eller årsak og virkning, men når vi for eksempel henter inn data fra vår læringsanalyse, må vi tenke over hvordan vi fortolker dem og hvilke sammenhenger vi ser.

Korrelasjon (samvariasjon, sammenheng) er et statistisk mål på hvor mye to målbare størrelser henger sammen med hverandre. I kvantitative studier er det fort gjort å tolke korrelasjon som en sammenheng, men det er viktig å huske på at det at to forhold varierer sammen, ikke nødvendigvis betyr at de henger sammen. Du husker kanskje eksempelet med forbruk av margarin og skilsmisser, som ble nevnt i forrige semester? Selv om faktorene (margarin og skilsmisser) samvarierer, så er det jo ikke sånn at margarin fører til skilsmisser, eller omvendt.

Datainnsamling, - behandling og etikk

Når du samler inn data, enten direkte fra læringsplattformen eller gjennom spørreundersøkelser, og enten det gjøres underveis eller til slutt i kurset, så må du følge lover og regler for behandling av dataene, samt gjøre deg opp noen etiske betraktninger.

Du må for eksempel vite hvor og hvordan dataene skal lagres, samt hvilke data du har tilgang til. Som du lærer om i podkastepisoden om Canvas, HiØ og læringsanalyse, så vil for eksempel ulike institusjoner gjøre ulike etiske og juridiske vurderinger av hva lærere får tilgang til av data om sine studenter/ elever. Du må sikre deg at du følger regler for personvern, som GDPR. Du må også gjøre juridiske og etiske vurderinger knyttet til innhenting, lagring, analyse og presentasjon. Hvem skal for eksempel ha tilgang til dataene? Hvordan kan de deles? Hvor og hvordan presenteres de? Osv.

Eksempelvis når vi (HiØ-mooc) henter inn data fra Canvas eller svar på evalueringsskjemaene fra våre studenter, så lages og lagres disse med verktøy som HiØ har databehandleravtale med. Det er kun faglærere, sammen med IT-administrative personer, som kan se EmneAnalytics.

Å svare på evalueringsskjemaet er både frivillig og anonymt, og det er i hovedsak relevante faglærere som har tilgang til svarene. Det kan også være et etisk dilemma å balansere ønsket vårt om å få inn svar, og det at det skal oppleves som frivillig å svare. Vi prøver å ikke "mase" for mye på studentene, eller legge press på at de må svare, men sender påminnelse og oppfordring til alle om evalueringsskjemaet, gjennom Canvas og Facebookgrupper, to-tre ganger.

Litteratur:

Nätt, T. (2021). Data. Store norske leksikon. Hentet fra https://snl.no/data