Forskning på bruk av vurderingsformer i MOOC kan være nyttig i planleggingen av ditt nettkurs.

Forskere var tidlig ute med å påpeke forskjellige utfordringer med bruk av vurderingsformer i nettkurs. Dette gjelder særlig bruk av hverandrevurdering, en vurderingsform som er mye brukt i åpne og skalerbare nettkurs. Dersom du skal bruke den, er det flere problemstillinger du må ta hensyn til. Yousef, Wahid, Chatti, Schroeder, og Wosnitza (2015) nevner momenter du bør vurdere i bruk av hverandrevurdering.

For det første, forskere understreker skalerbarhet som utfordring. Dersom du har et stort antall deltakere, bør du designe oppgaver slik at de blir gjennomført i praksis og oppleves som læringsfremmende. Hvis bare en liten andel fullfører og gir tilbakemeldinger fordi oppgaven er for lett eller for vanskelig, for eksempel, er det en lite egnet vurderingsform. Oppgaven bør være designet slik at den blir gjennomført av alle parter og finner sin naturlige plass i læringsdesignet.

For det andre, deltakerne kan ha ulik bakgrunn, erfaringer og forutsetninger for å vurdere oppgaver. Noen har gjort det i kraft av å jobbe med undervisning, mens det kan være helt ukjent for andre. Dette kan gi utslag i svært forskjellige vurderingspraksiser, en faktor du bør ta høyde for dersom du vil bruke hverandrevurdering.

For det tredje, forskere påpeker at måten deltakere gir vurderinger på, kan variere i troverdighet og nøyaktighet. For eksempel, er vurderingene oppriktige og gir deltakerne tilbakemeldinger som fremmer hverandres læring? Eller, opptrer de som «dommere» og gir «riktige» og «gale» svar på innleveringene? En annen utfordring er at de kan opptre som overdreven kritiske eller gi overfladiske tilbakemeldinger. Med andre ord, forstår de hva en læringsfremmende vurdering virkelig er? Dette er også et moment du må tenke over.

For det fjerde, forskere viser også til at vurderingsprosesser har en åpenhetsutfordring. For eksempel, det er liten åpenhet om hvordan vurdering foregår i praksis, noe som kan føre til at vurdering tar svært mange former. Vi får ikke vite om vurderingene er like eller ulike. For at deltakerne skal kunne bli vurdert likt er det viktig at gode vurderingskriterier blir utarbeidet og at disse er sammenfallende med læringsmålene. Det er også viktig at oppgaven er knyttet til læringsmålene.

For det femte, forskere forklarer også at du må vurdere om du skal la deltakerne gi tallfestede eller kvalitative tilbakemeldinger til hverandre. Eller, om du skal kombinere disse to med hverandre. For eksempel, skal du bruke rubrikker eller ha åpne kommentarfelt i hverandrevurderinger i ditt nettkurs?

Hverandrevurdering har fått plass i forskningen

I forskning på MOOC har det bygget seg opp kunnskap på bruk av ulike vurderingsformer. Admiraal, Huisman, og Pilli (2015) gjennomførte en studie som forsøkte å etablere sammenhengen mellom ulike vurderingsformer og oppnådd læringsutbytte. Digitale tester, egenvurdering og hverandrevurdering ble forsket på. Admiraal et al. konkluderer med at egenvurdering ikke alltid er veien å gå. Faktisk konkluderer de med at hyppig bruk av digitale tester, for eksempel, ved at de brukes ofte i et læringsdesign, kan være vel så læringsfremmende enn at man lar deltakerne kontinuerlig vurderer utviklingen av egen læring. Forskerne foreslår at både egenvurdering og hverandrevurdering er bedre brukt som vurdering for læring enn vurdering av læring. Forskerne utvikler egne plattformer for vurdering som kan gi raske tilbakemeldinger, et forhold som trekkes fram som læringsfremmende. For eksempel, Kulkarni, Bernstein, og Klemmer (2015) utviklet vurderingsplattformen PeerStudio. Vurderingsplattformen er designet for å utnytte det store antallet deltakere i nettkurs – og skal i prinsippet gi raske tilbakemeldinger på innleveringer. Når den ble prøvd ut i et nettkurs, fikk deltakerne tilbakemelding etter bare 20 minutter.

Hverandrevurdering i nettkurs har blitt viet plass i MOOC-forskningen og er undersøkt fra ulike perspektiver (Staubitz, Petrick, Bauer, Renz, & Meinel, 2016; Suen, 2014). For eksempel, noen studier har forsøkt å etablere om vurderingsformen har noe for seg i det hele tatt. Meek, Blakemore, and Marks (2017) viser at erfaringene er blandede. Deltakerne mener at vurderingsformen fremmer læringen deres mens andre ser ikke noe nytte i den. Denise K og Edward M (2016) gjennomførte en interessant studie som kan gi noen innsikter. I et nettkurs skulle deltakerne gi hverandre vurderinger på å bli bedre til å skrive. Oppgaven var at deltakerne skulle vurdere hverandres bokmanus. Denise og Edward viser at deltakerne erfarer at de er temmelig delt på om tilbakemeldingene er nyttige eller ikke. På den ene siden finner man en stor gruppe som erfarer at de finner liten verdi i at andre vurderer deres skriveferdigheter. Vurderingene erfares som overfladiske og har ikke kvalitet. Går man til den gruppen av deltakerne, er erfaringene en annen. Tilbakemeldinger utvikler deltakerne som forfattere. For eksempel, tilbakemeldinger fikk dem til å reflektere over hva det vil si å være forfatter og hvordan de skal forbedre seg til å bli bedre skrivere.

Vurderingspraksis i hverandrevurdering i nettkurs er også tatt opp i studier. Og forskerne stiller noen viktige spørsmål. For eksempel, er tilbakemeldingene gode til å fremme læring? Vurderer deltakerne hverandre likt eller forskjellig? Hvor langt står deltakerne fra hverandre i vurdering av hverandres oppgaver? Slike spørsmål ble tatt opp i en studie av Kulkarni et al. (2013). Kulkarni et al. fant at undervisere og lærende gir ofte like vurderinger, men i noen tilfeller er det forskjeller. De lærende har en tendens til å være rausere og gir mer positive vurderinger sammenlignet med underviserens. Når dette er sagt, reiser det spørsmålet om vurderingspraksis endrer seg når nettkurs skaleres. Dette var tema i en studie av Luo, Robinson, og Park (2014). Luo et al. finner faktisk at deltakeres vurderinger er ganske like og sammenfallende med underviserens. Dermed antyder forskningen at vurderingspraksis ikke endrer seg drastisk, selv om nettkurs har mange deltakere.

Et annet tema tatt opp i forskning på vurderingspraksis i hverandrevurdering er hvordan deltakere skal vurdere hverandre. Dette gjelder særlig om underviser skal tilrettelegge for bruk av rubrikker eller ha åpne kommentarfelt i læringsdesignet. Rubrikker er et poengsystem brukt i hverandrevurdering. Deltakere vurderer innleveringer etter en poengskala med vurderingskriterier utarbeidet av underviseren. Ashton og Davies (2015) forsket akkurat på dette temaet. De finner at dersom deltakerne får god veiledning i hvordan de skal anvende rubrikker og vurderingskriteriene, er det større sannsynlighet for at de kan gi gode vurderinger og skille mellom gode og dårlige oppgaver. Forskere prøver også å finne ut om hverandrevurdering bidrar til motivasjon, noe som var tema i en studie utført av Formanek, Wenger, Buxner, Impey, og Sonam (2017). Forskerne eksperimenterte med om plasseringen av hverandrevurderingsoppgaver i nettkurset hadde effekt på gjennomføring. Formanek et al. finner at dersom deltakerne gjennomfører den første hverandrevurderingsoppgaven – og opplevelsen er positiv – er dette en indikasjon på om de fullfører nettkurset.

Litteratur

Admiraal, W., Huisman, B., & Pilli, O. (2015). Assessment in massive open online courses. Electronic Journal of e-Learning, 13(4), 207-216.

Ashton, S., & Davies, R. S. (2015). Using scaffolded rubrics to improve peer assessment in a MOOC writing course. Distance Education, 36(3), 312-334. doi:10.1080/01587919.2015.1081733

Denise K, D. K., & Edward M, E. M. (2016). Adventuring into MOOC writing assessment: Challenges, results, and possibilities. College Composition and Communication, 67(3), 318-359.

Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers and Education, 113, 243-262. doi:10.1016/j.compedu.2017.05.019

Kulkarni, C., Bernstein, M. S., & Klemmer, S. (2015). PeerStudio: Rapid peer feedback emphasizes revision and improves performance. Paper presented at the L@S 2015 - 2nd ACM Conference on Learning at Scale.

Kulkarni, C., Wei, K. P., Le, H., Chia, D., Papadopoulos, K., Cheng, J., . . . Klemmer, S. R. (2013). Peer and self assessment in massive online classes. ACM Transactions on Computer-Human Interaction, 20(6). doi:10.1145/2505057

Luo, H., Robinson, A. C., & Park, J. Y. (2014). Peer grading in a MOOC: Reliability, validity, and perceived effects. Journal of Asynchronous Learning Network, 18(2). doi:10.24059/olj.v18i2.429

Meek, S. E. M., Blakemore, L., & Marks, L. (2017). Is peer review an appropriate form of assessment in a MOOC? Student participation and performance in formative peer review. Assessment and Evaluation in Higher Education, 42(6), 1000-1013. doi:10.1080/02602938.2016.1221052

Staubitz, T., Petrick, D., Bauer, M., Renz, J., & Meinel, C. (2016). Improving the peer assessment experience on MOOC platforms. Paper presented at the L@S 2016 - Proceedings of the 3rd 2016 ACM Conference on Learning at Scale.

Suen, H. K. (2014). Peer assessment for massive open online courses (MOOCs). International Review of Research in Open and Distance Learning, 15(3), 312-327. doi:10.19173/irrodl.v15i3.1680

Yousef, A. M. F., Wahid, U., Chatti, M. A., Schroeder, U., & Wosnitza, M. (2015). The effect of peer aßeßment rubrics on learners' satisfaction and performance within a blended mooc environment. Paper presented at the CSEDU 2015 - 7th International Conference on Computer Supported Education, Proceedings.