Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Kvantitativ undersøkelse av mulige sammenhenger mellom vurderingsform og karakterer i høyere utdanning

Førsteamanuensis ved avd. for informasjonsteknologi, Høgskolen i Østfold. E-post: monica.kristiansen@hiof.no.

Høgskolelektor ved avd. for informasjonsteknologi, Høgskolen i Østfold. E-post: tom.h.natt@hiof.no.

Førstelektor ved avd. for informasjonsteknologi, Høgskolen i Østfold. E-post: christian.heide@hiof.no.

I denne artikkelen undersøker vi om det gis bedre karakterer når vurderingsformen er mappe enn når vurderingsformen er tradisjonell skriftlig eksamen. For å gjøre dette, har vi tatt utgangspunkt i karakterene studenter ved Høgskolen i Østfold (HiØ) har fått i perioden f.o.m. høstsemesteret 2006 t.o.m. høstsemesteret 2010 i alle emner ved alle avdelinger. Resultatene fra undersøkelsene viser at studenter i gjennomsnitt får bedre karakterer dersom vurderingsformen er mappe enn når vurderingsformen er skriftlig eksamen. I våre data ligger gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen på 0,86 karaktertrinn når vi ser på alle avdelingene samlet. Størst gjennomsnittlig differanse finner vi ved avdeling for informasjonsteknologi. Ved denne avdelingen er gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen på hele 1,25 karaktertrinn. Videre viser våre data at omkring 80 % av studentene får bedre gjennomsnittskarakter på sine mappevurderinger enn på sine skriftlige eksamener når vi ser på alle avdelingene samlet. Ved avdeling for informasjonsteknologi får hele 88,7 % av studentene bedre gjennomsnittskarakter på sine mappevurderinger enn på sine skriftlige eksamener. Dette har imidlertid også sammenheng med studentenes gjennomsnittskarakter.

In this paper, we examine whether students receive better grades when they are assessed by portfolio than by a traditional written school exam. Our results are based on the grades given to students at Østfold University College in the period from autumn 2006 to autumn 2010 in all courses in all faculties.

The results show that students on average receive better grades when they are assessed by portfolio than by a written exam. Our data shows that the average difference between assessment using portfolio and written exam is 0.86 grade points (ranging from 0 to 5, where 5 is the best grade) when all students are taken into account. We find the greatest average difference in grades to be in the faculty of computer science, with 1.25 grade points between assessment by portfolio and traditional written exam.

Further on, our data shows that 80% of all students receive better grades when assessed by portfolio than by written exam. In the faculty of computer science, a total of 88.7% of the students receive better grades when assessed by their portfolio. This is, however, also related to the students' average grade in all courses.

1 Innledning og forskningsspørsmål

Kvalitetsreformen (St.meld. nr. 27, 2001) ble vedtatt i 2001 og iverksatt ved studiestart høsten 2003 ved samtlige høyere utdanningsinstitusjoner i Norge. Sentrale temaer i denne reformen er blant annet en ny gradsstruktur, tettere oppfølging av studentene samt nye vurderingsformer.

Valg av vurderingsform anses ofte i stor grad å være styrende for studentenes studieatferd. Tradisjonell skriftlig eksamen er basert på en kort, summativ vurdering og har til hovedhensikt å teste studentenes kunnskaper ved emnets slutt. Ensidig bruk av en slik vurderingsform for å prøve studentenes kunnskaper anses av mange å stimulere til kortsiktig pugging fremfor læring og forståelse (St.meld. nr. 27, 2001; Gynnild, 2003; Pettersen, 2005).

For å dreie oppmerksomheten og ressursinnsatsen vekk fra avsluttende og kontrollerende vurdering, anbefaler kvalitetsreformen tiltak for tettere oppfølging og mer jevnlig tilbakemelding til studentene som inkluderer bruk av nye og mer varierte vurderingsformer. Hensikten er å sikre et større innslag av formativ og utviklingsfremmende vurdering for å styrke studentenes læring underveis i studiet (Pettersen, 2005). Undersøkelser har vist at kvalitetsreformens intensjon om mer bruk av mappevurdering er blitt fulgt opp av utdanningsinstitusjonene (Dysthe, Raaheim, Lima & Bygstad, 2006).

En mappe kan defineres som en samling studentarbeider, og en mappevurdering er en vurdering av de arbeider som inngår i mappen (Dysthe, 2007). I denne artikkelen undersøker vi om det gis bedre karakterer når vurderingsformen er mappe enn når vurderingsformen er tradisjonell skriftlig eksamen. Spesielt ønsker vi å undersøke følgende hypoteser:

  1. Studenter får bedre eksamenskarakterer ved mappevurdering enn ved skriftlig eksamen.

  2. Studenter med lav gjennomsnittskarakter har større fordel av mappevurdering enn studenter med høy gjennomsnittskarakter.

  3. Studentenes fordel av mappevurdering varierer mellom ulike avdelinger (fagdisipliner) ved HiØ.

Undersøkelsene tar utgangspunkt i karakterene studenter ved HiØ har fått i perioden f.o.m. høstsemesteret 2006 t.o.m. høstsemesteret 2010 i alle emner ved avdelingene Helse- og sosialfag (HS), Ingeniørfag (IR), Lærerutdanning (LU), Informasjonsteknologi (IT) og Økonomi, språk og samfunnsfag (ØSS). Dette består totalt av 1361 emner, 9112 studenter og 54 567 karakterer.

2 Relevant litteratur

I Heide, Kristiansen og Nätt (2012) tok vi utgangspunkt i emner gitt ved ulike avdelinger ved Høgskolen i Østfold (HiØ) og undersøkte om det gis bedre karakterer i emner hvor vurderingsformen er mappe enn emner hvor vurderingsformen er skriftlig eksamen. Videre undersøkte vi i hvilken grad dette varierer mellom de ulike avdelingene ved HiØ. I tillegg undersøkte vi om svake karakterer brukes sjeldnere i emner som vurderes med mappe enn i emner som vurderes med skriftlig eksamen, og om dette i noen grad varierer mellom de ulike avdelingene.

Resultatene fra undersøkelsene viser at gjennomsnittskarakterene i emner vurdert med mappe ligger omkring 0,6–1,0 karaktertrinn høyere enn gjennomsnittskarakterene i emner vurdert med skriftlig eksamen. Videre viser resultatene at standardavviket i studentenes karakterer er signifikant større i emner med skriftlig eksamen enn i emner med mappevurdering. Data viser at standardavviket i emner med skriftlig eksamen er ca. 0,26–0,46 karaktertrinn større enn standardavviket i emner med mappevurdering. Videre viser resultatene mindre hyppig bruk av svake karakterer (E og F) i emner som vurderes med mappe enn i emner som vurderes med skriftlig eksamen.

I Bridges et al. (2002) tar forfatterne opp antagelsen om at studenter oppnår bedre karakterer når de vurderes gjennom kursarbeid (coursework) enn når de vurderes gjennom en tradisjonell skriftlig eksamen. For å teste denne antagelsen har forfatterne tatt utgangspunkt i karakterene gitt i ulike emner som samtidig vurderes med både kursarbeid og tradisjonell skriftlig eksamen ved fire ulike engelske universiteter innenfor fagdisiplinene engelsk, historie, informatikk, juss, biologi og økonomi. Studentkarakterene er hentet fra 132 ulike emner innenfor de seks fagdisiplinene og omfatter 12 500 individuelle studentkarakterer gitt i tidsrommet 1996–1998. I undersøkelsen er kursarbeid definert som alle andre vurderingsformer enn skriftlig eksamen og inkluderer blant annet mappelevering, prosjektarbeid, felt- og laboratorierapporter, essay, softwareprosjekter etc. For å analysere differansen mellom karakterer basert på kursarbeid og karakterer basert på skriftlig eksamen, og om denne differansen varierer fra én fagdisiplin til en annen, er to ulike mål benyttet:

  1. Differansen mellom gjennomsnittskarakteren gitt i kursarbeid og gjennomsnittskarakteren gitt i skriftlig eksamen i hvert emne. Gjennomsnittsverdien i skriftlig eksamen trekkes fra gjennomsnittskarakteren i kursarbeid, slik at en positiv verdi indikerer høyere gjennomsnittskarakter i kursarbeid mens en negativ verdi indikerer høyere gjennomsnittskarakter i skriftlig eksamen.

  2. Andelen av studenter i hvert emne som får høyere karakter i kursarbeid enn i skriftlig eksamen. Andelen uttrykkes i prosent.

Mens det første målet sammenligner gjennomsnittlige karakterer på kursarbeid og skriftlig eksamen, fokuserer det andre målet på studentenes individuelle karakterer i hvert emne. I tillegg til disse to målene, undersøkte forfatterne om påvirkningen av vurderingsform varierer mellom ulike fagdisipliner og om karakterfordelingen innenfor de ulike fagdisiplinene har noen påvirkning. Det er viktig å være klar over at deres analyse er basert på emner som samtidig vurderes både med kursarbeid og tradisjonell skriftlig eksamen.

Resultatene fra undersøkelsene bekrefter antagelsen om at studenter får bedre karakterer på den delen av emnet som vurderes med kursarbeid enn på den delen som vurderes med skriftlig eksamen. Videre viser resultatene at dette varierer innenfor ulike fagdisipliner og at forskjellene er mye mindre i fagdisiplinene historie og engelsk enn hva de er i biologi, økonomi, informatikk og juss. I tillegg viser undersøkelsene at forskjellene i liten grad påvirkes av hvilket karaktersystem som benyttes, men at karakterfordelingene innenfor de ulike fagdisiplinene spiller inn. Forfatterne konkluderer med at studenter som velger å la seg vurdere med kursarbeid har en stor fordel fremfor studenter som velger å la seg vurdere med en tradisjonell skriftlig eksamen. Dette gjelder spesielt i fagdisiplinene økonomi, informatikk og juss.

I Akerjord og Rusås (2003) beskrives et undervisningsopplegg der tradisjonelle forelesninger er fullstendig byttet ut med veiledningsbasert undervisning i grupper sammensatt etter studentenes egne ønsker om arbeidsinnsats. Som vurderingsform er det brukt både mappevurdering og skriftlig eksamen. I artikkelen tar forfatterne opp ulike erfaringer med det nye undervisningsopplegget, blant annet sammenligner de studentenes mapperesultater og eksamensresultater. I kurset ble den skriftlige eksamenen og mappeinnleveringen gjennomført på samme dag. Selve mappeinnleveringen besto av utvalgte deler av den totale mappen som studentene hadde arbeidet med underveis i hele 4. semester, i hovedsak en teoridel og en labdel. For å bestå emnet måtte studentene oppnå ståkarakter både på mappeinnleveringen og på den skriftlige eksamenen.

Studenter som fikk karakterer bedre enn 2,0 på mappen (gammel karakterskala), gjorde det uten unntak tilsvarende bra på skriftlig eksamen. For disse studentene var avvikene mellom mappekarakter og eksamenskarakter mindre enn et halvt karaktertrinn. For studentene som oppnådde karakter 2,0 eller dårligere på eksamen, viste undersøkelsene at det var svært stor spredning i mapperesultatene. Av de totalt 34 studentene som besto eksamen, var differansen mellom eksamenskarakter og mappekarakter mindre eller lik et halvt karaktertrinn for halvparten av studentene. Av de øvrige 17 studentene oppnådde hele 12 studenter bedre karakter på eksamen enn på mappen. Kun én student fikk mer enn ett karaktertrinn bedre karakter på mappen sin enn på skriftlig eksamen. At ulike prøveformer belønner ulike typer av forståelse av fagstoffet gis som en mulig forklaring på avvikene mellom eksamensresultatene og mapperesultatene i undersøkelsen til Akerjord og Rusås.

Mens analysene som er gjort i Heide et al. (2012) og Bridges et al. (2002) tar utgangspunkt i karakterene gitt i hvert enkelt emne, tar vi i denne artikkelen i likhet med Akerjord og Rusås (2003) utgangspunkt i karakterene gitt til hver enkelt student. Analysene som er gjort i Akerjord og Rusås (2003) og Bridges et al. (2002) er begge basert på emner som vurderes både med mappe og skriftlig eksamen. I våre analyser ser vi derimot kun på emner som enten vurderes med mappe eller med skriftlig eksamen. Videre er våre analyser basert på et relativt stort datamateriale bestående av mange emner og studenter fordelt over flere år.

3 Datagrunnlag

Dataene som benyttes til å teste hypotesene i avsnitt 1 er hentet fra Felles Studentsystem (FS). FS er et studieadministrativt system utviklet for universiteter og høyskoler. Her finnes blant annet informasjon om når en student startet sin utdanning, hvilket studieprogram studenten tilhører, hvilke emner studenten har tatt, hvilken vurderingsform som er benyttet i hvert enkelt emne og karakterene studenten har fått.

Høsten 2010 var det til sammen 57 koder i FS for ulike vurderingsformer som benyttes ved Høgskolen i Østfold. Opprettelsen av disse kodene har ikke vært styrt fra sentralt hold. Dette har ført til at nye koder er blitt opprettet ad hoc, noe som gjør at systemet i dag har flere koder som beskriver vurderingsformer som i praksis er identiske.

I våre undersøkelser tar vi utgangspunkt i følgende vurderingsformer:

  • Mappevurdering (se tabell 1 for FS-koder)

  • Tradisjonell skriftlig eksamen (se tabell 2 for FS-koder)

 

Tabell 1.Koder som benyttes i FS ved HiØ til å beskrive emner med mappevurdering
Kode Navn
I Innlevering
L Levering/mappe
MA Mappe
M/P Mappe og prosjekt
MAI Mappeinnlevering
PR Prosjekt
SO Semesteroppgave

 

Tabell 2.Koder som benyttes i FS ved HiØ til å beskrive emner med skriftlig eksamen
Kode Navn
S Skriftlig
SK Skriftlig

Valg av koder som inngår i hhv. mappevurdering og skriftlig eksamen er basert på våre vurderinger av hver enkelt kode i FS. Mappevurdering hvor det i tillegg benyttes avsluttende skriftlig eller muntlig eksamen samt ulike varianter av hjemmeeksamen og praktisk arbeid er ikke tatt med i datagrunnlaget. Vi skiller ikke på om mappen er et individuelt arbeid eller om den er et gruppearbeid, men ser at dette er en interessant problemstilling som bør undersøkes nærmere. Det er jo kjent fra tidligere forskning at læring i grupper gir økt læringsutbytte, se f.eks. Slavin (1991). En slik analyse vil imidlertid kreve en undersøkelse av hvert enkelt emne som vurderes med mappe, da det i våre FS-data som hovedregel ikke foreligger informasjon om hvorvidt mappekarakteren er basert på et individuelt arbeid eller et gruppearbeid.

Dataene i FS er laget slik at hver enkelt student tilhører et studieprogram. Dersom en student velger å bytte studieprogram underveis i utdanningen sin, blir han/hun registrert som to ulike studenter. Når vi har hentet data fra FS, er hver student gitt en unik anonym ID. Denne ID-en er i hovedsak basert på studentens fødselsnummer og studieprogrammet studenten tilhører. For å unngå at en ID kan avsløre en students identitet, blir ID-en anonymisert gjennom en enveisalgoritme kalt MD5 (Rivest, 1992). På denne måten kan vi skille ulike studenter fra hverandre samtidig som anonymiteten opprettholdes.

Bokstavkarakter konverteres til tallkarakter på følgende måte: F=0, E=1, …, A=5. Emner som kun vurderes med bestått/ikke bestått er ikke tatt med i datagrunnlaget vårt.

For å teste hypotesene i avsnitt 1, har vi generert et datasett som tar utgangspunkt i hver enkelt student. For hver enkelt student er følgende inkludert:

  • Studentens anonyme ID (studID).

  • Hvilket studieprogram studenten tilhører (studprog).

  • Hvilken avdeling studieprogrammet tilhører (avd).

  • Antall emner studenten har gjennomført med ren mappe som vurderingsform (antm ).

  • Studentens gjennomsnittskarakter i emner med mappe som vurderingsform (snittm ).

  • Antall emner studenten har gjennomført med skriftlig eksamen som vurderingsform (ants ).

  • Studentens gjennomsnittskarakter i emner med skriftlig eksamen som vurderingsform (snitts ).

  • Totalt antall eksamener studenten har gjennomført uavhengig av vurderingsform (antt ). Kun emner vurdert med bokstavkarakter er inkludert. Emner som kun vurderes med bestått/ikke bestått er dermed ikke tatt med i datagrunnlaget vårt.

  • Studentens gjennomsnittskarakter på alle eksamener (snittt ).

Et utsnitt av datasettet er gitt i tabell 3. Basert på dette datasettet kan vi for hver enkelt student beregne differansen mellom gjennomsnittskarakteren i emner med mappevurdering og gjennomsnittskarakteren i emner med skriftlig eksamen. I alle analysene som er gjort har vi valgt å trekke gjennomsnittskarakteren i skriftlig eksamen fra gjennomsnittskarakteren i mappevurdering. Dette resulterer i følgende:

  • En positiv differanse indikerer at studenten har fått bedre karakter når vurderingsformen er mappe.

  • En negativ differanse indikerer at studenten har fått bedre karakter når vurderingsformen er skriftlig eksamen.

 

Tabell 3.Et tilfeldig utsnitt av datasettet, der vi har tatt utgangspunkt i hver enkelt student. Studentenes anonyme ID består av 38 tegn, men kun de 9 første vises i tabellen
studID studprog avd antm snittm ants snitts antt snittt
55263cc59 ITDM IT 2 4 4 1 8 2,1
a53a52a93 ITB IT 4 3 3 0 12 1,3
28438b163 ITDM IT 3 3 3 0 11 2,2
41f6b4b02 ITB IT 2 3 2 0 6 1,8
4e901a955 DESIGN IR 2 5 2 2 5 3,4

I tabell 4 har vi listet opp andelen av studenter som får bedre gjennomsnittskarakter med mappevurdering enn med skriftlig eksamen når de har gjennomført et gitt antall mappevurderinger og skriftlige eksamener. Av tabellen ser vi tydelig at andelen studenter som får bedre gjennomsnittskarakter på sine mappevurderinger stabiliserer seg rundt 80 % etter at studentene har gjennomført minst to mappevurderinger og to skriftlige eksamener. På bakgrunn av dette har vi i våre analyser valgt å kun ta utgangspunkt i karakterene til de 744 studentene som har gjennomført minst to mappevurderinger og to skriftlige eksamener.

 

Tabell 4.Prosentvis andel av studenter som har fått bedre gjennomsnittskarakter med mappevurdering enn med skriftlig eksamen under seks forskjellige forutsetninger
Forutsetning Ant. stud. Andel (%)
Minst 1 mappevurdering og 1 skriftlig eksamen 1673 69 %
Minst 2 mappevurderinger og 2 skriftlige eksamener 744 80 %
Minst 3 mappevurderinger og 3 skriftlige eksamener 439 82 %
Minst 4 mappevurderinger og 4 skriftlige eksamener 265 81 %
Minst 5 mappevurderinger og 5 skriftlige eksamener 151 83 %
Minst 6 mappevurderinger og 6 skriftlige eksamener 79 81 %

Basert på hver enkelt students gjennomsnittskarakter (snittt ), kan studentene grupperes på følgende måte:

Svake studenter:  0,00–2,49 Middels gode studenter:  2,50–3,50 Gode studenter:  3,51–5,00

Dette er selvsagt ikke den eneste mulige inndelingen av studentene, men en inndeling som tar utgangspunkt i at middelkarakteren C strekker seg fra 2,5 til 3,5. Av de totalt 744 studentene i datasettet, tilhører 171 (23,0 %) studenter gruppen ”gode studenter”, 316 (42,5 %) gruppen ”middels gode studenter” og 257 (34,5 %) gruppen ”svake studenter”.

Når vi benytter denne inndelingen til videre analyser, så er det viktig å merke seg at per definisjon vil variasjonen i differanse mellom mappevurdering og skriftlig eksamen være mer begrenset for svake og gode studenter enn for middels gode studenter. Dersom en svak student har fått karakter F på eksamen, kan ikke studenten få en dårligere karakter ved en alternativ vurderingsform. På samme måte kan ikke en god student få bedre karakter enn A.

4 Metodebeskrivelse

For å illustrere differansen mellom hver enkelt students gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen, benytter vi stolpediagram hvor differansen plottes i sortert rekkefølge. Dette gjøres for alle studenter som har gjennomført minst to mappevurderinger og to skriftlige eksamener.

For å undersøke sannsynligheten for at en student får bedre gjennomsnittskarakter når vurderingsformen er mappe enn når vurderingsformen er skriftlig eksamen, gjennomfører vi en hypotesetest på sannsynligheten (p). I denne testen tar vi utgangspunkt i andelen studenter som får bedre gjennomsnittskarakter med mappevurdering enn med skriftlig eksamen. Nullhypotesen og den alternative hypotesen blir som følger:

H0: Sannsynligheten for at en student får bedre gjennomsnittskarakter når vurderingsformen er mappe enn når vurderingsformen er skriftlig eksamen er mindre eller lik 0,5 (p≤0,5).

H1: Sannsynligheten for at en student får bedre gjennomsnittskarakter når vurderingsformen er mappe er større enn 0,5 (p>0,5).

For å undersøke om studentens forventede gjennomsnittskarakter i emner med mappevurdering (µm ) er signifikant høyere enn i emner med skriftlig eksamen (µs ), gjennomfører vi en hypotesetest på forskjellen mellom de to forventningene µm og µs . I denne testen tar vi utgangspunkt i differansen i gjennomsnittskarakter for hver enkelt student. Nullhypotesen og den alternative hypotesen blir som følger:

H0: Studentenes forventede gjennomsnittskarakter i emner med mappevurdering er lavere eller lik studentenes forventede gjennomsnittskarakter i emner med skriftlig eksamen (µm µs ).

H1: Studentenes forventede gjennomsnittskarakter i emner med mappevurdering er høyere enn studentenes forventede gjennomsnittskarakteri emner med skriftlig eksamen (µm >µs ).

Vi undersøker også om disse forholdene avhenger av gjennomsnittskarakterene til studentene og hvilken avdeling studentene tilhører.

For å gjennomføre disse analysene har vi benyttet statistikkprogrammet Minitab1 samt Microsoft Excel.

5 Resultater

I det følgende oppsummeres resultatene fra analysene som er utført. Merk at datasettet tar utgangspunkt i hver enkelt students gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen. Emner som kun vurderes med bestått/ikke bestått er ikke tatt med i datagrunnlaget vårt.

I figur 1 ser vi et stolpediagram som viser i sortert rekkefølge differansen mellom hver enkelt students gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen. En positiv differanse indikerer at studenten har fått bedre karakter når vurderingsformen er mappe, mens en negativ differanse indikerer at studenten har fått bedre karakterer når vurderingsformen er skriftlig eksamen. Figur 1 består av alle studenter som har gjennomført minimum to emner med mappevurdering og minimum to emner med skriftlig eksamen, og utgjør til sammen 744 studenter.

Figur 1. Differansen mellom hver enkelt students gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen (2. akse), der 1. akse representerer studentene sortert etter størrelsen på differansen.
 

Figur 1 viser tydelig at antall studenter med negativ differanse er langt færre enn antall studenter med positiv differanse, noe som betyr at de fleste får bedre karakter på sine mappeeksamener enn på sine skriftlige eksamener. Videre ser vi at differansen mellom studentenes gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen varierer med opptil 4 karakterer i positiv retning (når mappevurdering gir høyest gjennomsnittskarakter) og med opptil 1,8 karakterer i negativ retning (når skriftlig eksamen gir høyest gjennomsnittskarakter). Dette er også vist i tabell 5.

 

Tabell 5.Gjennomsnittet av differansene mellom studentenes gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen for hver enkelt avdeling samt for alle avdelingene samlet
      Gjennomsnitt:
Avd. Max pos. diff Max neg. diff Diff Pos. diff Neg. diff
Alle 4,05 −1,83 0,86 1,18 −0,53
IT 4,05 −1,50 1,25 1,46 −0,56
IR 3,24 −1,38 0,74 1,00 −0,41
ØSS 3,81 −1,83 0,61 1,11 −0,66
LU 2,00 −1,07 0,46 0,78 −0,44

I tabell 5 har vi beregnet gjennomsnittet av følgende:

  • Alle differanser mellom studentenes gjennomsnittskarakterer i emner vurdert med mappe og i emner vurdert med skriftlig eksamen, altså gjennomsnittet av både positive og negative differanser.

  • De tilfeller der mappevurdering gir best gjennomsnittskarakter, altså gjennomsnittet av kun positive differanser.

  • De tilfeller der skriftlig eksamen gir best gjennomsnittskarakter, altså gjennomsnittet av kun negative differanser.

Dette har vi gjort for hver enkelt avdeling separat samt for alle avdelingene samlet. Avdeling for helse- og sosialfag er ikke listet opp i denne tabellen, fordi avdelingen har svært få studenter (kun 3) som både har gjennomført minst to mappevurderinger og minst to skriftlige eksamener (se tabell 1 og 2).

Av tabell 5 ser vi at gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen ligger på 0,86 karaktertrinn når vi ser på alle avdelingene samlet. Størst gjennomsnittlig differanse finner vi ved avdeling for informasjonsteknologi med 1,25 karaktertrinn.

Forsetter vi å se på alle avdelingene samlet, ser vi videre at gjennomsnittlig positiv differanse (når mappeinnlevering gir høyest gjennomsnittskarakter) er mer enn dobbelt så høy sammenlignet med gjennomsnittlig negativ differanse (når skriftlig eksamen gir høyest gjennomsnittskarakter). Ved avdeling for informasjonsteknologi er gjennomsnittlig positiv differanse på 1,46 karaktertrinn. Dette er nesten det tredobbelte av gjennomsnittlig negativ differanse i den samme avdelingen.

For å sjekke om antall studenter som har fått bedre gjennomsnittskarakter med mappevurdering er signifikant større enn antall studenter som har fått bedre gjennomsnittskarakter med skriftlig eksamen, har vi gjennomført en hypotesetest på sannsynligheten for dette (p). Testen er utført for hver enkelt avdeling separat samt for alle avdelingene samlet. Resultatene fra analysen er gitt i tabell 6.

 

Tabell 6.Hypotesetest av sannsynligheten p, der vi undersøker H0: p≤0,5 mot H1: p>0,5 for hver enkelt avdeling samt for alle avdelingene samlet
Avd. Ant. stud. Andel (%) P-verdi
Alle 744 80,1 % <0,001
IT 239 88,7 % <0,001
IR 316 80,4 % <0,001
ØSS 156 69,2 % <0,001
LU 29 72,4 % =0,012

P-verdien i siste kolonne i tabell 6 gir oss sannsynligheten for å forkaste nullhypotesen gitt at nullhypotesen er sann. Denne ønsker vi skal være minst mulig. Resultatene fra hypotesetestene viser at sannsynligheten for feilaktig å forkaste nullhypotesen er lavere enn 0,001 for alle avdelingene, med unntak av avdeling for lærerutdanning der P-verdien er 0,012. Grunnen til at denne P-verdien er noe høyere enn de andre, er antagelig at antall studenter som oppfyller kravet med minst to mappevurderinger og minst to skriftlige eksamener er svært få ved denne avdelingen (29 studenter). Uansett tyder datamaterialet på at det er høyere sannsynlighet for å få bedre gjennomsnittskarakter med mappevurdering enn med skriftlig eksamen. Dette gjelder både når vi ser på hver enkelt avdeling separat og når vi ser på alle avdelingene samlet.

For å teste om studentenes forventede gjennomsnittskarakter i emner med mappevurdering er signifikant høyere enn i emner med skriftlig eksamen, har vi gjennomført en hypotesetest på differansen mellom de to forventningene µm og µs . Resultatene fra analysen er gitt i tabell 7.

 

Tabell 7.Hypotesetest for differansen mellom studentenes forventede gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen for hver enkelt avdeling samt for alle avdelingene samlet
Avd. Ant. stud. Diff. St.avvik T P-verdi
Alle 744 0,86 0,94 24,74 <0,001
IT 239 1,25 0,98 19,67 <0,001
IR 316 0,74 0,79 16,59 <0,001
ØSS 156 0,61 1,01 7,48 <0,001
LU 29 0,46 0,68 3,67 =0,001

Av tabell 7 ser vi at vi kan forkaste nullhypotesen med en P-verdi lavere enn eller lik 0,001 i alle tilfellene. Datamaterialet tyder dermed på at studenter får signifikant bedre gjennomsnittskarakterer dersom de vurderes med mappe enn når de vurderes med skriftlig eksamen. Dette gjelder både når vi ser på hver enkelt avdeling separat og når vi ser på alle avdelingene samlet.

I analysene ovenfor tok vi utgangspunkt i alle studentene. I det følgende undersøker vi om fordelen av mappevurdering påvirkes av studentenes gjennomsnittskarakter. I figur 2 ser vi stolpediagrammer som viser i sortert rekkefølge differansen mellom hver enkelt students gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen for svake, middels gode og gode studenter. Av stolpediagrammene ser vi at differansen mellom studentenes gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen avhenger av studentenes gjennomsnittskarakter. Spesielt gjelder dette den positive differansen (de tilfellene der mappevurdering gir best gjennomsnittskarakter). For svake studenter varierer den positive differansen mellom studentenes gjennomsnittskarakterer med opptil fire karaktertrinn (se figur 2a). For middels gode studenter varierer den positive differansen med opptil tre karaktertrinn (se figure 2b), 

Figur 2. Differansen mellom a) svake, b) middels gode og c) gode studenters gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen.
mens for gode studenter varierer den positive differansen med kun opptil to karaktertrinn (se figur 2c). Den negative differansen derimot (de tilfellene der skriftlig eksamen gir best gjennomsnittskarakter) holder seg nokså konstant med opptil to karaktertrinn. Dette gjelder for svake, middels gode og gode studenter.

I tabell 8 vises gjennomsnitt av differansene mellom studentenes gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen. Vi skiller mellom gjennomsnittet av

  • både positive og negative karakterdifferanser

  • kun positive karakterdifferanser (tilfeller der mappevurdering gir best gjennomsnittskarakter)

  • kun negative karakterdifferanser (tilfeller der skriftlig eksamen gir best gjennomsnittskarakter)

 

Tabell 8.Gjennomsnitt av differansene mellom studentenes gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen når studentene er gruppert som svake, middels gode og gode studenter
    Gjennomsnitt:
Svake stud. Ant. stud. +/− diff. + diff. − diff.
Alle 257 1,23 1,47 −0,65
IT 90 1,68 1,81 −0,63
IR 113 1,07 1,25 −0,53
ØSS 49 0,92 1,33 −0,68
Middels gode stud. Ant. stud. +/− diff. + diff. − diff.
Alle 316 0,87 1,13 −0,51
IT 106 1,16 1,38 −0,66
IR 122 0,84 0,97 −0,22
ØSS 68 0,54 1,10 −0,59
Gode stud. Ant. stud. +/− diff. + diff. − diff.
Alle 171 0,28 0,67 −0,48
IT 43 0,55 0,81 −0,39
IR 81 0,12 0,51 −0,44
ØSS 39 0,32 0,78 −0,76

Dette er gjort når studentene er gruppert basert på deres gjennomsnittskarakter i alle emner. Dette har vi gjort for hver enkelt avdeling separat samt for alle avdelingene samlet. Avdeling for helse- og sosialfag (HS) og avdeling for lærerutdanning (LU) er ikke tatt med i denne tabellen, fordi avdelingene har svært få studenter som har gjennomført minst to mappevurderinger og minst to skriftlige eksamener i de ulike grupperingene.

Av tabell 8 ser vi at for svake studenter ligger gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen på 1,23 karaktertrinn når vi ser på alle avdelingene samlet. Størst gjennomsnittlig differanse finner vi ved avdeling for informasjonsteknologi på hele 1,68 karaktertrinn.

Forsetter vi å se på alle avdelingene samlet, ser vi videre at gjennomsnittlig positiv differanse (når mappeinnlevering gir høyest gjennomsnittskarakter) for svake studenter er mer enn det dobbelte av gjennomsnittlig negativ differanse (når skriftlig eksamen gir høyest gjennomsnittskarakter). Den største differansen finner vi ved avdeling for informasjonsteknologi med gjennomsnittlig positiv differanse på hele 1,81 karaktertrinn. Dette er nesten det tredobbelte av gjennomsnittlig negativ differanse ved samme avdeling.

For middels gode studenter ser vi at gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen reduseres til 0,87 karaktertrinn når vi ser på alle avdelingene samlet. Størst gjennomsnittlig differanse finner vi ved avdeling for informasjonsteknologi på 1,16 karaktertrinn. Dette tilsvarer en reduksjon på ca. 0,5 karaktertrinn i forhold til svake studenter ved den samme avdelingen.

For alle avdelingene samlet ser vi videre at gjennomsnittlig positiv differanse for middels gode studenter er mer enn det dobbelte av gjennomsnittlig negativ differanse, mens det er mer enn det firedobbelte ved avdeling for ingeniørfag. Også her finner vi den største differansen ved avdeling for informasjonsteknologi med en gjennomsnittlig positiv differanse på 1,38 karaktertrinn. Dette tilsvarer en reduksjon på 0,43 karaktertrinn fra svake studenter ved den samme avdelingen. Gjennomsnittlig negativ differanse ved avdelingen holder seg derimot nokså konstant.

For gode studenter ser vi at gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen reduseres ytterligere til 0,28 karaktertrinn når vi ser på alle avdelingene samlet. Dette er nesten ett karaktertrinn lavere enn for svake studenter. Videre ser vi at vi også her finner størst gjennomsnittlig differanse ved avdeling for informasjonsteknologi på 0,55 karaktertrinn. Dette er mer enn 0,5 karaktertrinn lavere enn for middels gode studenter, som igjen er mer enn 0,5 karaktertrinn lavere enn for svake studenter ved den samme avdelingen. Dette innebærer altså at svake studenter oppnår mye bedre karakter når de vurderes med mappe enn når de vurderes med skriftlig eksamen.

Forsetter vi å se på alle avdelingene samlet, ser vi videre at gjennomsnittlig positiv differanse for gode studenter ligger mye nærmere gjennomsnittlig negativ differanse enn hva tilfellet var for middels gode og svake studenter. Unntaket finner vi ved avdeling for informasjonsteknologi, der en gjennomsnittlig positiv differanse på 0,81 fortsatt er mer enn det dobbelte av gjennomsnittlig negativ differanse.

For å sjekke om antall studenter som har fått bedre gjennomsnittskarakter ved mappevurdering er signifikant større enn antall studenter som har fått bedre gjennomsnittskarakter ved skriftlig eksamen, har vi for hver gruppering gjennomført en hypotesetest på sannsynligheten (p). Testen er utført for hver enkelt avdeling separat samt for alle avdelingene samlet.

Resultatene fra hypotesetestene er gitt i tabell 9, og viser at sannsynligheten for feilaktig å forkaste nullhypotesen er lavere enn 0,001 innenfor alle grupperingene ved alle avdelingene, med unntak av for gode og middels gode studenter ved avdeling for økonomi, språk og samfunnsfag og for gode studenter ved avdeling for ingeniørfag. For middels gode og gode studenter ved avdeling for økonomi, språk og samfunnsfag kan begge nullhypotesene allikevel forkastes med en P-verdi lavere enn 0,05. Det er dermed mindre enn 5 % sannsynlighet for at vi forkaster nullhypotesen feilaktig dersom vi antar at det er høyere sannsynlighet for å få bedre gjennomsnittskarakter med mappevurdering enn ved skriftlig eksamen innenfor alle grupperingene i disse avdelingene. Det samme gjelder dersom vi ser på alle avdelingene samlet. For gode studenter ved avdeling for ingeniørfag er det derimot 11,3 % sannsynlighet for at vi forkaster nullhypotesen feilaktig dersom vi antar at det er høyere sannsynlighet for å få bedre gjennomsnittskarakter med mappevurdering enn ved skriftlig eksamen.

 

Tabell 9.Hypotesetesting på andelen p, der vi undersøker H0: p≤0,5 mot H1: p>0,5 for svake, middels gode og gode studenter for hver enkelt avdeling separat samt for avdelingene samlet
Svake studenter Ant. stud. Andel (%) P-verdi
Alle 257 88,3 % <0,001
IT 90 94,4 % <0,001
IR 113 89,4 % <0,001
ØSS 49 79,6 % <0,001
Middels gode studenter Ant. stud. Andel (%) P-verdi
Alle 316 82,3 % <0,001
IT 106 88,7 % <0,001
IR 122 87,7 % <0,001
ØSS 68 63,2 % =0,019
Gode studenter Ant. stud. Andel (%) P-verdi
Alle 171 63,7 % <0,001
IT 43 76,7 % <0,001
IR 81 56,8 % =0,113
ØSS 39 66,7 % =0,027

For å teste om studentenes forventede gjennomsnittskarakter i emner med mappevurdering er signifikant høyere enn i emner med skriftlig eksamen, har vi for hver gruppering gjennomført en hypotesetest på differansen mellom de to forventningene µm og µs . Testen er utført for hver enkelt avdeling separat samt for alle avdelingene samlet. Resultatene fra analysen er gitt i tabell 10.

 

Tabell 10.Hypotesetest for differansen mellom studentenes forventede gjennomsnittskarakter i emner vurdert med mappe og i emner vurdert med skriftlig eksamen for svake, middels gode og gode studenter for hver enkelt avdeling separat samt for avdelingene samlet
Svake stud. Ant. stud. Diff. St.avvik T P-verdi
Alle 257 1,23 1,00 19,62 <0,001
IT 90 1,68 0,97 16,44 <0,001
IR 113 1,07 0,77 14,73 <0,001
ØSS 49 0,92 1,17 5,51 <0,001
Middels gode stud. Ant. stud. Diff. St.avvik T P-verdi
Alle 316 0,87 0,86 17,98 <0,001
IT 106 1,16 0,91 13,06 <0,001
IR 122 0,84 0,69 13,48 <0,001
ØSS 68 0,54 0,94 4,74 <0,001
Gode stud. Ant. stud. Diff. St.avvik T P-verdi
Alle 171 0,28 0,69 5,28 <0,001
IT 43 0,55 0,67 5,45 <0,001
IR 81 0,12 0,59 1,83 =0,036
ØSS 39 0,32 0,82 2,45 =0,009

Av tabell 10 ser vi at vi kan forkaste nullhypotesen med en P-verdi lavere enn 0,05 i alle tilfellene. Datamaterialet tyder dermed på at studenter får signifikant bedre gjennomsnittskarakterer dersom de vurderes med mappe enn når de vurderes med skriftlig eksamen, uavhengig om studenten er gruppert som svak, middels god eller god. Dette gjelder både når vi ser på hver enkelt avdeling separat og når vi ser på alle avdelingene samlet.

6 Diskusjon, konklusjon og videre arbeid

Resultatene fra undersøkelsene viser at studenter i gjennomsnitt får bedre karakterer dersom vurderingsformen er mappe enn når vurderingsformen er skriftlig eksamen. I våre data ligger gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen på 0,86 karaktertrinn når vi ser på alle avdelingene samlet. Størst gjennomsnittlig differanse finner vi ved avdeling for informasjonsteknologi. Ved denne avdelingen er gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen på hele 1,25 karaktertrinn.

Fortsetter vi å se på alle avdelingene samlet, ser vi videre at gjennomsnittlig positiv differanse (når mappeinnlevering gir høyest gjennomsnittskarakter) er mer enn dobbelt så høy sammenlignet med gjennomsnittlig negativ differanse (når skriftlig eksamen gir høyest gjennomsnittskarakter). Ved avdeling for informasjonsteknologi er gjennomsnittlig positiv differanse på hele 1,46 karaktertrinn. Dette er nesten det tredobbelte av gjennomsnittlig negativ differanse ved den samme avdelingen.

Videre viser våre data at omkring 80 % av studentene får bedre gjennomsnittskarakter på sine mappevurderinger enn på sine skriftlige eksamener når vi ser på alle avdelingene samlet. Ved avdeling for informasjonsteknologi får hele 88,7 % av studentene bedre gjennomsnittskarakter på sine mappevurderinger enn på sine skriftlige eksamener.

Disse resultatene har imidlertid også sammenheng med studentenes gjennomsnittskarakter. Klassifiserer vi studentene som gode, middels gode og svake basert på deres gjennomsnittskarakter i alle emner, ser vi at gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen er 0,28 karaktertrinn for gode studenter, 0,87 karaktertrinn for middels gode studenter og hele 1,23 karaktertrinn for svake studenter. Den største differansen finner vi ved avdeling for informasjonsteknologi, der gjennomsnittlig differanse mellom mappevurdering og skriftlig eksamen er 0,55 karaktertrinn for gode studenter, 1,16 karaktertrinn for middels gode studenter og hele 1,68 karaktertrinn for svake studenter.

Videre viser våre data at 88,3 % av de svake studentene får bedre gjennomsnittskarakter på mappevurdering enn på skriftlig eksamen, mens for middels gode og gode studenter er andelene henholdsvis 82,3 % og 63,7 %. Dette indikerer at svake studenter har større fordel av mappevurdering når det gjelder karakterer enn gode studenter.

For å verifisere disse resultatene om at studenter i gjennomsnitt får bedre karakterer dersom vurderingsformen er mappe enn når vurderingsformen er skriftlig eksamen, har vi ved hjelp av hypotesetesting undersøkt om

  • antall studenter som har fått bedre gjennomsnittskarakter med mappevurdering er signifikant større enn antall studenter som har fått bedre gjennomsnittskarakter med skriftlig eksamen

  • studentenes forventede gjennomsnittskarakter i emner med mappevurdering er signifikant høyere enn i emner med skriftlig eksamen

Resultatene fra begge testene viser at vi kan forkaste alle nullhypotesene med en P-verdi mindre enn 0,05, med ett unntak: For gode studenter i avdeling for ingeniørfag er det 11,3 % sannsynlighet for at vi forkaster nullhypotesen feilaktig dersom vi antar at det er høyere sannsynlighet for å få bedre gjennomsnittskarakter med mappevurdering enn ved skriftlig eksamen.

Våre resultater underbygger derfor de funnene som ble gjort i Bridges et al. (2002) om at studenter får bedre karakterer på den delen av emnet som vurderes med kursarbeid enn på den delen som vurderes med skriftlig eksamen. Videre underbygger resultatene våre at dette varierer innenfor ulike fagdisipliner, og at forskjellene er størst innenfor fagdisiplinen informatikk.

Selv om det ikke er en del av dette prosjektets formål å analysere årsakene til at mappevurdering ser ut til å gi bedre resultater enn tradisjonell skriftlig eksamen, ønsker vi likevel å fremsette noen mulige årsaker:

  1. Ved mappevurdering er det lettere å få hjelp av faglærer/veileder til å øke nivået på det man produserer (uten at studenten selv nødvendigvis øker sin kompetanse).

  2. I de tilfeller der mappen er basert på gruppearbeid, kan det være at svake studenter får bedre karakterer enn de fortjener ved hjelp av de andre gruppemedlemmene.

  3. Ved skriftlig eksamen vil studenten ofte gjøre et forsøk, selv om han/hun ikke er godt nok forberedt. Ved mappeinnlevering, som krever vesentlig mer forarbeid, velger studenten ofte ikke å levere dersom han/hun føler at de ikke har gjort godt nok arbeid. De studentene som ikke leverer sine mapper får ”ikke møtt” til eksamen, og er dermed ikke inkludert i vårt datamateriale.

  4. Ved mappevurdering får studentene i større grad en vurdering av hvor mye arbeid de har lagt ned i prosjektet enn det faglige nivået på arbeidet.

  5. Studentene øker sin faktiske kompetanse og/eller får vist et mer riktig bilde av hva de kan dersom mappevurdering benyttes.

  6. Ved mappevurdering får studentene oftere tilbakemeldinger underveis, noe som motiverer dem til å forbedre arbeidet.

  7. Emner som benytter mappevurdering skiller seg fra emner som benytter skriftlig eksamen. Det er dermed type emne, og ikke vurderingsform, som avgjør studentenes karakter.

  8. Emner som benytter mappevurdering er sjelden anonyme. Når veileder kjenner studenten, har de lettere for å gi gode karakterer. Dette poenget underbygges i Lundgren, Halvarsson og Robertsson (2008), som ser på skillet i karaktersetting mellom veiledere og eksterne sensorer.

Ser vi i litteraturen, vil det være naturlig å tenke at årsak (v) og (vi) ovenfor har stor betydning for våre funn (Gynnild, 2003; Pettersen, 2005; Slavin, 1991). Vårt datamateriale som sådan gir oss imidlertid ikke grunnlag for å vurdere dette. Samtidig hevder Maugesten og Lauvås (2004) at det kan være et sunt prinsipp å holde den summative vurderingen borte fra studentenes læringsprosess, men organisere sistnevnte slik at den formative vurderingen blir selve motoren i læringsprosessen. Dette kan være en måte å jevne ut forskjellene i studentenes eksamenskarakterer i emner som vurderes med skriftlig eksamen (summativ vurdering) og i emner som vurderes med mappe (formativ vurdering).

I denne artikkelen skiller vi ikke på om mappen er et individuelt arbeid eller et gruppearbeid. Dette er imidlertid en meget interessant problemstilling som vi ønsker å undersøke nærmere.

Litteraturliste

Akerjord, M.-A. & Rusås, P. (2003). Differensiert undervisning ved hjelp av gruppeinndeling etter innsatsvilje. UNIPED, 26(3), 1–14.

Bridges, P., Cooper, A., Evanson, P., Haines, C., Jenkins, D., Scurry, D., Woolf, H. & Yorke, M. (2002). Coursework marks high, Examination marks low: Discuss. Assessment and Evaluation in Higher Education, 27(1), 35–48. Publisher Full Text

Dysthe, O. (2007). Mappevurdering som opplæringsform. I S. Tveit (red.), Elevvurdering i skolen - Grunnlag for kulturendring (kapittel 12, s. 133–142). Oslo: Universitetsforlaget.

Dysthe, O., Raaheim, A., Lima, I. & Bygstad, A. (2006). Undervisnings- og vurderingsformer. Pedagogiske konsekvenser av kvalitetsreformen. Evaluering av kvalitetsreformen. Delrapport 7.

Gynnild, V. (2003). Når eksamen endrer karakter. Evaluering for læring i høyere utdanning. Oslo: Cappelen, Akademisk Forlag.

Heide, C. F., Kristiansen, M. & Nätt, T. H. (2012). Vurderingsform og karakterbruk. I T. Aalberg (red.), Norsk informatikkonferanse (NIK) (s. 61–71). Trondheim: Akademika forlag.

Lundgren, S., Halvarsson, M. & Robertsson, B. (2008). Quality assessment and comparison of grading between examiners and supervisors of bachelor theses in nursing education. Nurse education today, 28(1), 24–32. PubMed Abstract | Publisher Full Text

Maugesten, M. & Lauvås, P. (2004). Bedre læring av matematikk ved enkle midler? Rapport fra et utviklingsprosjekt. Høgskolen i Østfold. Rapport 2004:6.

Pettersen, R. C. (2005). Kvalitetslæring i høgere utdanning. Oslo: Universitetsforlaget.

Rivest, R. L. (1992). The MD5 Message-Digest Algorithm. Internet RFC 1321.

Slavin, R. E. (1991). Synthesis of research of cooperative learning. Educational leadership, 48(5), 71–82.

St.meld. nr. 27 (2001). Gjør din plikt – Krev din rett. Kvalitetsreform av høyere utdanning. Oslo: Kirke-, utdannings- og forskningsdepartementet.

1http://www.minitab.com.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon