Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Hvorfor antall arbeidskrav bør reduseres

Om formativ vurdering i ingeniørutdanning
Why the number of mandatory assignments should be reduced
Formative assessment in engineering education
Førsteamanuensis, Fakultet for teknologi, kunst og design OsloMet – storbyuniversitetet
Dosent, Fakultet for teknologi, kunst og design OsloMet – storbyuniversitetet

I litteraturen om vurdering fremheves gjerne formativ vurdering, på empirisk grunnlag, som spesielt læringsproduktiv. Likevel er formativ vurdering et sjeldent innslag i ingeniørutdanning i Norge. Ingeniørstudenter blir ofte vurdert, men nesten utelukkende med sertifisering og rangering som hovedsiktemål. I denne artikkelen beskrives det nåværende vurderingsregimet og spesielt den omfattende bruken av arbeidskrav. Problemet med den rådende praksis er at den formative vurderingen ikke får den posisjonen den fortjener og studenter, emneansvarlige og institusjoner går glipp av de ikke ubetydelige fordelene som formativ vurdering kan gi. Et konkret undervisningsopplegg med formativ vurdering i fokus beskrives og evalueres.

Nøkkelord: formativ vurdering, medstudentvurdering, ingeniørutdanning

The literature about assessment concludes, on empirical grounds, that formative assessment is especially powerful in supporting student learning. Still, engineering bachelor degree programmes in Norway tend to focus, sometimes exclusively, on summative assessment and certification. In the present work, we discuss examples of the rather extensive summative assessment schemes that engineering students are exposed to. The problem with the current practice is that formative assessment is not given priority and students and faculty therefore miss out on the benefits. A concrete teaching plan focusing on formative assessment is presented and evaluated.

Keywords: formative assessment, peer-assessment, engineering education

Innledning

I høyere utdanning er det utstrakt bruk av obligatoriske arbeidskrav. Obligatoriske arbeidskrav er oppdrag studentene må fullføre innen en tidsfrist for å få et emne godkjent. I norsk ingeniørutdanning er arbeidskravene vanligvis skriftlige arbeider. Bruken har aldri vært innført gjennom direktiver, pålegg eller på andre måter fra departementet: det er fagmiljøene selv, dvs. lærerne, som har stått for dette. Det er vanskelig å lese Kvalitetsreformens dokumenter, f.eks. St. meld. nr. 27 (2000-2001), som noe ønske i den retningen.

«Hyppige tilbakemeldinger» til studentene skulle realiseres gjennom Kvalitetsreformen, men det var på ingen måte gitt at tilbakemeldingene skulle gis som tilbakemelding på arbeidskrav.

Riksrevisjonens undersøkelse av studiegjennomføringen i høyere utdanning (Riksrevisjonen, 2014-2015) konkluderer med at (s. 8): «... studiepoengproduksjonen har ligget på omtrent samme nivå siden innføringen av kvalitetsreformen.» Det virker dermed lite sannsynlig at økningen i antallet arbeidskrav har medført noen kvalitetsforbedring i studentenes læringsresultater, slik de for eksempel blir målt ved eksamen.

Denne artikkelen er skrevet med utgangspunkt i de rammeplanstyrte ingeniørutdanningene (Kunnskapsdepartementet, 2011) ved Høgskolen i Oslo og Akershus, HiOA (nå OsloMet – storbyuniversitetet). Ingeniørstudentene der vil i løpet av de to første studieårene møte i gjennomsnitt 81 arbeidskrav. Vi har gjort en grovsortering av disse arbeidskravene ved seks studieprogram, som alle gir bachelorgrad i ingeniørfag, og presenterer resultatene i figur 1. Arbeider som teller med på sluttkarakterene er holdt utenfor.

På samtlige studieprogram er obligatoriske regneoppgaver utbredt. En typisk obligatorisk regneoppgave består av fra 1 til 10 deloppgaver som studentene skal løse innen en gitt frist. Løsningene føres inn på papir og leveres til retting og godkjenning.

Figur 1.

Antall arbeidskrav ved seks studieprogram som alle gir bachelorgrad i ingeniørfag ved HiOA.

Vi har ingen grunn til å tro at tallene fra HiOA skiller seg ut fra det som er vanlig ved andre institusjoner. Basert på overfladisk lesning av emnebeskrivelser, ser det ut til å være omfattende bruk av arbeidskrav, og spesielt obligatoriske regneoppgaver, ved alle ingeniørutdanninger rundt om i Norge. Det typiske antallet obligatoriske innleveringer ligger mellom 3 og 10 for et 10-studiepoengs emne. Høyeste notering vi har observert er 16.

Denne artikkelen beskriver et forsøk med å bruke andre tiltak enn obligatoriske regneoppgaver for å fange studentens oppmerksomhet, og for å gi studentene tilbakemeldinger. Forsøket har i korthet gått ut på å erstatte alle arbeidskrav med systematisk bruk av ren formativ vurdering. Deler av undervisningsopplegget er presentert i en tidligere artikkel (Haugan & Lysebo, 2015). Siden den gang har forsøket blitt utvidet fra to til fem emner, undervisningsopplegget har blitt evaluert av en ekstern ressursperson og data har blitt samlet inn gjennom tre år med forskjellige studentgrupper.

Med utgangspunkt i at Riksrevisjonen ikke finner bedre læringsresultater på tross av et økende antallet arbeidskrav, er det verdt å stille følgende spørsmål:

  1. Kan ren formativ vurdering være et godt alternativ til utstrakt bruk av arbeidskrav og vil studentenes arbeidsinnsats og tidsbruk endres?

  2. Er studentenes utbytte av ren formativ vurdering avhengig av deres forkunnskapsnivå?

Teori

Biggs (Biggs 1996; Biggs & Tang 2007) argumenter for at høyere utdanning bør baseres på constructive alignment. Dette gjelder både på institusjonsnivå og på emnenivå. Begrepet betyr at det er et konstruktivistisk syn på læring som ligger til grunn, og at alle komponenter i hele undervisningsopplegget spiller sammen. De emnene der vi har fjernet obligatoriske arbeidskrav og som inngår i vårt forsøk, er basert på constructive alignment.

Det er ingenting i veien for å ha obligatoriske arbeidskrav i et undervisningsopplegg basert på constructive alignment. Hvis man derimot tar utgangspunkt i teorien om selvbestemmelse, er det grunn til å spørre seg om obligatoriske arbeidskrav er noe å satse på.

Deci og Ryan (1985) diskuterer begrepene indre og ytre motivasjon, samt hvordan studenters grad av autonomi, støtte for kompetansebygging og tilhørighet i et læringsfellesskap har betydning for adferd og læring (Ryan & Deci, 2000). I artikkelen fra 2000 (s. 69) hevder de at indre motivasjon er å foretrekke:

Comparisons between people whose motivation is authentic … and those who are merely externally controlled for an action typically reveal that the former … have more interest, excitement, and confidence, which in turn is manifest both as enhanced performance, persistence, and creativity … and as heightened vitality …, self-esteem … and general well-being.

Selv om de også hevder at det er et kontinuum av typer ytre kontroll, hvorav noen kan være av en slik art at studenter kan akseptere og bli motivert til innsats og læring av de ytre kravene, er det liten tvil om at indre motivasjon og høy grad av autonomi er å foretrekke (s. 73):

… the more students were externally regulated the less they showed interest, value, and effort toward achievement and the more they tended to down responsibility for negative outcomes, blaming others such as the teacher.

… more autonomous extrinsic motivation was associated with more engagement, … better performance, … lower dropout, … higher quality learning, … and better teacher ratings…

Hvis studenter klarer å identifisere seg med de ytre kravene som blir stilt, og de forstår at de kan ha nytte av arbeidet de blir pålagt å gjøre, kan ytre krav og motivasjon nærme seg å ta form av indre motivasjon. På den andre siden vil ytre faktorer som tidsfrister, overvåking og testing undergrave en eventuell indre interesse og motivasjon for en aktivitet (Vansteenkiste, Lens & Deci, 2006, s. 20–21).

Vår erfaring er at ingeniørstudenter ikke har valgt studiet ut fra et brennende ønske om å studere matematikk og fysikk, men for å skaffe seg en teknologisk utdanning. Det er rimelig å anta at det derfor ikke primært er en indre motivasjon som driver dem til å arbeide med disse to fagene. På den andre siden vil de ha forståelse for at de må arbeide med fagene, siden de møter anvendelser i større eller mindre grad i andre fag.

Obligatoriske arbeidskrav, med tidsfrister, formkrav og godkjenningsordninger (der det å feile har den dramatiske konsekvens at studentene ikke får prøve seg på eksamen), er etter vårt syn en ytre påvirkning av studentenes læring som virker demotiverende. I tråd med teorien om selvbestemmelse, har vi derfor gjort ukeoppgavene frivillige, med store muligheter for studentene til selv å bestemme hvordan de vil bruke dem i studiearbeidet.

Scriven (1967) innførte begrepet «formativ vurdering» og løftet med det frem en til da lite vektlagt form for vurdering. På norsk kalles det både «formativ vurdering» og «vurdering for læring». Det viktigste elementet i all formativ vurdering er feedback med læring som mål. Rask feedback er viktig når studentene løser tradisjonelle regneoppgaver (Kulik & Kulik, 1988). Derfor er det lite meningsfullt å bruke mye arbeidstid på «retting», godkjenning og kommentering av studentarbeider når studentene først får feedback så sent at den hører hjemme i kategorien «interessant å vite, men uten synderlig nytteverdi akkurat nå».

Obligatoriske arbeidskrav blir vurdert som godkjent/ikke-godkjent. Selv om dette ikke er et formelt karakteruttrykk, innebærer det to-delt, uformell «karakterfastsettelse». På den andre siden skal arbeidskravene brukes til å gi studentene tilbakemelding om hvordan de ligger an, og gi tilbakemelding (feedback) om hva de bør jobbe videre med. Dermed oppstår det en to-delt vurderingsform: Bruk av obligatoriske arbeidskrav er både summativ og formativ vurdering.

Kombinasjonen av summativ og formativ vurdering er ikke uproblematisk. Ruth Butler satte fingeren presist på dette allerede i 1987 (Butler, 1987): Feedback i form av karakter virker positivt på både kunnskapsutvikling og interesse/motivasjon for dem som får gode karakterer og som forventer å få karakterer også ved senere anledning, men ikke for andre elever. Ingenting var en så effektiv form for feedback som kommentarer, både med hensyn til læring og til motivasjon. Hovedfunnet hennes var imidlertid at kommentarer som gis i kombinasjon med karakter, til og med har mindre effekt enn kun karakterer. Andre studier som støtter dette synet er gjort av Page (1958), Crooks (1988) og Black og Wiliam (1998).

Gibbs (Gibbs & Simpson 2004; Gibbs & Dubar-Goddet 2007) og andre (blant andre Hounsell, McCune, Hounsell & Litjens, 2008) har tatt Butlers funn på alvor og opererer med to kategorier av feedback, det de kaller ren formativ vurdering («formative only assessment») og annen feedback som gis sammen med summativ vurdering av ulikt slag.

Skillet mellom formativ og summativ vurdering er imidlertid ikke uproblematisk, noe som blant annet kan knyttes til definisjonsspørsmålet om hva formativ vurdering er. Denne problematikken, samt problematikken om hvordan man skal måle studentenes eventuelle økte læringsutbytte som følge av formativ vurdering, er diskutert av flere (Dunn & Mulvenon 2009; Wiliam 2011; Bennet 2011). Spesielt gråsonene mellom summativ og formativ vurdering er det mange av innenfor høyere utdanning og i skolen generelt.

Det finnes en lang rekke arbeider som hevder at formativ vurdering har en positiv innvirkning på studentenes læring, for eksempel Page (1958), Crooks (1988), Black og Wiliam (1998) og Hattie og Timperley (2007). Gibbs og Dunbar-Goddet (2007) påpeker at når mengden formativ vurdering øker, øker også tendensen til at studentene får en mer dyp tilnærming til læring. Entwistle (2010, s. 25) påpeker at dyp tilnærming er knyttet til indre motivasjon, og at studentene i større grad tar ansvar for egen læring.

I høyere utdanning forklares fra tid til annen dårlige eksamensresultater med dårlige forkunnskaper, men tiltak utover det å heve opptakskravene er sjeldne. En del studier har vist at formativ vurdering kan gi størst fremgang for de i utgangspunktet lavt-presterende elevene/studentene (Black & Wiliam 2010; Fuchs et al. 1997). Økt vektlegging av formativ vurdering er potensielt effektivt, men om det virkelig er spesielt effektivt for de lavt presterende, er vanskelig å dokumentere.

Ren formativ vurdering brukes trolig i liten grad i norsk ingeniørutdanning i dag. Jessop, McNab og Gubby (2012) har gjennomført en begrenset studie ved et britisk universitet av hvordan institusjonens programbeskrivelser påvirker valg av vurderingsformer. Dette gir sterke føringer på hva som kan inngå i beskrivelsene og hvordan gode tiltak i beskrivelsene kan følges opp i praksis. Jessop et al. (2012) viser at programbeskrivelsene, som del av institusjonenes ønske om høy kvalitet,

  • gir en implisitt beskjed til lærere og studenter om at fokus skal rettes mot summativ vurdering for å ivareta kravet om pålitelig karaktersetting og sertifisering

  • legger begrensinger på programansvarliges mulighet til å utvikle alternative vurderingssystemer.

  • sementerer moduliseringen av studieprogrammene, noe som fører til et økt antall summative vurderinger.

Dersom vi ønsker å vri vurderingen fra summativ til formativ, kan vi kanskje starte med å fjerne rubrikken om arbeidskrav fra programplanene og emnebeskrivelsene. Eller hva med å innføre en egen rubrikk for formativ vurdering?

Det undervisningsopplegget vi beskriver, tar på overordnet nivå utgangspunkt i Deci og Ryans selvbestemmelsesteori samt Biggs teori om «constructive alignment». Metastudiene til både Black & Wiliam og Hattie & Timperley viser potensialet som ligger i å satse på formativ vurdering. Butlers 30 år gamle studie understreker nødvendigheten av et opplegg hvor det skilles skarpt mellom formativ og summativ vurdering. Den praktiske implementeringen av formativ vurdering som vi har valgt, i form av medstudentvurdering, er beskrevet av blant andre Graham Gibbs.

Metode

Denne artikkelen presenterer resultatene fra et utviklingsprosjekt hvis hensikt var å forbedre undervisningsoppleggene og studentenes læring i utvalgte realfaglige emner. Det er altså snakk om lærere som forsker i sin egen praksis og bruker resultatene til å forbedre læringsprosessen. Undervisningsopplegget ble gjennomført første gang høsten 2014 i to emner. Senere ble prosjektet utvidet til å inkludere ytterligere tre emner.

Det første studieåret (2014–2015) ble det satt inn ekstra ressurser for å dokumentere studentens forkunnskaper, deltagelse og opplevelse av undervisningsopplegget, men vi har ikke gjennomført noen kontrollert empirisk studie. Data ble samlet inn av en ekstern ressursperson som intervjuet studentene. Hensikten med intervjuene var å få en bedre forståelse av hvordan undervisningsopplegget ble oppfattet. Intervjuene ble spilt inn på bånd og deretter transkribert. Informantene fikk den transkriberte versjonen til gjennomlesning og kunne korrigere eventuelle misforståelser eller trekke tilbake intervjuet om de angret egne uttalelser. Informantens svar ble aldri delt med lærerne annet enn i en anonymisert, oppsummerende og sterkt redigert form. Den eksterne ressurspersonen var også tilstede i deler av undervisningen, først og fremst i forelesningene.

I begynnelsen av semesteret tok studentene en frivillig forkunnskapstest. Den eksterne ressurspersonen valgte informanter med ulik score for å få et så representativt bilde som mulig av hvordan undervisningsopplegget ble oppfattet av studenter med varierte forkunnskaper. Studenter som valgte å delta i deler av undervisningsopplegget ble også intervjuet for å finne ut mer om årsakene til deres valg. Til sammen ble 16 studenter i en klasse på totalt 50 intervjuet av den eksterne ressurspersonen i løpet av studieåret 2014–2015.

I denne artikkelen presenteres også data i form av eksamensresultater fra emner hvor undervisningsopplegget har blitt benyttet. Dette er offentlig tilgjengelige data fra «Database for statistikk om høgre utdanning» (DBH, 2017). Studentens selvrapporterte tidsbruk i emnene er hentet inn gjennom emneevalueringer.

Undervisningsopplegget

Utprøvingsemnenes plassering i studieprogrammet er vist i Tabell 1. Den ukentlige arbeidsgangen i disse emnene er slik:

  • Studentene får tilgang til ukeoppgavene. Ukeoppgavene er laget slik at de viser hva det er forventet at studentene skal være i stand til å gjøre etter en ukes arbeid. Ønsket læringsutbytte er formulert eksplisitt som læringsutbyttebeskrivelser i noen av emnene, men også implisitt gjennom måten ukeoppgavene er formulert på. Det er frivillig å gjøre ukeoppgavene.

  • Studentene kan velge å delta i timeplanlagte forelesninger. Nytt fagstoff som er nødvendig for å kunne løse ukeoppgavene behandles der.

  • Studentene kan velge å delta i timeplanlagte regneøvinger. Der får de hjelp til å løse ukeoppgavene, og de kan ta opp andre faglige spørsmål.

  • Studentene kan få feedback ved å delta i medstudentvurdering. Medstudentvurdering foregår i de timeplanlagte forelesningene. Studentene kan delta på forelesningenes øvrige aktiviteter, men gå når medstudentvurderingen begynner dersom de ikke ønsker eller trenger feedback.

Endringene vi har gjort er tilsynelatende små. Medstudentvurderingen er et nytt innslag, og det har blitt eksperimentert med to ulike former for medstudentvurdering (Haugan, Lysebo & Lauvås, 2017). Endringene forøvrig har bestått i å fjerne 36 tidligere obligatoriske regneoppgaver, og det har blitt arbeidet systematisk med å utvikle nye ukeoppgaver velegnet for medstudentvurdering og med økt fokus på «constructive alignment».

Tabell 1.

Emnene som inngår i studien og deres plassering i studieløpet. Emnene i de grå boksene er ikke en del av denne studien og gjennomføres på andre måter.

Semester10 stp.10 stp.10 stp.
5.Vektorkalkuls (valgemne)
4.
3.Strømningsteknikk
2.MatematikkTermodynamikk
1.FysikkMatematikk

En vanlig bekymring er kvaliteten på kommentarene som studentene mottar fra medstudenter. Den faglige tilbakemeldingen må nødvendigvis bli dårligere enn det en lærer kunne ha gitt. Så spørs det om ikke hurtig tilbakemelding er minst like viktig (Topping 1998; Gibbs & Simpson 2004), og i tillegg er det avgjørende at tilbakemeldingen skrives på en måte som gjør at den er begripelig for mottagerne. Det er ikke sikkert at læreren gjør noen bedre jobb enn medstudenter i så henseende.

Resultater og diskusjon

Studentenes tidsbruk

Studenters tidsbruk på studiene («Time on task») regnes som en viktig suksessfaktor i all utdanning. Det kreves selvsagt at man bruker tid på studiearbeidet. Og nettopp dette er vel den viktigste begrunnelsen for å bruke arbeidskrav: det gjør det nødvendig for studentene å bruke tid på studiearbeidet.

I flere av emneevalueringene våre har studentene blitt bedt om å anslå antall timer de i gjennomsnitt bruker på studiearbeidet. Det må bemerkes at rundspørringene ble foretatt i undervisningssituasjoner. Man må dermed regne med en viss skjevhet i fordelingene. Andelen som svarte varierte mellom 65 % og 90 %.

De detaljerte tallene for studentenes tidsbruk i utprøvingsemnene har blitt presentert som del av et annet arbeid (Haugan et al., 2017). Vi nøyer oss her med en oppsummerende konklusjon hva disse tallene angår: Studentene rapporterer at de bruker mer tid på utprøvingsemnene sammenliknet med det tidligere studenter har rapport. Endringen er på mellom 0.5 og 1.0 time per uke per emne i gjennomsnitt. Som alltid må man tolke slike tall med stor varsomhet, men det ser i alle fall ikke ut som om studentene bruker mindre tid på emnene som en følge av omleggingen.

Studentene har hatt mange muligheter til å ytre seg om hva de arbeider med og hvordan de arbeider. Det gjelder spesielt studentene som var med første gang emnene ble gjennomført med nytt undervisningsopplegg. I intervjuer, uformelle samtaler og gjennom emneevalueringer har det dukket opp utsagn som kan tyde på en endring i studentenes arbeidsvaner. Kanskje er det vel så viktig og interessant som antallet arbeidstimer per uke. Det handler ikke bare om å arbeide mye og hardt, men å delta i aktiviteter som er læringsfremmende og å arbeide med de riktige tingene.

Mange informanter kommer med utsagn som: Jeg arbeider med disse emnene fordi det er gøy. Noen mener også at de har gjennomskuet en skjult hensikt med undervisningsopplegget: På en merkelig måte arbeider jeg mer fordi jeg ikke blir tvunget til å gjøre oppgavene. Det er noe slags psykologi i det dere gjør. Det er en spekulasjon, men utsagnene tyder på at frivilligheten har utløst en form for indre motivasjon hos noen. Enkelte studenter har også oppdaget andre fordeler: Jeg slipper å bruke tid på oppgaver jeg vet hvordan jeg skal løse. Varianter av de to første utsagnene er langt mer vanlige enn det siste.

Jeg arbeider hardt fordi jeg er redd for å havne bakpå og falle av, er også et vanlig utsagn fra informantene. Et tilstrekkelig antall godkjente arbeidskrav fungerer for enkelte som en bekreftelse på at de har lært nok til å forsøke å bestå eksamen, kanskje i kombinasjon med en intensiv sluttspurt. I utprøvingsemnene kom det aldri noen slik bekreftelse.

Blant våre informanter var det én student som ytret: Jeg gjør ingen ting med mindre jeg blir tvunget til det, og jeg kommer til å stryke. Forøvrig var studenten svært fornøyd med opplegget, som må ha passet vedkommende svært dårlig. Etter eksamen viste det seg, og studenten fortalte det selv, at joda, stryk ble det.

Utsagnene ovenfor fremstiller studentenes reaksjoner som nesten udelt positive, og leseren kan undre seg over om utsagnene er representative. Vi mener de er det, men vil skynde oss å legge til at utsagnene nok er farget av studentenes daglige erfaringer med den omfattende (mis)bruken av obligatorikk i andre emner parallelt med utprøvingsemnene. Informantene gir klart uttrykk for å være lei av en studiehverdag som består av stadige «spurter» mot tidsfrister som fremstår tilfeldige og ukoordinerte.

Lærernes tidsbruk

Obligatoriske aktiviteter er ofte tidkrevende for læreren. Hvis vi begrenser oss til tradisjonelle obligatoriske regneoppgaver og forutsetter at læreren ikke bruker tid på å lage oppgavene, er det retting og administrasjon av «godkjentlister» som tar tid. Et talleksempel kan være illustrerende: I et emne med 10 obligatoriske regneøvinger og 100 studenter krever rettejobben drøye 83 timer, gitt at det tar 5 minutter å gi hver student tilbakemeldinger. For et 10 studiepoengs emne tilsvarer det 20 % av den totale tidsressursen HiOA gir til emnet. Det er uklart i hvilken grad lærere kontrollerer studentenes arbeider med tanke på plagiering, men med ren formativ vurdering gir det ingen mening å forsøke seg på fusk. Det er åpenbart at det kun er én man lurer, nemlig seg selv.

Poenget vårt er ikke at lærerne skal arbeide mindre, men bruke tiden sin på måter som gir studentene størst mulig utbytte. Det er ikke vanskelig å forbedre et emne (litt) ved å arbeide mer, men det er neppe bærekraftig over tid. I utprøvingsemnene har tidsressursen som tidligere var avsatt til retting og godkjenning av studentens utførte arbeid blitt benyttet til å gi studentene mer meningsfylte og gjennomtenkte ukeoppgaver.

Hvordan ble eksamensresultatene?

Figur 2 viser gjennomsnittlig karakterfordeling i de fem utprøvningsemnene. Totalt 11 ordinære eksamener er arrangert siden undervisningsopplegget ble endret, og resultatene fra alle disse eksamenene er vist i figur 2 (sorte søyler). Det er ulikt antall studenter som tar de fem utprøvningsemnene (fra 46 til 250 studenter), og vi har derfor valgt å ta gjennomsnittet av den prosentvise karakterfordelingen i hvert emne. For å gi leseren mulighet til å sammenlikne med relevante tall har vi beregnet tilsvarende gjennomsnitt for de siste fem eksamenene som ble avholdt i de fem utprøvingsemnene før omleggingen av undervisningsopplegget, dvs. gjennomsnittet av totalt 25 eksamener (hvite søyler). Eksamensformen har vært uendret gjennom hele perioden. Karakterene bestemmes av prestasjonen på den avsluttende skriftlige eksamen, og av ingenting annet.

Figur 2.

Gjennomsnittlige eksamenskarakterer før og etter omleggingen av undervisningsopplegget.

Når arbeidskravene er strøket, er det fritt fram for studentene å framstille seg til eksamen. Det er imidlertid ingen ting i dataene som tyder på at mange studenter dermed velger å gå uforberedt til eksamen og stryker som en konsekvens av det. Tvert imot, strykprosenten i disse emnene er i snitt redusert med 5 prosentpoeng etter omleggingen.

På studieprogrammet, hvor forsøket beskrevet i denne artikkelen pågår, var den gjennomsnittlige strykprosenten for alle emner ca. 20 % i perioden 2014–2016 (inkludert utprøvingsemnene). Til sammenlikning var den i perioden 2010–2013 på ca. 15 %. Det er altså ikke slik at studentene generelt har prestert bedre de senere årene. Hvorfor studentene har gjort det såpass bra i utprøvningsemnene, vet vi ikke noe sikkert om. Det som er sikkert, er at frykten for at resultatene skulle bli dramatisk mye dårligere når arbeidskravene ble tatt bort, var ubegrunnet.

Kanskje er resultatene fra innføringskurset i matematikk av størst interesse. I dette emnet kan man ofte oppleve de høyeste strykprosentene og den svakeste karakterfordelingen. Det er også et omfattende emne som ikke er blitt delt opp i mindre moduler.

I det første kurset i matematikk ved ingeniørutdanningene er det ikke sjelden med strykprosenter godt over 50 %. Andelen som får bedre enn middels karakter, kan ofte være lav. Ved eksamen våren 2015 var imidlertid resultatene gode, med strykprosent på 14 % og med 16 % som fikk toppkarakter. Over halvparten fikk karakter C eller bedre. Det var en klar framgang fra våren 2014 da 40 % strøk og ytterligere 33 % fikk karakterene E eller D. Ved eksamen 2016 var resultatene noe dårligere, men likevel markant bedre sammenliknet med årene før endringen. Hva framgangen fra 2014 til 2015 og 2016 kommer av, er ikke lett å si noe sikkert om, blant annet fordi det hadde vært skifte av lærer.

Kvaliteten på eksamensoppgavene ble imidlertid sikret ved bruk av ekstern sensor, eller ved bruk av ekstern konsulent.

Hvem har størst utbytte av ren formativ vurdering?

Innledningsvis stilte vi spørsmålet om bruk av ren formativ vurdering slår likt ut for alle studenter. Spesielt er vi opptatt av hvordan dette slår ut for de studentene som stiller med dårlige forkunnskaper i matematikk.

Vi har lite «hard empiri» å vise til, men presenterer de data vi har. Vi oppfordrer leserne til å gjøre forsøk for å finne ut om det virkelig er tilfellet at formativ vurdering hjelper de svakest presterende studentene mest, slik som det hevdes i litteraturen.

Studentene som startet sine studier høsten 2014 tok en frivillig forkunnskapstest i matematikk. Testen det er snakk om er Calculus Concept Inventory (se f.eks. Epstein, 2013). Resultatene var, ikke overraskende, ganske dårlige. Senere viste det seg at halvparten av studentene som scoret lavt på denne testen, oppnådde karakteren C eller bedre 9 måneder senere. Den eksterne ressurspersonen undersøkte sammenhengen mellom forkunnskaper og eksamensresultater, og de data vi har er presentert i figur 3.

Figur 3.

Sammenheng mellom score på forkunnskapstesten og eksamensresultat.

Studentene med dårlig resultater på forkunnskapstesten og gode eksamensresultater ble senere intervjuet. Informantene bekreftet at det hadde stått dårlig til innledningsvis. Valgfriheten, fraværet av obligatorikk og den motivasjonen undervisningsopplegget skapte ble høyt verdsatt av informantene og var for dem langt viktigere enn medstudentvurderingen i seg selv. Valgfriheten var sentral fordi den gjorde det mulig å velge bort det som det i øyeblikket ikke var fruktbart å drive med. De innledningsvis svakeste studentene som lyktes, var også de som arbeidet flest timer i snitt per uke.

Om disse studentene har hatt større utbytte av satsingen på ren formativ vurdering enn andre, kan vi ikke si noe sikkert om. Nøkkelen er som alltid arbeidsinnsatsen, men ikke bare den. Det spiller en rolle hva studentene arbeider med. Ren formativ vurdering gir studentene mer autonomi til å legge opp sitt studiearbeid etter egne behov. Obligatorikk innebærer per definisjon at alle må gjøre det samme uansett hva man kan og hva man må konsentrere seg om fordi man ikke kan.

Konklusjon

De bakenforliggende årsakene til studentenes ekstra innsats i utprøvningsemnene får vi aldri vite noe sikkert om, men studentenes mange kommentarer om frivillighet og indre motivasjon er i stor grad forenelig med Deci og Ryans selvbestemmelsesteori. Butlers studie, sammen med mange senere studier, vektlegger også sammenhengen mellom vurdering og motivasjon over tid. At studenter som frivillig bruker mer tid på studiearbeidet også presterer bedre til eksamen, er ikke særlig overraskende. Med «constructive alignment» som bærebjelke i undervisningsopplegget skulle det bare mangle.

Arbeidskrav som en form for primitiv disiplinering av studentene er både uheldig og unødvendig. Når vi i tillegg tar i betraktning den store arbeidsbyrden dette medfører for lærerne, er det vanskelig å forstå at så mange lærere aktivt og bevisst legger opp til en ordning der den summative og den formative vurderingen så å si systematisk blandes sammen. Satser man på å bruke formativ vurdering, synes det å være nødvendig å ta skrittet fullt ut og bruke ren formativ vurdering.

Innledningsvis stilte vi disse forskningsspørsmålene:

  1. Kan ren formativ vurdering være et godt alternativ til utstrakt bruk av arbeidskrav og vil studentenes arbeidsinnsats og tidsbruk endres?

  2. Er studentenes utbytte av ren formativ vurdering avhengig av deres forkunnskapsnivå?

Innføringen av Kvalitetsreformen i høyere utdanning har ført til at antall obligatoriske arbeidskrav har økt kraftig. Begrunnelsen vi ofte hører for innføring av kravene, er at de er med på å få studentene til å arbeide. Hvis hypotesen er at vi må ha obligatoriske arbeidskrav for å få studentene til å arbeide med emnet, mener vi bestemt å ha falsifisert denne hypotesen ved å vise til studentenes egenrapporterte tidsbruk. Studentene arbeider minst like mye som da emnene hadde arbeidskrav. Vi har også observert at den rene formative vurderingen kan være egnet til å skape og opprettholde varig motivasjon for å arbeide med emnene.

Ut fra studentenes svar på intervjuer, og ut fra oppnådde eksamensresultater, mener vi at et opplegg basert på formativ vurdering slik vi har beskrevet, er et godt alternativ til bruk av obligatoriske arbeidskrav.

Når det gjelder sammenhengen mellom forkunnskapsnivå og utbytte av ren formativ vurdering, har vi ikke grunnlag for å trekke noen konklusjon. I litteraturen hevdes det av og til at det er de i utgangspunktet lavt presterende studentene som tjener mest på bruk av ren formativ vurdering. Vi observerer at noen av disse studentene lykkes langt bedre enn det utgangspunktet skulle tilsi og at de selv mener undervisningsopplegget passer godt for dem. Dette er et lovende resultat som vi mener bør følges opp med mer målrettede undersøkelser.

Litteratur

Bennet, E. R. (2011). Formative assessment: a critical review. Assessment in Education: Principle, Policy & Practice, 18(1), 5–25. DOI: http://dx.doi.org/10.1080/0969594X.2010.513678.

Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, 32(3), 347–364. DOI: http://dx.doi.org/10.1007/BF00138871.

Biggs, J., & Tang, C. (2007). Teaching for Quality Learning at University (3rd ed.). Maidenhead: Open University Press.

Black, P. J., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles Policy and Practice, 5(1), 7–74. DOI: http://dx.doi.org/10.1080/0969595980050102.

Black, P., & Wiliam, D. (2010). Inside the Black Box: Raising Standards through Classroom Assessment. Phi Delta Kappan, 92(1), 81–90. DOI: http://dx.doi.org/10.1177/003172171009200119.

Butler, R. (1987). Task-involving and ego-involving properties of evaluation: Effects of different feedback conditions on motivational perceptions, interest and performance. Journal of Educational Psychology, 79(4), 474–482. DOI: http://dx.doi.org/10.1037/0022-0663.79.4.474.

Crooks, T. (1988). The impact of Classroom Evaluation Practices on Students. Review of Educational Research, 58(4), 438-481. DOI: http://dx.doi.org/10.3102/00346543058004438.

DBH, (2017). Eksamensresultater: Fordeling av karakterer 2010-2016. Bergen: Norsk senter for forskningsdata.

Deci, E. L., & Ryan, R. M. (1985). Intrinsic motivation and self-determination in human behavior. New York: Plenum Press. DOI: https://dx.doi.org/10.1007/978-1-4899-2271-7.

Dunn, K. E., & Mulvenon, S., W. (2009). A Critical Review on Formative Assessment: The Limited Scientific Evidence of the Impact of Formative Assessment in Education. Practical Assessment, Research & Evaluation, 14(7), 1–11.

Entwistle, N. (2010). Taking Stock: An Overview of Key Research Findings. I Hughes, J. C., & Mighty, J. (Red.), Taking Stock. Research on Teaching and Learning in Higher Education (s. 15-57). Montreal og Kingston: School of Policy Studies, Queen's University, McGill-Queen's University Press.

Epstein, J. (2013). The Calculus Concept Inventory – Measurement of the Effect of Teaching Methodology in Mathematics. Notices of the American Mathematics Society, 60(8), 1018–1026. DOI: http://dx.doi.org/10.1090/noti1033.

Fuchs, L. S., Fuchs, D., Karns, K., Hamlett, C. L., Katzaroff, M. & Dutka, S. (1997). Effects of task focused goals on low achieving students with and without learning disabilities. American Educational Research Journal, 34(3), 513–543. DOI: http://dx.doi.org/10.3102/00028312034003513.

Gibbs, G., & Dunbar-Goddet, H. (2007). The effects of programme assessment environments on student learning. Report submitted to the Higher Education Academy. Oxford: Oxford Learning Institute.

Gibbs, G., & Simpson, C. (2004). Does your assessment support your students’ learning? Learning and Teaching in Higher Education, 1(1), 3–31.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112. DOI: http://dx.doi.org/10.3102/003465430298487.

Haugan J., & Lysebo, M. (2015). Medstudentvurdering i fysikk og matematikk. Uniped, 38(4), 327–335.

Haugan J., Lysebo, M., & Lauvås, P. (2017). Mandatory coursework assignments can be, and shold be, eliminated! European Journal of Engineering Education, 3, 1–14. DOI: http://dx.doi.org/10.1080/03043797.2017.1301383.

Hounsell, D., McCune, V., Hounsell, J., & Litjens, J. (2008). The quality of guidance and feedback to students. Higher Education Research and Development, 27(1), 55–67. DOI: http://dx.doi.org/10.1080/07294360701658765.

Jessop, T., McNab, N., & Gubby, L. (2012). Mind the gap: An analysis of how quality assurance processes influence programme assessment patterns. Active Learning in Higher Education, 13(2), 143–154. DOI: http://dx.doi.org/10.1177/1469787412441285.

Kulik, J. A., & Kulik, C. C. (1988). Timing of Feedback and Verbal Learning. Review of Educational Research, 58(1), 79–97. DOI: http://dx.doi.org/10.3102/00346543058001079.

Kunnskapsdepartementet (2011). Forskrift om rammeplan for ingeniørutdanning, merknader til forskriften og nasjonale retningslinjer for ingeniørutdanning. Rundskriv F-02-11.

Page, E. B. (1958). Teacher Comments and Student Performance: A Seventy-four Classroom Experiment in School Motivation. Journal of Educational Psychology, 49(4), 173–181. DOI: http://dx.doi.org/10.1037/h0041940.

Riksrevisjonen, dokument 3:8 (2014-2015). (2015). Riksrevisjonens undersøkelse av studiegjennomføringen i høyere utdanning. Oslo: Riksrevisjonen.

Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), 68–78. DOI: http://dx.doi.org/10.1037/0003-066X.55.1.68.

Scriven, M. (1967). The methodology of evaluation. I Stake, R. E. (Red.), Curriculum evaluation. Chicago: Rand McNally. American Educational Research Association. (Monograph series on evaluation, no. 1.)

St.meld. nr. 27 (2000–2001) (2001). Gjør din plikt – Krev din rett. Oslo: Det kongelege kirke-, utdannings- og forskningsdepartementet.

Topping, K. (1998). Peer Assessment Between Students in Colleges and Universities. Review of Educational Research, 68(3), 249–276. DOI: http://dx.doi.org/10.3102/00346543068003249.

Vansteenkiste, M., Lens, W., Deci, E. L. (2006). Intrinsic Versus Extrinsic Goal Contents in Self-Determination Theory: Another Look at the Quality of Academic Motivation. Educational Psychologist, 41(1), 19–31. DOI: http://dx.doi.org/10.1207/s15326985ep4101_4.

Wiliam, D. (2011). What is assessment for learning? Studies in Educational Evaluation, 37(1), 3–14. DOI: https://doi.org/10.1016/j.stueduc.2011.03.001.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon