Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Hvordan øke læringsutbyttet fra forelesninger med begrensede ressurser?

Førsteamanuensis, Geografisk institutt, NTNU. E-post: jan.rod@svt.ntnu.no.

Kvalitetsreformen anbefaler å diversifisere tradisjonelle undervisningsopp-legg basert på forelesning og selvstudium. En av reformens intensjoner er å gjøre studieforløpet mer forpliktende både for student og faglærer. Studenten skal delta aktivt i undervisningen og faglærer skal gi tilbakemelding oftere. Selv om reformen har innført andre former for å vurdere studentenes arbeid, er ikke omfanget av forelesninger ved norske universiteter redusert i vesentlig grad. Imidlertid leser studentene mindre. Innføringen av Kvalitetsreformen kan dermed ha bidratt til at læringsutbyttet fra forelesningene har blitt dårligere. I denne artikkelen presenteres et forsøk på å gi studentene et insitament til å lese jevnt gjennom hele semesteret, og særlig for å møte forberedt til forelesningene. Antagelsen er at om studenter møter forberedt til forelesningene, er det lettere å aktivisere studenter i forelesningstimene og studentenes læringsutbytte blir større. Læringsutbyttet fra forelesningen vurderes både på grunnlag av resultater fra skriftlig eksamen og fra studentenes tilbakemeldinger.

Innledning

I enkelte filmer fra Hollywood er det scener fra en forelesningssituasjon ved et amerikansk universitet. Universitetsprofessoren–som gjerne også er helten i filmen–foreleser for et lydhørt og aktivt publikum. Studentene er ivrige, kunnskapsrike og deltagende med kritiske spørsmål og kommentarer. Foreleseren er som en dirigent som setter de ulike bidragene sammen og fører argumentasjonen videre. Symfonisk velregissert.

Dog er dette film, men jeg har hørt av kolleger som kjenner amerikanske universiteter bedre enn meg at studenter ved amerikanske universiteter i langt større grad enn i Norge er aktive i forelesningstimene. Dette kan kanskje delvis forklares ved at studenter ved amerikanske universiteter i gjennomsnitt er flinkere enn studenter ved norske studenter. En mer plausibel forklaring er nok heller at amerikanske studenter blir vurdert på grunnlag av den innsatsen de gjør i forelesningstimene og at de må betale dyrt for å studere. Følgelig er de opptatt av å maksimere læringsutbyttet fra forelesningene.

Norske studenter som er vant med frivillig oppmøte på forelesninger der de kan innta en passiv rolle, kan oppleve overgangen til amerikanske universiteter som stor. Ved amerikanske universiteter forventes det regelmessig oppmøte på forelesninger, krav om kontinuerlig arbeid og aktiv deltagelse i undervisningstimene. Studentens prestasjoner blir dessuten regelmessig vurdert (Croxford, (2001). Ved flere amerikanske universiteter er det vanlig at en eller flere læringsassistenter er til stede på forelesningene og at disse har ansvaret for å arrangere diskusjoner knyttet til forelesningene. Læringsassistentene noterer mengde og kvalitet på studentbidragene, noe som innvirker på studentens endelige karakter i emnet.1 Croxford (2001) beskriver hvordan norske studenter motarbeider dette opplegget med sin mur av stillhet og negativ holdning ovenfor direkte spørsmål (som de tilsynelatende opplever som fiendtlig inntrengning i deres individualitet).

På grunnlag av erfaringer fra Storbritannia hevder Gibbs (2006) at studenter i økende grad er strategiske og kun bruker tid og innsats på de studieformer som blir vurdert. Dysthe (2007) finner lignende mønster for norske studenters innsats for obligatoriske aktiviteter: De investerer kun den minimumsinnsats som behøves for å få sitt arbeid godkjent. Min opplevelse av at studenter ved norske læresteder er uengasjerte er dermed ikke overraskende all den tid forberedelse og aktivitet under forelesning ikke “lønner seg”.

I denne artikkelen presenterer jeg et forsøk på å stimulere studenter til å lese jevnt gjennom hele semesteret, og særlig i forbindelse med forelesninger. Forsøket er utført på et metodeemne på masternivå ved Geografisk institutt ved NTNU, som ble første gang undervist høsten 2010. Hensikten med forsøket er å redusere forelesningens monologiske form til noe mer dialogisk, og derved øke studentenes læringsutbytte. Antagelsen som ligger til grunn for forsøket er at en dialogisk forelesning oppnås lettere om studentene møter forberedt på forelesningen. Min erfaring er imidlertid at studenter i liten grad på eget initiativ vil lese de tekster som er tema for forelesningen, og jeg innfører derfor obligatoriske digitale tester der studentene må besvare spørsmål fra tekstene. Resultatene fra de digitale testene er tellende til eksamen. Skriftlig slutteksamen teller 75 %, mens mappevurderingen, som består av syv praktiske øvinger og ni digitale tester, teller 25 %. Metodeemnet ble undervist på engelsk. Testeksempler og tilbakemeldinger fra studenter gjengis derfor også på engelsk.

Denne artikkelen redegjør først og fremst for hvordan studenter kan stimuleres til kontinuerlig pensumlesning, og dermed også hvordan noen av intensjonene fra Kvalitetsreformen kan oppfylles. I fortsettelsen av artikkelen redegjøres det kort for intensjoner og problemer ved Kvalitetsreformen. Videre diskuteres forelesningen og dens plass innen høyere utdanning. Deretter følger en presentasjon av hvordan jeg utformet de digitale tester for å unngå juksing eller gjetning, men for å oppnå resonnering og refleksjon. Basert på studentenes oppnådde eksamensresultater og evaluering av emnet, avslutter artikkelen med å vurdere studentenes utbytte av de digitale testene.

Kvalitetsreformen

En av målsettingene ved innføringen av Kvalitetsreformen høsten 2003 var å senke studiefrafallet og strykprosenten samt å få raskere studiegjennomføring. Nye undervisningsformer var blant tiltakene høyskoler og universiteter skulle innføre for å oppnå dette. Omfanget av enveis forelesninger kombinert med studentenes selvstudier var i stor grad ansett som styrende for studentenes uheldige studieadferd karakterisert med kortsiktig pugg fremfor læring og forståelse. Tradisjonell undervisning burde diversifiseres for å øke intensiteten i studiene og for å bedre den faglige oppfølging av studentene.

«Det må anvendes ulike metoder, sammensatt på måter som styrker læringsforløpet, for eksempel gjennom bruk av kombinasjoner av forelesning, skriftlige arbeider, IKT-basert undervisning, gruppearbeid, seminarer, veiledning, praksis/utplassering, laboratoriearbeid og problembasert læring.» (St.meld. nr. 27, (2000–2001)

Kvalitetsreformen var ment å medføre pedagogiske endringer for studenter, fra en tilværelse der de stort sett følger forelesninger og leser på egen hånd til en mer forpliktende deltagelse i undervisningen.

Det er utgitt flere rapporter og artikler som evaluerer Kvalitetsreformen. Med finansiering fra Forskningsrådet er det utgitt 10 delrapporter samt en sluttrapport som evaluerer ulike sider ved reformen. Michelsen og Aamodt (2006) har redigert delrapporten om endringene som Kvalitetsreformen har medført for universiteter og høyskoler. Dysthe, Lima og Raaheim (2006), som er et av bidragene til denne rapporten, undersøkte–bl.a. basert på en spørreundersøkelse–de pedagogiske endringene ved norske universiteter og høyskoler som følge av Kvalitetsreformen. På spørsmålet om innføringen av reformen har medført endringer i undervisningen, svarte en liten majoritet (54 %) at de hadde gjort middels store eller store endringer. De største endringene høyskole- og universitetsansatte har innført, er i forhold til å gi skriftlig tilbakemelding til studentene, veiledning og eksamensarbeid. Kun 20 % av de som hadde innført endringer hadde kuttet ned på plenumsforelesningene, men her var det stor forskjell mellom universiteter og høyskoler. Av de som har endret undervisningen, hadde 35 % av høyskoleansatte kuttet ned på plenumsforelesningen, mens for de universitetsansatte var tilsvarende andel kun 12 %. Dysthe et al. (2006) konkluderer dermed med at de som har endret undervisningen ved universitetene har økt innsatsen på flere områder, uten i vesentlig grad å kutte ned på andre deler av den tradisjonelle undervisningen. Vi vet ikke om de som ikke har endret undervisning som følge av reformen foreleser mer eller mindre, men det er grunn til å tro at de foreleser like mye som før eller mindre siden det er et økende press på vitenskapelig publisering blant universitetsansatte. Hvilken effekt har dette på kvaliteten på og læringsutbyttet fra forelesningene?

Basert på empiriske data fra Statistisk sentralbyrå (Ugreninov og Vaage, 2006) og to av delrapportene som evaluerer Kvalitetsreformen (Michelsen og Aamodt, 2006; Aamodt, Hovdhaugen og Opheim, 2006), viser Bøe (2009) at Kvalitetsreformen ikke har medført noen kvantitativ økning i tid som studenter bruker på studier, men derimot flere kvalitative endringer på hvordan de studerer: Studentene skriver mer, får mer veiledning og blir oftere vurdert underveis. Som et resultat av at studietiden ikke har økt, konkluderer Bøe med at studenter til gjengjeld leser mindre (Bøe, 2009). Når man ved norske universiteter fortsetter å forelese som før mens studentene leser mindre, er det grunn til å anta at forelesningene blir dårligere og læringsutbyttet mindre. Innføringen av Kvalitetsreformen har ikke redusert omfanget av forelesninger ved norske universiteter, men kan ha bidratt til at læringsutbyttet fra forelesningene har blitt dårligere.

Forelesningen

Forelesning som form er for tiden i hardt vær (Kvernbekk, 2011). Med jevne mellomrom kommer det ytringer om hvor gammeldags og lite pedagogisk forelesninger er sammenlignet med andre studieformer med mer aktivitet og samhandling (se for eksempel Borgersen, Hjertø og Maribu, (2010). Det er allmenn enighet om at det å skrive oppgaver eller presentere noe i et seminar gir bedre læringsutbytte enn en mer passiv studieform som består i å lytte til forelesning og å lese pensum på egen hånd (Aamodt og Hovdhaugen, 2007; Kvernbekk, 2011). Ifølge Kvernbekk gir slike andre undervisningsformer bedre studiekvalitet fordi disse aktiverer studentene og oppmuntrer til interaksjon, diskusjon og utveksling av ideer. Dialog, med andre ord. Kvernbekk hevder at resultatet er mer og bedre læring.

All den tid økonomiske, arkitektoniske og teknologiske hindringer medfører at forelesninger fortsetter å være den gjeldende form undervisning foregår på, bør høyskoler og universiteter forsøke å optimere studentenes læringsutbytte fra disse. Tilsvarende som Hogg (1997) forsøker jeg derfor å utforme digitale tester med spørsmål fra det pensum som dekker tema for forelesningen. Jeg antar at formidling av begreper, teorier og metoder er enklere for foreleser og mer stimulerende for studenter som møter forberedt til forelesningen. Da er det også lettere å aktivere studentene i forelesningstimene, forelesningens form vil være dialogisk heller enn monologisk og studentene vil få et større læringsutbytte.

En forelesning kan klassifiseres som en monolog (Kvernbekk, 2011), særlig om den representerer en enveis, forhåndsstrukturert, udifferensiert formidling der det antas at studentene ikke har noe å bidra med (Skodvin, 2006). Skodvin (2000), som forsvarer forelesningen, mener imidlertid at forelesningen er dialogisk og ikke monologisk. En dialogisk forelesning gir rom for motforestillinger og tvinger frem nye svar hos tilhørerne så vel som hos foreleseren (Skodvin, 2000). Studenter som lytter på en forelesning er dermed ikke nødvendigvis passive mottakere. Det å høre på en forelesning er på mange måter som å lese en tekst. Den som ikke stiller spørsmål til en tekst, vil ikke forstå noe (Kvernbekk, 2011). Eller som Espen Schaanning skriver i sin presentasjon av Hans-Georg Gadamer: «Den som vil forstå en tekst “må være med”» (Schaanning, 1993), s. 318).

Så hva må jeg gjøre for at mine forelesninger skal begynne å ligne på forelesninger portrettert i Hollywood-filmer? Det er i alle fall to forhold som må være oppfylt: Jeg må forelese på en måte som innbyr til deltagelse og studentene må møte forberedt til forelesningene. Det første forholdet innebærer at forelesningen ikke kan være monologisk, men dialogisk. Det andre forholdet innebærer at studentene på egen hånd må bygge opp et begrepsapparat og et fundament av faktisk kunnskap. Hvis foreleseren kan aktivisere studentenes forforståelse under forelesningen, vil det være lettere for studentene å lære noe nytt.

Digitale tester

Jeg utformet ni digitale tester som alle ble organisert ved hjelp av den elektroniske læringsplattformen itslearning. Tre av de digitale testene var knyttet til praktiske øvinger for å øke læringsutbyttet fra disse. Dette er allerede utprøvd på et annet metodekurs, og erfaringer derfra er allerede beskrevet (se Rød, Eiksund og Fjær, 2010). Nytt for dette emnet–og hva denne artikkelen handler om–er digitale tester hvis formål er å øke læringsutbyttet fra forelesninger. Jeg laget seks digitale tester der spørsmålene var relatert til pensum som skulle foreleses. Siden hensikten med testene var å gi studentene et insitament til å møte forberedt på forelesningene, måtte testene gjennomføres senest tre timer før forelesningen begynte.

Majoriteten av spørsmålene i de digitale testene var i form av flervalgstester der studenten måtte velge ett eller noen ganger flere opplistede alternativer eller som enten/eller-spørsmål. Jeg benyttet imidlertid også spørsmålstyper som korte svar, fyll inn blank, velg fra liste, finn par og klikkpunkt der studenten måtte klikke på et bestemt bilde eller del av et bilde. Tabell 1 gir noen eksempler på spørsmål jeg benyttet i testene.

 

Tabell 1.Eksempler på spørsmål brukt i de digitale tester (korrekt svar er understreket)

Spørsmålstype Eksempel
Flervalgsspørsmål  All of the following are examples of cartograms, except one. Which one?   
  • A world map in which the distance of major cities to Paris is proportional to each city's average annual wine consumption.

  • A 3-D terrain map of France in which surface elevation is proportional to population density.

  • A city map in which hospitals are marked by red crosses and the size of each cross is proportional to the number of beds in the hospital.

  • A world map in which the area of each country is proportional to the number of indigenous languages spoken there.

Klikkpunkt

There are basically two types of commercial remote sensing satellite: Earth-orbiting and geostationary. Below, click on part of the image that illustrates an earth-orbiting satellite.

ILF0001
 

Lag par Match each of the variable frequency distributions listed to what is likely to be the best choropleth map classing scheme.
Normal distribution Standard deviation intervals
Multimodal distribution Natural breaks
Uniform distribution Quantile breaks
Straight increasing curve Equal intervals
Fyll inn blank When transferring a table with Latitude and Longitude coordinates into a point layer in GIS, you should use ______________ (Latitude / none of them / both of them / Longitude) coordinates as X coordinates and ______________ (Latitude / none of them / both of them / Longitude) coordinates as Y coordinates.

Jeg har to formål med å innføre digitale tester. For det første ønsker jeg å øke studentenes refleksjon når de gjennomfører de praktiske øvingene og for det andre ønsker jeg å stimulere kontinuerlig lesing av pensum, særlig i forbindelse med forelesninger for om mulig å øke læringsutbyttet av disse. Nicol og Milligan (2006) hevder at flervalgstester kun er anvendbare for å teste overflatekunnskap. Andre mener derimot at dette avhenger mye om hvordan man utformer tekstene. Chalkley (1997), for eksempel, mener at spørsmålene i flervalgstester kan utformes slik at de tester mer enn memorering og gjengivelse av faktakunnskap og at slike tester også kan brukes for å vurdere studenters analytiske egenskaper, praktiske kunnskap og problemløsning. Teknisk sett er det enkelt å lage digitale tester. Vanskelighetene består i å formulere spørsmål som ikke bare skal teste om studentene er i stand til å gjengi faktakunnskap, men som også tester om studentene er i stand til å anvende kunnskapen i nye sammenhenger.

Sirnes (2005) gir noen anbefalinger: For eksempel bør ikke spørsmålene være ren avskrift fra lærebøker. Jeg brukte derfor noe tid på å formulere spørsmål slik at studentene ikke skulle være i stand til å kopiere svarene direkte fra læreboka, men heller måtte bruke tid på å grunne over spørsmålet og noen ganger gjøre noen beregninger for å finne det riktige svaret. Uansett hvilke kilder og ressurser en student hadde tilgjengelig, ville ikke disse gjøre det lettere for studenten å besvare spørsmålet om ikke vedkommende forsto noen grunnleggende prinsipper. Noen studenter syntes imidlertid å ha forventet å finne svaret direkte avskrevet i pensumlitteraturen:

«The MCQ tests were very often confusing, reading everything many times trying to find the answer, and when I finally was sure I've found the right one it was wrong anyway …»

Selv om jeg tilsynelatende lyktes med å stimulere lesning av pensum regelmessig, spurte jeg kanskje likevel for mye om faktadetaljer, i alle fall ifølge denne tilbakemeldingen:

«The MCQ tests were very good as they forced me to read the book on a regular basis, but I found the questions too detailed, there was no way I could answer correctly by only reading the book ahead. I hoped the questions were more overview questions to make sure we were prepared for the lectures. Instead they felt very tricky, as though they were made to lure into answering wrong.»

Om tilbakemeldingen over er representativ for hele studentgruppen, har jeg lyktes med å stimulere lesning, men kanskje ikke den type lesning som best medvirker til å øke studentenes deltagelse under forelesningen. Et annet spørsmål som bør stilles, er om studenter egentlig er interessert i å innta en aktiv rolle i forelesningene.

Dæhlen og Havnes (2003) spekulerer om norske utdannelser tiltrekker seg studenter som forholder seg passive til læring. Om dette stemmer, vil ikke studenter bli mer aktive i forelesningstimene–selv om de møter forberedt. Studentene kan likevel ha lært mye av forberedelsene til og gjennomførelsen av testene, og forberedelsene kan likevel ha bidratt til at studentene får et større læringsutbytte av forelesningstimene–dog under noen forutsetninger: Om en student har jukset (kopiert svar fra en medstudent) eller gjettet blindt på testene, er læringsutbyttet minimalt.

I fortsettelsen av artikkelen vil jeg derfor først diskutere de strategier jeg fulgte for utforming av testene for å unngå juks og blind gjetning. Deretter følger en vurdering om studentenes læringsutbytte. Tilsvarende som Aamodt et al. (2006), undersøker jeg læringsutbytte både ved å se på oppnådde karakterer og ved å innhente studentenes egne vurderinger av oppnådd læring.

Hvordan unngå at det jukses med digitale tester?

Som resultat av Kvalitetsreformen gjennomfører norske universiteter oftere studentvurderinger. I tillegg til den tradisjonelle slutteksamenen, er det i flere fag mappevurderinger av ulike former for studentoppgaver. Økningen i bruk av mappevurdering har også skapt nye, uheldige muligheter for studentene å jukse, som for eksempel gjennom plagiering. Siden de digitale testene ikke bare fungerte som formativ vurdering, men også summativ vurdering, måtte jeg arrangere disse slik at studentene fikk individuell vurdering og at det var vanskelig å jukse.

Problemet med plagiering er også relevant for digitale tester, siden en student lett kan kopiere svarene fra en medstudent. Jeg oppfordret til samarbeid mellom studentene, men ønsket å forhindre juks. For å forhindre juks, kunne jeg hatt rigide arrangementer der studentene tok testene samtidig eller jeg kunne gi forskjellige spørsmål til hver student. Det første alternativet var uønsket av to grunner. For det første ville det kreve en kontrollsituasjon tilsvarende en skriftlig eksamen og for det andre ville ikke denne ordningen gi studentene noen form for fleksibilitet. Med et høyt studenttall var heller ikke det andre alternativet tiltalende fordi jeg måtte ha formulert et betydelig antall spørsmål.

Løsningen jeg gjennomførte var et kompromiss. For hver av de seks testene skrev jeg 20 spørsmål, og hver student måtte svare på fem spørsmål som ble trukket tilfeldig fra samlingen av spørsmål. Ved å beregne binomialkoeffisienten innebærer dette at for hver test er det 15 504 mulige utvalg med ulike kombinasjoner av fem spørsmål. Sannsynligheten for at to medstudenter vil ha alle, fire, tre, to, en eller ingen felles spørsmål er gitt ved antall gunstige utfall dividert med antall mulige utfall. Disse sannsynlighetene vises i tabell 2. Sannsynligheten for at to medstudenter vil få akkurat de samme fem spørsmålene på samme test er veldig liten: p(fem like)=0,00006. Sannsynligheten for å få ett spørsmål felles er 0,44. Jeg anser disse sannsynlighetene til å representere et akseptabelt lavt nivå for studentenes muligheter til å jukse.

 

Tabell 2.Sannsynligheter for at to studenter får alle, noen eller ingen av de samme testspørsmålene

  # gunstige # mulige Sannsynlighet
P(fem like)
M0001
M0002
0.00006
P(fire like)
M0003
M0002
0.00484
P(tre like)
M0006
M0002
0.06772
P(to like)
M0007
M0002
0.29347
P(en lik)
M0009
M0002
0.44021
P(ingen like)
M0011
M0002
0.19369

Etter at tidsfristen var passert, genererte itslearning automatisk oppnådd resultat for hver student og ga tilbakemelding om hvilke spørsmål som var henholdsvis riktig eller feil besvart. Studentene fikk dermed formativ tilbakemelding. Jeg lot studentene kun få ett forsøk, men innser at dette strider mot anbefalinger. Nicol (2007) hevder at et av kjennetegnene ved god tilbakemelding er at studentene bør kunne ta testen gjentatte ganger og sjekke svarene helt til de har nådd et tilfredsstillende resultat. Itslearning gir mulighet for design av tester der studentene kan få flere forsøk og der resultatet fra første, siste eller beste forsøk skal være det tellende. Om jeg skulle oppfylle Nicols anbefalinger, måtte jeg ha gitt umiddelbar tilbakemelding på om studenten hadde svart riktig eller galt. Dette ville gitt en bedre formativ tilbakemelding til studentene siden de da fikk en umiddelbar tilbakemelding.

Jeg var imidlertid redd for at en slik ordning ville friste enkelte studenter til å jukse. Siden resultatene også ble benyttet som summativ vurdering og siden juks ville motvirke den ønskede effekten om at kontinuerlig lesing skulle “lønne seg”, lot jeg studentene kun få ett forsøk. Dog, ventetiden var kort. De fleste studentene gjorde testen dagen før forelesningen og fikk tilbakemelding neste morgen kl 9.

Hvordan utforme testene slik at de stimulerer resonnering og ikke gjetting?

Også ved kun ett testforsøk vil studenter kunne gjette riktig svar. Enhver student som tar en digital test vil enten vite det riktige svaralternativet, vil vite tilstrekkelig til å eliminere usannsynlige distraksjoner og gjette blant de gjenværende svaralternativer eller gjette blindt hvis vedkommende ikke har noen kunnskap overhodet (Haladyna, 2004). De fleste gjetninger studenter gjør vil derfor ikke være blind gjetning, men heller noe som kan kalles “kvalifisert gjetning”. De færreste vil vel krysse av helt tilfeldig, men heller benytte sin delvise kunnskap som rettesnor. For å sikre at det er studentens kunnskap som fungerer som rettesnor, er det avgjørende at de distraherende svaralternativene ikke inneholder stavefeil, syntaksfeil eller på annen måte fremtrer som usannsynlige (Burton, 2005). Jeg var derfor meget nøyaktig i utforming av svaralternativene for å unngå å gi ledetråder til riktig alternativ eller markering av usannsynlige alternativer.

For å premiere studenter som har delvis kunnskap sammenlignet med studenter som gjetter blindt, foreslår Bush (2001) bruk av poengberegning med trekk. Dette innebærer at studenten blir straffet med minuspoeng hvis de svarer feil på spørsmål. Ifølge veiledningen til itslearning er dette nyttig i forbindelse med eksamener og formelle tester fordi trekket kan hindre deltagerne i å gjette de riktige svarene. Men om kravene, presset og kontrollen blir for streng, kan dette virke negativt på læring (Elstad, 2004). Siden jeg først og fremst ønsket å bruke testene til å stimulere studentenes motivasjon for å lese pensum, benyttet jeg poengberegningsmetode uten trekk. Deltagerne ble derfor ikke straffet med minuspoeng, men belønnet for riktige svar.

Gardner-Medwin (2006) gir et eksempel på hvordan mer refleksjon rundt testspørsmålene kan oppnås ved at studentene angir en konfidensrangering sammen med svaralternativet. Studenter må da ikke bare angi hva de mener er riktig svaralternativ, men også angi på en trepunktskala hvor sikker de er. Både svaret og konfidensrangeringen innvirker på oppnådd poengsum. Riktig svar vektes positivt med konfidensnivået, mens feil svar vektes negativt. Siden det ikke er mulighet for konfidensrangering i itslearning, er dette heller ikke benyttet.

Læringsutbyttet av å møte forberedt til forelesning

Ifølge Nicol (2007) er digitale tester typisk brukt i Storbritannia på førsteårskurs med store studentkull der hensikten er å effektivisere arbeidsoppgavene til faglærere ved at testene erstatter mer tidkrevende vurderingsformer. Ved NTNU har flervalgseksamen vært eneste vurderingsform på visse emner–en ordning som flere fraråder (Hogg, 1997) og som har fått betydelig kritikk (Oksholen og Monsen, 2009). For emnet som er case for denne artikkelen, ble studentenes karakter fastsatt ved resultater fra skriftlig eksamen som telte 75 % og mappevurdering som telte 25 %. Mappevurderingen besto av praktiske øvinger og digitale tester. De seks digitale testene knyttet til forelest pensum utgjorde noe under halvparten av mappevurderingene (ca. 11 %). 46 studenter var oppmeldt til eksamen, 41 møtte og 38 besto. Av de 41 studentene som møtte til eksamen, hadde 37 gjort alle de seks digitale testene, mens 4 studenter hadde gjort fem tester.

Figur 1 viser et spredningsdiagram. Resultatene fra de seks digitale testene knyttet til forelesningen vises langs diagrammets første akse. Studentene kunne få fem poeng per test, så denne skalaen går opp til 30. Høyeste oppnådde poengsum var 29. Diagrammets andre akse viser resultatene fra den skriftlige eksamenen. Bokstavkarakterene på skriftlig eksamen konverteres fra en poengsum som er mellom 0 og 100. Hver av de svarte prikkene i diagrammet representerer en av de 41 studentene som møtte til eksamen. De tre prikkene nede til venstre representerer tre studenter som gjorde det dårlig både på testene og på skriftlig eksamen. Prikken i øvre høyre hjørne av diagrammet representerer en student som gjorde det bra både på skriftlig eksamen og på testene, men ellers indikerer diagrammet flere avvik fra en lineær sammenheng mellom oppnådde testresultater og oppnådd resultat fra skriftlig eksamen. Korrelasjonskoeffisienten bekrefter dette med en moderat korrelasjon (Pearsons r=0,425), men sterk signifikant (på 0,01 nivå).

Figur 1. Spredningsdiagram (n=41) som viser samvariasjon mellom resultater fra digitale tester og skriftlig eksamen.
 

Mot slutten av semesteret gjennomførte jeg en elektronisk spørreundersøkelse der studentene evaluerte kurset og læringsutbyttet av de ulike undervisningsaktivitetene. 37 studenter svarte på undersøkelsen. I alt stilte jeg 13 spørsmål som var både åpne og lukkede. Fire av de lukkede spørsmålene er gjengitt i tabell 3. Spørsmål 2, 3 og 4 i tabell 3 har kategorier i henhold til en Likert-skala med fem kategorier der midtkategorien representerer nøytralitet. Tabell 3 viser at en majoritet av studentene alt i alt var fornøyd med emnet (spørsmål 4).

 

Tabell 3.Noen spørsmål fra spørreundersøkelsen

1 What is your opinion regarding the forms of instruction used? Would you have more or less of more adequate less
a   Lectures 56,8% 43,2% 0%
b   Exercises 16,2% 70,3% 13,5%
c   Digital tests 8,1% 67,6% 24,3%
2 Pick your level of agreement on the statements given below: Strongly disagree Partly disagree Neither agree nor disagree Partly agree Strongly agree No answer
a   The teacher should not try to activate students. 51,4 % 21,6 % 16,2 % 8,1 % 0 % 2,7 %
b   Being prepared for the lectures increase my  learning outcome from the lectures. 0 % 0 % 5,4 % 43,2 % 45,9 % 5,4 %
c   I do not need incentives (such as digital tests) to  read. 18,9 % 45,9 % 13,5 % 8,1 % 8,1 % 5,4 %
d   Knowing that digital test results would be  evaluated and influence the final grade, made me  more committed than I otherwise would have been 5,4 % 10,8 % 10,8 % 32,4 % 40,5 % 0 %
3 On a scale from 1 (very poor) to 5 (very good), how would you evaluate your learning outcome of: 1 2 3 4 5 No answer
a   Lectures 2,7 % 8,1 % 16,2 % 45,9 % 16,2 % 10,8 %
b   Exercises 2,7 % 5,4 % 21,6 % 48,6 % 21,6 % 0 %
c   Digital tests 8,1 % 16,2 % 37,8 % 24,3 % 13,5 % 0 %
4 How satisfied are you, in general, with the subject? (1=not satisfied, 5=very satisfied) 0 % 2,7 % 21,6 % 62,2 % 13,5 % 0 %

Jeg gjennomførte totalt åtte forelesninger, som er standard ved Geografisk institutt ved NTNU for 7,5 studiepoengsemner. Likevel svarer et flertall av studentene at de gjerne ville hatt flere forelesninger og ingen svarer at de ville hatt færre forelesninger (spørsmål 1). Sett i lys av forelesningen som underlegen andre undervisningsformer med hensyn til læringsutbytte, er dette noe overraskende. Dette kan bety at studentene ikke vet sitt eget beste med hensyn til hvilken studieform som gir best læringsutbytte og at de er komfortable i en mer passiv rolle, men det kan også bety at de likte opplegget med mer dialogbaserte forelesninger brukt i dette kurset.

På spørsmål om hvordan studentene selv ville rangere læringsutbyttet fra forelesninger, øvinger og digitale tester (spørsmål 3), kommer øvinger best ut og digitale tester dårligst ut. Et flertall av studentene rangerer læringsutbytte fra forelesninger (62,1 %) og øvinger (70,2 %) til å være bra (4 eller bedre). Noe tilsvarende godt læringsutbytte registreres ikke for digitale tester (37,8 %), men jeg håper at det høye læringsutbyttet fra øvingene og forelesningene delvis er oppnådd på grunn av disse testene. Et klart flertall av studentene (89,1 %) er i alle fall delvis eller sterkt enige i at det å møte forberedt på forelesningene (spørsmål 2b) økte deres læringsutbytte fra forelesningene. Fra de lukkede spørsmålene var det ingen som var uenige i at det å møte forberedt på forelesningene økte læringsutbyttet, men fra de åpne spørsmålene fikk jeg en del reaksjoner på de digitale testene. To av studentene mente at læringsutbyttet ville vært større om testene kom etter forelesningen og ikke før:

«If we could have finished the tests after the relevant lecture it would increased our grade. Because, then we can understand the lesson very well and answer questions accurately.»

«I think the MCQ was a really strange kind of incentive to read in the course, this actually made me less motivated to read. It was also really strange that we should have a test in something that we do not learn properly before the next day-same as having an exam in august, and then start the lectures after the exam.»

Uttalelsene over kan tolkes som et ønske om et deduktivt undervisningsopplegg heller enn et induktivt opplegg. Om denne holdningen er representativ for studenter ved Geografisk institutt ved NTNU, kan det være vanskelig å dialogisere forelesningene. Dialog forstått som toveis kommunikasjon krever at deltagerne i dialogen er gjensidige og likeverdige. Dette er problematisk dersom et flertall av studentene ønsker å være passive mottakere av en monologisk fremførelse av et forenklet og forklart utdrag av det viktigste i pensum heller enn å være deltagere i en dialog. Nå er det sikkert noen av studentene som uansett møter forberedt til forelesningstimene, slik som denne studenten gir tilbakemelding om:

«I really disliked the tests, I always read the chapters beforehand, but ended up on google to find the answers.»

Spørreundersøkelsen viser imidlertid at et flertall av studentene (64,8 %) sier de trenger insentiver for å lese (spørsmål 2c). Siden resultater fra øvinger og testene var tellende for den endelige karakteren i emnet, spurte jeg også studentene om hvorvidt dette gjorde dem mer forpliktet (spørsmål 2d). En betydelig majoritet (72,9 %) svarte bekreftende.

Konklusjon

Et problem som nok oppleves som alvorlig for mange universiteter og høyskoler som ønsker å følge opp intensjonene i Kvalitetsreformen, er kostnadene ved de mange formative vurderingene. Kostnadene ved å innføre digitale tester er begrenset siden de fleste læringsplattformer har velfungerende funksjoner for dette. Universiteter og høyskoler kan derfor, uten særlige utgifter, stimulere studenter til å lese jevnt gjennom hele semesteret, og særlig i forbindelse med forelesningene. Min erfaring med forsøket som er gjengitt i denne artikkelen, er at studentene tok forberedelsene til testene meget alvorlig og leste på det oppgitte pensum til hver forelesning. Jeg opplevde at resultatet av dette var at det ble lettere å aktivisere studentene i forelesningene jeg ga. Tilbakemeldingene fra studentene viser ganske entydig at studentforberedelsene økte læringsutbyttet fra forelesningene.

Jeg har benyttet digitale tester hvis spørsmål er dominert av flervalgstester. Testene har ikke fungert som erstattende vurdering, men som en ekstra vurdering. Seks tester var relatert til forelesningen og tre til praktiske øvinger. Testene og øvingene utgjorde mappevurderingen som totalt telte 25 % av studentenes endelige karakter. Skriftlig slutteksamen utgjorde de resterende 75 %. Noen av tilbakemeldingene antyder at arbeidsmengden i emnet var for stort. Kvalitetsreformen anbefaler en intensiv studiehverdag for studenter–men om arbeidspresset blir for stort, er det en fare for at kontinuerlig formativ vurdering faktisk har en svekkende effekt på studenters begeistring for å studere (Gold et al., 1991). Jeg har derfor redusert arbeidsmengden noe ved å kutte ut en av de obligatoriske øvingene som var særlig arbeidskrevende. Antallet tester har jeg imidlertid valgt å bevare. Siden flertallet av studenter stort sett var fornøyd med kurset, tror jeg den eventuelt svekkende effekten er begrenset.

Litteraturliste

Borgersen, P., Hjertø, G. & Maribu, G. M. (2010). Rom for læring. Forskerforum, 42(10), 30–31.

Burton, R. F. (2005). Multiple-choice and true/false test: myths and misapprehensions. Assessment & Evaluation in Higher Education, 30(1), 65–72. [Crossref]

Bush, M. (2001). A Multiple Choice Test that Rewards Partial Knowledge. Journal of Further and Higher Education, 25(2), s. 157–163. [Crossref]

Bøe, L. (2009). Studentar: I statens fald eller i eit livsmangfald. Uniped, 32(3), 55–67.

Chalkley, B. (1997). Using optimal mark readers for student assessment and course evaluation. Journal of Geography in Higher Education, 21(1), 99–106. [Crossref]

Croxford, Leslie (2001). Global University Education: Some Cultural Considerations. Higher Education in Europe, 16(1), 53–60. [Crossref]

Dysthe, O. (2007). Pedagogiske endringer etter Kvalitetsreforma og konsekvensar for læring. Utfordringar og strategiar videre. Uniped, 30(3), 29–44.

Dysthe, O., Lima, I. & Raaheim, A. (2006). Pedagogiske endringer som følge av Kvalitetsreformen. I S. Michelsen & P. O. Aamodt (Red.). Evaluering av Kvalitetsreformen. Delrapport 1: Kvalitetsreformen møter virkeligheten (s. 50–75). Oslo: Norges forskningsråd.

Dæhlen, M. & Havnes, A. (2003). Studentenes innsats – institusjonenes ansvar? Aftenposten. 18.08.2003.

Elstad, E. (2004). Lav studieintensitet og selvreguleringssvikt i høyere utdanning: utfordringer i tilknytning til Kvalitetsreformen. Uniped, 27(2), 26–43.

Gardner-Medwin, A. R. (2006). Confidence-based marking. Towards deeper learning and better exams. I C. Bryan & K. Clegg (Eds.): Innovative Assessment in Higher Education. London: Routledge, s141–149.

Gibbs, G. (2006). Why assessment is changing. I C. Bryan & K. Clegg (Eds.): Innovative Assessment in Higher Education (s. 11–22). London, Routledge.

Gold, J. R., Jenkins, A., Lee, R., Monk, J., Riley, J., Shepherd, I. & Unwin, D. (1991). Teaching Geography in Higher Education. A Manual of Good Practice. Cambridge: Basil Blackwell.

Haladyna, T. M. (2004). Developing and Validating Multiple-Choice Test Items. Mahwah, N.J.: Lawrence Erlbaum Associates.

Hogg, J. (1997). Geography students assess their learning using computer-marked tests. Journal of Geography in Higher Education, 21(1), 121–126. [Crossref]

Kvernbekk, T. (2011). Til forelesningens forsvar. I T. Kvernbekk (Red.), Humaniorastudier i pedagogikk (s. 203–226). Oslo: Abstrakt forlag AS.

Michelsen, S. & Aamodt, P. O. (2006). Evaluering av Kvalitetsreformen. Delrapport 1. Kvalitetsreformen møter virkeligheten. Oslo: Norges forskningsråd.

Nicol, D. (2007). E-assessment by design: using multiple-choice tests to good effect. Journal of Further and Higher Education, 31(1), 53–64. [Crossref]

Nicol, D. & Milligan, C. (2006). Rethinking technology-supported assessment practices in relation to the seven principles of good feedback practice. I C. Bryan & K. Clegg (Eds.): Innovative Assessment in Higher Education (s. 64–77). London: Routledge.

Oksholen, T. & Monsen, T. H. (2009). Gløshaugenstudenter shopper studiepoeng på Dragvoll. Trondheim: Universitetsavisa.

Rød, J. K., Eiksund, S. & Fjær, O. (2010). Assessment based on exercise work and multiple-choice tests. Journal of Geography in Higher Education, 34(1), 141–153. [Crossref]

Schaanning, E. (1993). Hans-Georg Gadamer. I T. B. Eriksen (Red.), Vestens Tenkere. Bind 3. Fra Freud til Baudrillard. Oslo: Aschehoug, 313–323.

Sirnes, S. M. (2005). Flervalgsoppgaver – konstruksjon og analyse. Bergen: Fagbokforlaget.

Skodvin, A. (2000). Stemmene i auditoriet. Forelesning i bakhtinsk perspektiv. UNIPED, 23(2), 16–26.

Skodvin, A. (2006). Mellom kateter og kaos. Forelesning i forskjellige varianter. I H. Strømsø, K. H. Lycke & P. Lauvås (Red.), Når læring er det viktigste. Undervisning i høyere utdanning (s. 125–139). Oslo: Cappelen Akademisk Forlag.

St.meld. nr. 27 (2000–2001). Gjør din plikt-krev din rett. Kvalitetsreform av høyere utdanning. Oslo: Kirke-, utdannings- og forskningsdepartementet.

Ugreninov, E. & Vaage, O. F. (2006). Studentenes levekår 2005. Oslo: Statistisk sentralbyrå.

Wisc. (2012). History of American Capitalism Hentet 19. mars, 2012., fra http://faculty.history.wisc.edu/dunlavy/247/index.html

Aamodt, P. O. & Hovdhaugen, E. (2007). Å studere etter Kvalitetsreformen. I M. Raabe, A. Turnmo, N. Vibe, L. J. Kirkebøen & A. M. R. Holseter (Red.), Utdanning 2007 – muligheter, mål og mestring (s. 155–170). Oslo/ Kongsvinger: Lobo Media as.

Aamodt, P. O., Hovdhaugen, E. & Opheim, V. (2006). Evaluering av Kvalitetsreformen. Delrapport 6. Den nye studiehverdagen. Oslo: Norges forskningsråd.

1Se for eksempel Wisc (2012) for hvordan dette arrangeres ved Wisconsin-Madison universitetet.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon