Bakgrunn

Begrepet digital kompetanse har vært på den nasjonale utdanningsagendaen gjennom flere år. Men selv om oppmerksomheten omkring digital kompetanse er stor både blant lærere, skoleledere, politikkutformere og forskere, har det imidlertid vært overraskende lite fokus på vurdering av digital kompetanse. I denne korte artikkelen vil vi drøfte bruken av flervalgsprøver som en mulig måte å kartlegge digital kompetanse på. Bakgrunnen for artikkelen er ITUs arbeid med å utvikle Osloprøver i digital kompetanse på 5. trinn og VG1. Gjennom dette til dels nyskapende arbeidet skaffet vi oss noen erfaringer som kan være av interesse for et bredere publikum.

I norsk skole er bruk av digitale verktøy en grunnleggende ferdighet på lik linje med å lese, skrive, regne og uttrykke seg muntlig. Både nasjonalt og internasjonalt finner vi en rekke eksempler på prøver og tester som er utviklet for å kartlegge elevenes kompetanse og ferdigheter i lesing, skriving og regning. Det er gjort forholdsvis lite1 når det gjelder å prøve ut elevers digitale kompetanse. Det som er gjort, er primært i form av selvrapportering både internasjonalt (OECD, 2005; 2007) og nasjonalt (Arnseth, Hatlevik, Kløvstad, Kristiansen & Ottestad, 2007; Erstad, Kløvstad, Kristiansen & Søby 2005; Kløvstad & Kristiansen, 2003). Bruk av selvrapportering for å kartlegge kompetanse er problematisk av flere grunner: hovedgrunnen er at det ofte er et stort sprik mellom det vi sier vi behersker og det vi faktisk gjør i praksis. Flervalgsoppgaver er et mer reliabelt mål fordi elevene faktisk må løse oppgaver. Utfordringen er å skape oppgaver som er valide og som er realistiske nok i relasjon til en praksissituasjon.

I denne artikkelen vil vi først ta for oss begrepet digital kompetanse. Deretter vil vi vise noen eksempler på flervalgsoppgaver, og til slutt drøfter vi noen prinsipper for utvikling av flervalgsoppgaver med svaralternativer. Dette inkluderer en drøfting av fordeler og ulemper ved bruk av flervalgsoppgaver for å kartlegge digital kompetanse.

Tematisering av digital kompetanse

Digital kompetanse er ferdigheter, kunnskaper, kreativitet og holdninger som alle trenger for å kunne bruke digitale medier for læring og mestring i kunnskapssamfunnet (ITU, 2005).

På bakgrunn av de kompetansemål som International Society for Technology in Education (ISTE) har utviklet i «The National Educational Technology Standards for Students», fremstår følgende seks områder som sentrale ved kartlegging av digital kompetanse i skolen. Vi mener det er viktig å ha en relevant operasjonalisering og spesifisering av begrepet digital kompetanse.

  • Grunnleggende IKT-operasjoner og -begreper: Dette tema dreier seg om å kartlegge hvorvidt elevene vet hvordan de skal åpne programmer, skrive ut dokumenter, endre teksttyper m.v. Det vil f.eks. dreie seg om elevenes forståelse av sentrale begreper som Internett, databaser m.v.

  • Sosiale og etiske spørsmål: Dette tema kan operasjonaliseres til å omfatte en kartlegging av elevenes kunnskaper og kompetanser når det gjelder håndtering av datasikkerhet, nettvett, personvern m.v.

  • Produksjonsverktøy/publisering: Fokus for dette tema er elevenes kompetanse når det gjelder å beherske verktøy for skriving, regning, presentasjon m.v. Ved en eventuell kartlegging vil det primært dreie seg om hvorvidt elevene er i stand til å bruke verktøyene på hensiktsmessige måter, og ikke om de behersker dem rent teknisk.

  • Kommunikasjonsverktøy: Dette tema innebærer en kartlegging av elevenes kompetanse med hensyn til bruk av kommunikasjonsverktøy som MSN, blogg eller e-post samt deres kunnskaper om ulike kommunikasjonssjangre.

  • Multiple kilder: I dette tema er fokus på hvordan elevene søker etter informasjon, kildekritikk og hvordan de integrerer kunnskaper fra ulike kilder inn i egne produksjoner.

  • Problemløsning med IKT: Det dreier seg om å undersøke hvilken kompetanse elevene har til å anvende IKT-verktøy for å løse forskjellige typer problemer. Det kan f.eks. dreie seg om å finne avstand mellom to byer, å regne ut gjennomsnitt med et regneark, eller å forstå logiske operasjoner knyttet til programmering.

Fordelene med å utvikle disse temaene er at de gjør det mulig å formulere oppgaver som er spisset inn mot et bestemt tema, og det blir mulig å lage flervalgsoppgaver som er tilpasset det som er forventet nivå hos elevene på et bestemt klassetrinn. Men på den andre siden fremstår digital kompetanse som et sammensatt og komplekst begrep når det er inndelt i flere delområder. Det kan bli vanskelig å operasjonalisere temaene og formulere distinkte flervalgsoppgaver som går på ett tema alene. Det vil være svært vanskelig å unngå at spørsmål for å kartlegge et tema ikke overlapper med spørsmålene rettet mot et annet tema. I en situasjon med mange tema/delområder vil det være «rimelig å forvente at elementer innenfor samme delområde skal korrelere høyere med hverandre enn elementer fra andre delområder» (Kleven, 2002, s.177). I forbindelse med analyse av oppgaver med flere faktorer fremhever Kleven (ibid.) mulighetene for å bruke forskjellige former for faktoranalyse for å undersøke faktorstrukturen i de resultatene som samles.

Elementene i en flervalgsoppgave

En flervalgsoppgave består av fire sentrale deler: tittel, introduksjon, spørsmålsformulering og svaralternativer.

Tittelen gir elevene viktig informasjon om hva som er tema for en bestemt flervalgsoppgave. Hvis det er diskrepans mellom tittel og tema for spørsmålet, kan det føre til at elever svarer på spørsmålet ut fra tittelen og ikke ut fra den konkrete problemstillingen. Det kan da føre til at spørsmålet ikke fungerer så bra som det vil gjøre når det er konsistens mellom tittel og tema i spørsmålet.

Det er ofte en introduksjon mellom tittel og spørsmål. Den kan enten være relativt kortfattet eller den kan inneholde mer informasjon for eksempel beskrivelser av observasjoner eller eksempler. Det viser seg at en lang introduksjon skiller bedre mellom flinke og ikke-flinke personer, fordi den er mer krevende å lese og forstå. En slik introduksjon kan bidra til å gjøre spørsmålet mer forståelig for elevene, men den kan også benyttes til å gjøre oppgaven mer komplisert slik at elevene må gjøre mer komplekse vurderinger.

Det er viktig at tittel og introduksjon munner ut i et presist spørsmål. Uklare spørsmål kan føre til misforståelser eller gjetting, og trolig vil det være best å utelate denne typen spørsmål fra en prøve (eller reformulere spørsmålet).

Det bør helst være fire svaralternativer, fordi når det er få svaralternativer, vil sjansen for å gjette riktig svar øke. Det viser seg også at mange svaralternativer skiller bedre mellom flinke og mindre flinke, sammenlignet med færre svaralternativer. Men det forutsetter at en lykkes med å lage sannsynlige alternativer eller gode distraktorer som er den korrekte testteoretiske beskrivelsen. Det er derfor viktig at alle fire svaralternativene fremstår som relevante og mulige svar på spørsmålet.

Eksempel på flervalgsoppgaver for å kartlegge digital kompetanse

Hvis en skal kartlegge digital kompetanse ved hjelp av flervalgsoppgaver, er det viktig at testen har en balanse av oppgaver med henblikk på vanskelighetsgrad. En kartlegging av digital kompetanse bør inneholde flere oppgaver med forholdsvis lav vanskelighetsgrad. For det første får elever med mindre digital kompetanse mulighet til vise hva de kan, og for det andre kan testen brukes for å nyansere mellom faglig svake og faglig middels svake elever. Det kan f.eks. være oppgaver av denne typen:

En forholdsvis enkel oppgave innebærer at mellom 75 % og 65 % av elevene klarer å få den til, og slike oppgaver bør plasseres innledningsvis for å motivere alle elever til å gjennomføre prøven. Det er en fordel om oppgaver plasseres med en gradvis stigning i vanskelighetsgrad, fordi det kan forebygge at elever gir seg for tidlig og da før de har prøvd seg på alle oppgaver som er relevant i forhold til deres kompetansenivå.

Tematisk er dette en oppgave om grunnleggende IKT-ferdighet, men samtidig er det også en oppgave som krever kjennskap til produksjonsverktøy. Det illustrerer at det er en utfordring å lage oppgaver som går spesifikt på ett av de seks temaene. Det vil derfor alltid være muligheter for at oppgaver innenfor et bestemt tema overlapper i forhold til ett eller flere av de andre temaene.

En kartlegging bør også inneholde oppgaver som er middels vanskelige, og det kan f.eks. være oppgaver som denne:

Betegnelsen oppgave av middels vanskelighetsgrad kan innebære at mellom 65 % og 40 % av elevene i målgruppen klarer å få den til. En forundersøkelse kan gi nyttig informasjon om hvilken vanskelighetsgrad oppgavene har, men da er det viktig at gruppen i forunder-søkelsen er sammenlignbar med den gruppen som skal testes i hovedundersøkelsen.

Tematisk kan dette være en oppgave om bruk av kommunikasjonsverktøy, men for noen elever kan spørsmålet dreie seg om temaet multiple kilder, og for andre elever kan spørsmålet bære preg av mer grunnleggende IKT-ferdighet.

Det kan også være vanskeligere flervalgsoppgaven på prøven, slik som f.eks. en oppgave som fordrer innsikt i noen enkle prinsipper for programmering:

En oppgave som er mer enn middels vanskelig, vil mellom 40 % og 25 % av elevene få til. Ved flervalgsoppgaver kan elevene gjette på et alternativ hvis de ikke kan løse oppgaven på egen hånd. Når det er fire svaralternativer (slik som det er i disse oppgavene presentert her), vil det være 25 % sannsynlighet for å gjette riktig svar. Det innbærer at vi ikke bør lage oppgaver som er særlig mye vanskeligere enn at ca. 30 % av elevene får dem til. Hvis en ønsker å ha mer kompliserte oppgaver, kan en enten legge til flere troverdige svaralternativer eller en kan ha åpne svar slik at elevene selv må fylle inn svarene (men da stilles det andre krav til retting av oppgavene).

Denne oppgaven i programmering skal kartlegge elevers kompetanse i problemløsning med IKT, men for dem som behersker dette har det kanskje mer preg av grunnleggende IKT enn problemløsning.

På den ene siden er det vanskelig å lage oppgaver som kun dekker ett tema, men på den andre siden vil de fleste oppgaver ha et hovedfokus knyttet til et bestemt tema. Det er også mulig å teste ut (med faktoranalyse) om oppgaver med samme tematikk lader på den samme latente faktoren, og på den måten avklare om flere spørsmål har et felles tema som en underliggende dimisjon.

Fremgangsmåte ved utvikling av Osloprøven i digital kompetanse

Arbeidet med å utvikle Osloprøven har vært inspirert av de føringer som ligger i læreplanene for de aktuelle trinn i kombinasjon med arbeidet som ISTE har gjort for å utvikle kompetanseområder i «The National Educational Technology Standards for Students».

På bakgrunn av dette ble det laget over 80 spørsmål til hvert klassetrinn. For å teste ut spørsmålene ble disse fordelt på to sett, slik at det var mulig å gjennomføre en realistisk uttesting i løpet av en skoletime. Høsten 2008 ble to sett med flervalgsoppgaver testet på utvalgte elever på 5. trinn, og to sett ble utprøvd på VG1. Naturfagsenteret analyserte resultatene fra denne piloten2 (70–80 besvarelser for hvert trinn) for å finne ut hvilke spørsmål som skulle velges ut til den endelige Osloprøven. Usikkerheten ved denne analysen er knyttet til hvorvidt elevene ved testskolene (som er utenbys skoler) er representative i forhold til elevene ved Oslo-skolene.

Flervalgsoppgaver til den endelige prøven ble valgt ut fra følgende kriterier:

For det første ønsket vi å ha spørsmål som dekket så mange av de seks temaene for digital kompetanse som mulig. Vi mener at oppgavene i prøven er forankret i læreplanen og ligger innenfor de mål som er satt for elevenes digitale kompetanse i fagplanene. Dette gjelder både hvordan ferdigheten er beskrevet mer generelt i forhold til hvert fag, men også hvordan bruk av IKT gjøres gjeldende i beskrivelsen av kompetansemål i faget. Prøven kartlegger hvordan digital kompetanse aktualiseres i fag som matematikk, norsk, naturfag, samfunnsfag, historie og geografi.

For det andre ville vi finne de flervalgsoppgavene som best mulig beskriver kompetansenivået for hver enkelt elev. Dette gjøres ved å sammenligne svar på enkelspørsmål med standardisert samlet poengsum (omregnet til z-skåre), for deretter å beholde de enkeltspørsmålene som er besvart riktig hos de elevene som samlet sett gjør det best på prøven og utelate de enkeltspørsmålene som ikke er besvart riktig hos de elevene som gjør det best.

Naturfagsenteret analyserte resultatene fra de endelige prøvene, og deres analyser viste at det var enkeltspørsmål som ikke fungerte like godt på de endelige prøvene som på utprøvingene. Det kan være flere grunner til det, blant annet forskjeller i bakgrunn, kultur eller kompetansenivå mellom gruppe for pilotering og gruppe for hovedprøve. Den klart viktigste grunnen for å fjerne flervalgsoppgaver fra den endelige analysen var at oppgaven ikke skilte godt nok mellom de elevene som gjorde det bra på prøven (under ett) og de som ikke gjorde det så bra.

Fordeler og ulemper ved flervalgsoppgaver

Når det gjelder fordeler med flervalgsoppgaver, sikrer flervalgsprøver at elever uavhengig av geografisk skolested kan få tilgang til de samme spørsmål og svaralternativer. Denne typen prøver er forholdsvis lite ressurskrevende fordi de kan gjennomføres med spørreskjema og rettes automatisk. Det er mulig å kjøre disse oppgavene på større grupper, både for å gjøre sammenligninger mellom grupper eller ved å koble flervalgsoppgaver opp mot andre forhold (f.eks. kjønn, familiebakgrunn, motivasjon og tidsbruk på datamaskin). Flervalgsoppgaver egner seg også godt ved fokus på noen bestemte tema som skal kartlegges. Det er også mulig å kartlegge ulike kognitive sider ved digital kompetanse, f.eks. hukommelse, forståelse, nettbruk og problemløsning.

Flervalgsoppgaver med tanke på hukommelse vil være mer detaljfokusert for å undersøke om elevene husker igjen spesifikk informasjon (f.eks. hva det betyr at en fil slutter på .xls). Flervalgsoppgaver med tanke på forståelse er ikke så fokusert på detaljer, men her vil spørsmål og svaralternativer omfatte om elevene har forstått prinsipper eller tankemåter. Ved flervalgsoppgaver om nettbruk får elevene i oppgave å gå inn på en konkret nettside og hente ut informasjon. Det kan også gis flervalgsoppgaver som tester problemløsning hos elevene hvor de får et problem (f.eks. med programmering eller bruk av regneark) som de må løse.

Men bruk av flervalgsoppgaver gjør det ikke mulig å dekke alle interessante sider ved digital kompetanse. Det er vanskelig å kartlegge kreativitet, samspill med andre, gjennomføring av arbeidsprosesser og resonneringsevne. Dette krever oppgaver med åpne svar, oppgaver hvor det ikke er svaralternativer eller oppgaver hvor det er mulighet for simulering av løsningsforslag. Flervalgsoppgavene bør heller ikke bli for vanskelige, siden det er en mulighet for å gjette blant de oppgitte svaralternativene.

Utfordringer ved flervalgsprøver

Det er en rekke utfordringer knyttet til flervalgsprøver. For det første er det krevende å operasjonalisere læringsmål (f.eks. problemløsning eller multiple kilder) på en slik måte at målene er presise. Hvis det er stor overlapping mellom innholdet i de ulike læringsmålene, har vi ikke lykkes med å utvikle distinkte læringsmål (tema). For det andre er det også vanskelig å knytte enkeltspørsmål opp mot ett enkelt tema. Selv om et spørsmål er ganske presist, kan det ut fra ett perspektiv dreie seg om multiple kilder, mens det ut fra et annet perspektiv kan dreie seg om problemløsning. For det tredje er det vanskelig å lage gode svaralternativer. Her kan vi kanskje trekke inn elever og lærere i sterkere grad. De jobber konkret med digital kompetanse til daglig gjennom skolen, og trolig vet de hvilken informasjon som virker sannsynlig og hva som er forvirrende. For det fjerde er det nødvendig å ha metoder både under utprøving og ved endelig testing som gjør det mulig å kvalitetssikre flervalgsspørsmålene. Digital kompetanse er et område i stor endring (f.eks. utvikling av nettsamfunn), og fjorårets spørsmål vil ikke nødvendigvis være like dekkende ved et senere tidspunkt.

Utfordringer ved bruk av kartleggingsprøver

En skoleprøve i digital kompetanse kan gi et mål på elevenes digitale kompetanse, men det kan også være et bidrag i forhold til skolebasert vurdering.

Hvordan kan man så anvende resultatene fra flervalgsprøver? I en læringsprosess er det viktig for elever å få tilbakemelding så raskt som mulig, slik at elevene får avklart hva de kan og hva de må forbedre (Bransford, Brown & Cocking, 2000). En slik tilbakemelding kan enten komme direkte til elevene eller ved at skole og lærere får tilbakemelding på hvordan enkeltelever har gjort det på en prøve. Når skolene får tilbakemelding, er det viktig at de undersøker om resultatet gir et riktig bilde av elevene og klassene. Selv om gjennomføringen har vært vellykket, kan det være elever som har hatt vansker med denne formen for prøver, med språket i testen eller som ikke har vært motivert for å fullføre testen.

Det er også andre og alternative måter å anvende flervalgsoppgaver i forhold til skoleutvikling på. De kan være del av en læringsressurs hvor studentene får tilbakemelding underveis på hvor godt de har forstått pensum. Ved en slik formativ evaluering er formålet at elevene skal vise hva de kan og ikke kan, slik at skolen kan hjelpe eleven til å bli bedre på det som er forbedringspunkter. Det er også mulig å bruke flervalgsoppgaver til selvtesting i forkant av eksamen, slik at elev eller student får avklart hvordan vedkommende ligger an i forhold til det som er kravet i et fag eller på et studium. Se f.eks. Øyeportalen ved Det medisinske fakultet som har innlagte flervalgsoppgaver under hvert tema og hvor det også er en frivillig avsluttende test noen uker i forkant av eksamen.

Avslutningsvis vil vi understreke at det er veldig viktig at innføring av flervalgsprøver ikke fører til en praksis med «training for testing». Snarere bør prøvene i samspill med andre vurderinger gi retning til arbeidet med å videreutvikle elevenes digitale kompetanse.

Referanser

Arnseth, H.C., Hatlevik, O., Kløvstad, V., Kristiansen, T. & Ottestad, G. (2007). ITU Monitor 2007. Skolens digitale tilstand 2007. Oslo: Universitetsforlaget.

Bransford, J.D., Brown, A.L. & Cocking, R.R. (2000). How People Learn. Brain, Mind, Experience, and School. National Research Council. Washington D.C.: National Academy Press.

Erstad, O., Kløvstad, V., Kristiansen, T. & Søby, M. (2005). ITU Monitor 2005. På veg mot digital kompetanse i grunnopplæringen. Oslo: Universitetsforlaget.

International Society for Technology in Education (ISTE). The National Educational Technology Standards for Students. URL: http://www.iste.org/AM/Template.cfm?Section=NETS (lest 6. januar 2009).

ITU (2005). Digital skole hver dag – om helhetlig utvikling av digital kompetanse i grunnopplæringen. Oslo: ITU.

Kleven, T.O. (2002). Begrepsoperasjonalisering. I T. Lund (red.) Innføring i forsk-ningsmetodologi (s. 141–183). Oslo: Unipub forlag.

Kløvstad, V. og Kristiansen, T. (2003). ITU Monitor 2003. Skolens digitale tilstand 2003. Oslo: Universitetsforlaget.

OECD (2005). Are students ready for a technology-rich world? What PISA studies tell us. Paris: OECD.

OECD (2007). PISA 2006. Science Competencies for Tomorrow's World. Paris: OECD.

Øyeportalen ved Universitetet i Oslo. Det medisinske fakultet. URL: http://www. med.uio.no/studier/elaring/fagomraader/oeye/index-leksjoner.html (lest 6. januar 2009).