Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Å tagge eller ikke tagge Kan studenter i høyere utdanning bidra til læringsobjekter av økt gjenbruksverdi og kvalitet?

Høgskolelektor, Høgskolen i Gjøvik, Avdeling for informatikk og medieteknikk. E-post: kjell.refsvik@hig.no.

Masterstudent, Høgskolen i Gjøvik, Avdeling for informatikk og medieteknikk. E-post: fanjingj@hotmail.com.

Professor, Høgskolen i Gjøvik, Avdeling for informatikk og medieteknikk. E-post: runehj@hig.no.

Professor, Høgskolen i Lillehammer, Avdeling for pedagogikk og sosialfag. E-post: yngve.nordkvelle@hil.no.

Læringsobjekter er en relativt ny term i norsk utdanning, og defineres her som «interaktive webbaserte ressurser som støtter læring av spesifikke konsepter ved å framheve, forsterke og støtte den lærendes kognitive læring». Det lages mye multimedialt materiale for undervisning på det enkelte lærested som kan brukes av andre læresteder. Problemet er å lage gode beskrivelser av disse slik at de blir søkbare på Internett og kan innpasses, og ikke minst inspiseres for å vurdere kvaliteten på objektet. Informasjoner om dette blir lagret som metadata. Denne studien tar utgangspunkt i et forsøk der studentene tas med i vurdering og generering av metadata, såkalt tagging gjennom en «sosial media»-applikasjon. Lærernes nøkkelord og studentens tagger for samme læringsobjekt viste at det var stor samstemmighet. I intervjuer med lærere vurderte de studentenes tilleggsinformasjon både som hjelp til å bedre kvaliteten i læringsobjektet og undervisningen i sin helhet og til å bidra til videreutvikling.

Introduksjon

I våre dager er ikke skillet mellom nærundervisning og fjernundervisning så sentralt som tidligere, fordi mange undervisningsmessige virkemidler kan brukes både på campus og samtidig for studenter som av ulike grunner studerer hjemmefra, på arbeidsplassen, fra utlandet eller fra en sykeseng (Rønning og Grepperud, 2006). I løpet 1970-tallet ble konsepter fra undervisningsfilm og skolefjernsynet trukket inn samt mediepedagogiske (audiovisuelle) enheter utviklet ved universiteter og høgskoler. På 1980-tallet ble elektroniske oppslagstavler tatt i bruk for direkte kommunikasjon, og på 1990-tallet så man at Internett utviklet medieformer som både kunne formidle tekst, bilder og video samt sørge for nye kommunikasjonsmuligheter mellom lærere og studenter.

Det var også i 1990-årene at begrepet læringsobjekt ble tatt i bruk. Begrepet har fortsatt ikke en klar og entydig definisjon, men brukes ofte om en digital læringsressurs som gjerne består av flere medieobjekter som samlet adresserer et bestemt læringsutbytte. Mange høyere utdanningsinstitusjoner i dag produserer læringsobjekter i form av forelesningsvideo som kan gjenbrukes for å nå studenter i andre brukerkontekster enn i auditoriet, laboratoriet eller seminarrommet. NTNU, Universitetet i Stavanger og høgskolene i Gjøvik, Lillehammer og Hedmark er eksempler på institusjoner som har utviklet slikt en stund.

Mens produksjon av slike læringsobjekter for bare få år siden fordret både studio, komplisert opptaksutstyr og grafiske designere, har medieutviklingen nå ført til at svært mye kan lages på egen PC på kontoret eller annetsteds. Slike læringsobjekter kan settes sammen til større eller mindre enheter og formidles på nettet til studenter, både i lukkede rom (itslearning, Fronter) eller åpent (wikis, blogger, websider) (Johansen, Stadheim og Tvenge, 2011). I de nærmeste årene kan vi forvente en sterk vekst i åpent tilgjengelige læringsobjekter som kan nås fra studenters søkesteder. UNINETT forbereder sitt e-campusprosjekt, der planen er å gjøre streamede videoer (opptak av forelesninger) tilgjengelig for alle. Det er tenkelig at brorparten av undervisning vil bli tatt opp og spredd på denne måten. Med årene er det blitt flere digitale verktøy som tas i bruk, f.eks. gjennom aktiv medvirkning fra lærestedenes medietjenester (Sølvberg, Rismark og Strømme, 2008) og med verktøy som Elluminate og Camtasia.

Det foregår en rivende utvikling på dette området (Tjørve et al., 2010). Mange har imidlertid oppdaget at det verden rundt framstilles førsteklasses materiale, der enkeltbidrag kan innpasses i andre studieprogram og for andre kontekster enn de var laget for i utgangspunktet. Dersom lærere i høyere utdanning ønsker å hente inn slike bidrag, er det viktig at man kan søke på relevante kategorier for å finne riktige fag, emner, nivå, intendert læringsutbytte osv. For dette trenger man en detaljert og strukturert beskrivelse av læringsobjektet og dets innhold – et slags kartotekkort.

Metadata er en betegnelse som ofte brukes om denne typen beskrivelser. Gjenfinning av læringsobjekter kan bli en langt mer presis eksersis dersom de er tagget med adekvate metadata. Konvensjonell merking – eller «tagging» – av læringsobjekter har vært gjort gjennom rigorøse registreringsskjema av produsentene, gjerne basert på en eller flere taksonomier utviklet av ulike eksperter. I de senere år, særlig etter år 2000, har fenomenet brukertagging vunnet stort innpass. E-Bay, YouTube og mange tidstypiske nettsteder registrerer brukerpreferanser og måler popularitet og anvendelser. På slike nettsteder vil det over tid kunne utvikle seg «folksonomier» – det vil si vokabularer utviklet av tjenestenes brukere i et kollektivt samspill.

I forskningen er det to ulike syn på hvorvidt bruk av ekspertenes taksonomier eller utnyttelse av de kollektivt utviklede folksonomiene gir de beste resultatene: Guy og Tonkin (2006) hevder at vi her står overfor «the folksonomic flaw»: «The result is an uncontrolled and chaotic set of tagging terms that do not support searching as effectively as more controlled vocabularies do.» Dette syn står i kontrast til for eksempel Al-Khalifa og Davis (2007) sine studier av søkbarhet og tilgjengelighet på metadata generert gjennom folksonomiverktøy versus de metadata fagekspertene laget. Deres funn viste at folksonomigenererte metadata var bedre egnet for søking og kontekstuell dekning enn de som var ekspertgenererte.

Søken etter kvalitetstagging

Nettsteder som benytter brukernes vurdering legger stor vekt på verdien av å måle kvalitet gjennom brukshyppighet og tagging utført av brukere. Omfanget av brukertagging er imidlertid ikke noe godt mål på kvalitet alene – spesielt ikke når systemene blir populære og brukerne genererer et stort antall unike tagger for hvert objekt. Taggenes kvalitet og relevans blir også viktig. Sen, Harper, LaPitz, & Riedl (2007) tar opp dette i sin artikkel «The Quest for Quality Tags». De spurte brukere av systemet MovieLens om å vurdere kvaliteten av tagger de fant i systemet. 577 brukere responderte på forespørselen. I dette prosjektet viser de bl.a. til en tydelig sammenheng mellom antall ganger en tagg er benyttet og hvor god brukerne synes at taggen er – det vil si at tagger som brukes av mange brukere generelt sett er betraktet som av bedre kvalitet enn tagger som brukes av et mindre antall brukere.

Flere forskere peker på at taggkvalitet best studeres ved å se på den sosiale interaksjonen mellom brukere som aktivt genererer tagger. Thom-Santelli, Muller og Millen (2008), for eksempel, har sett på sosiale roller blant de som aktivt genererer tagger, og peker på at mange er opptatt av å være konsistent med andre taggere. Santos-Neto, Condon, Andrade, Iamnitchi og Ripeanu (2009) har sett på hvordan gjenbruk av tagger blant brukerne kan ses på som et kvalitetsmål og hvordan likhet i tagger som ulike brukere benytter kan ses på som et mål for delt interesse blant brukerne. Sen, Shyong, Cosley, Rashid, Frankowski, Harper, Osterhouse, & Riedl, (2006) observerer at brukere lar seg påvirke av de tagger de har sett andre bruke: «A gentle upward trend is apparent; users who view more tags before their first tag application are more likely to have their first tag influenced by the community.» Andre forskere, derimot, som Farooq et al. (2007), trekker fram at tagger bør være diskriminerende (dvs. de bør skille de enkelte læringsobjektene godt) og bør ikke være selvfølgelige.

De fleste forskningsarbeider på tagging fokuserer på tagging generelt sett. Ett av arbeidene som er mer spesifikt rettet mot læringsobjekter er Vuorikari, Poldoja & Koper (2010), som har undersøkt tre ulike systemer for arkivering av læringsobjekter der brukerne kan tagge læringsobjektene. Deres prosjekt viser at taggene som er generert i de ulike systemene er svært like på tvers av systemer, tross systemenes ulikheter i konstruksjon og funksjonalitet. Fokus i denne artikkelen er hvordan brukertagging kan trekkes inn i bearbeidingen av læringsobjekter med formål om å bedre kvaliteten av dem. Vuorikari, Sillaots, Panzavolta, S & Koper (2009) peker på at taggingen og ulike brukeres taggepraksiser best kan kalles en «økologi av metadata», der eksperters eller databaseforvalteres fokus på kjernebegreper får fruktbare utfordringer av lærende personers frie tagging.

Med utgangspunkt i denne motsetningen ønsket vi å kaste mer lys over hva som eventuelt er forskjellen mellom folksonomigenererte metadata (dvs. studentenes syn på hva læringsobjektene dreier seg om) og ekspertgenererte data (dvs. lærernes syn) i et LOR, og hvorvidt denne forskjellen kan brukes til å forbedre kvaliteten på læringsobjektet eller på selve læringen. Fokuset er altså ikke så mye på kvaliteten til taggene som sådan, men hvordan «den historien studenttaggene forteller» kan utnyttes til å forbedre læringsobjektene eller læringen.

Utfordringer med metadata for læringsobjekter

Læringsobjekter kan beskrives med en lang rekke metadata. Den mest spesifikke standarden for metadata for læringsobjekter er IEEE LOM, med norsk profil kalt NORLOM (Nasjonalt sekretariat for standardisering av læringsteknologi, 2008). Som nevnt i innledningen er det ved mange institusjoner lærerne selv som produserer læringsobjekter. I disse tilfellene vil de omfattende metadatasystemene representere en stor utfordring: Det er mange metadatafelter som skal fylles ut (i NORLOM er det 15 påkrevde felter og 16 anbefalte) og det forlanges en nøyaktighet mange ikke makter å leve opp til og som derfor like gjerne overses. I praksis søker man derfor etter forenklinger og tilpasninger. I denne studien valgte vi å begrense lærernes innsats for å generere metadata til det å skrive inn selvvalgte nøkkelord som de fant beskrivende for innholdet i læringsobjektet (i NORLOM definert som General.Keywords).

I dag ser vi mange eksempler på at sosiale nettverk og crowdsourcing kan spille en sentral rolle i å komplettere og kvalitetssikre informasjon som andre har produsert. Et alternativ – eller et supplement – til å gi lærerne ansvaret for å generere metadata for de produserte læringsobjektene, er å la studentene gjøre det. I denne studien ønsket vi derfor å undersøke hvordan studenter med erfaring med et spesifikt læringsobjekt oppfatter dette og tagger det i henhold til denne oppfattelsen. Samtidig ønsket vi å sammenligne studentenes tagger med de nøkkelord som lærerne hadde skrevet inn for de samme læringsobjektene. Ved å studere de metadata som både lærere og studenter genererte, kan man bedre vurdere hvorvidt det oppstår en «folksonomic flaw» (Guy og Tonkin, 2006) eller om studenter kan tilføre læringsobjektet en merverdi i form av å peke på gode eller klanderverdige sider av dem.

Fordi Al-Khalifa og Davis (2007) fant folksonomiverktøy både gode og dekkende, er det viktig å finne ut hvordan studenter skaper slike metadata. I deres studie ble det brukt et sosialt nettsted ved navn del.icio.us, der bokmerking og tagging er «normal aktivitet». Dette var derfor ikke spesielt tilpasset tagging av læringsobjekter. I denne studien utviklet vi derfor et mer tilpasset verktøy (Jingjing, 2010).

Læringsobjekter i en pedagogisk kontekst

Gjenbruk og tilgjengelighet er de mest opplagte sidene ved skaping og distribusjon av læringsobjekter. UNINETT har planer for at et stort antall forelesninger som gis ved norske høyere læresteder skal kunne dokumenteres og gjøres klare til gjenbruk for alle andre. I en slik kontekst synes det sannsynlig at ressurser kan spares, bedre arbeidsdelinger oppstå og studenter kan øke sitt utbytte av undervisning.

Det vil imidlertid også være viktig å utvikle kvaliteten på det enkelte læringsobjekt. Bærekraft er en dimensjon, og det er ikke alle gitt at man lager det «endelige produkt» i første runde. Inspirert av tankene bak utviklingen av Internett og betydningen av deltakernes rolle, kan vi si at alle som bidrar med kommentarer eller tagger også påvirker læringsobjektets innhold. Forelesninger og andre læringsobjekter vil også være sårbare for «aldring» og kontekstuelle forskyvninger. Når det legges ressurser inn i et arbeid, er det ønskelig at livssyklusen til et læringsobjekt kan forlenges og at det med enkle midler kan forbedres kvalitetsmessig.

Både lærere og studenter har behov for denne kvalitetsforbedringen. De aller fleste studier anvender faglige klassikere i form av bøker, bilder eller «pakker» som anvendes i laboratorier, feltopphold eller lignende. Klassikerne er nettopp læringsobjekter med stor bærekraft. Dersom læringsobjekter som lages i dag – enten via forelesninger på web, podcaster eller annet – skal kunne vinne klassikerstatus, må de nye medienes brukere tre inn (Gonzàlez-Videgaray, Hernàndez-Zamora og del-Rìo-Martìnez, 2009).

Mange har hatt liten tro på at studenter har gyldige synspunkt på læremidlers og undervisningens kvalitet, men en rekke studier tilbakeviser dette (Aleamoni, 1999). I historisk lys har ikke rent få klassikere blitt nettopp det fordi studenters notatskriving og samarbeid i etterkant av forelesninger av kjente personer som George Herbert Mead, G. F. Hegel og Friedrich Schleiermacher materialiserte seg som bøker (Nordkvelle, 2007). Men studenters oppfatninger og innsats når det gjelder vurdering av undervisning er ofte blitt oversett eller neglisjert, selv om de er blitt samlet inn. En side ved dette er at man ikke lett kan konstatere studentenes engasjement under vurderingen – hvor godt forberedt studenten er og hvorledes velvilje eller mangel på det ut fra kontekstuelle faktorer virker inn. Dessuten vil det nødvendigvis være et gap mellom det skaperen av et læringsobjekt legger inn som intendert læringsutbytte og det studenten sitter igjen med etter å ha bivånet det (Gynnild, 2011). Selv med de mest nitide forberedelser og optimale tilrettelegginger vil det være misforståelser og misoppfatninger som svekker studentens utbytte. Lars Qvortrup fremmer et synspunkt fra den såkalte radikale konstruktivismen når han hevder at det er overveiende usannsynlig at det mottatte budskapet er kongruent med det sendte (2005) eller at læring overhodet skal finne sted.

Lærerens didaktiske innsats består i å øke sjansene for at studenten skal oppfatte og forstå budskapet. Når studentene ikke alltid gjør det, er det viktig at læreren får tilbakemelding om hvor bruddene i oppfattelsene og forståelsene foregår. I klasserommet kan læreren fange opp dette gjennom observasjon eller spørsmål, men ikke så med læringsobjekter. Hansen og Brostrøm holder fram at lærere med fordel kan beskrive sine læringsobjekter bedre og at denne aktiviteten i seg selv er didaktisk skapende og nyttig (2003). Resonnementer og oppfatninger om hvilke undervisningsmål et gitt læringsobjekt skal føre fram til, hvordan innholdet legges til rette, hvilke aktiviteter studenten bør gjennomføre og hvordan læringsutbyttet kan konkretiseres og måles, bør være med fra begynnelsen av designprosessen. I dette prosjektet forsøkte vi å finne avviket mellom det intenderte budskap og det mottatte.

Studenter som taggere

I dette prosjektet studerte vi to grupper av studenter på masternivå ved Høgskolen i Gjøvik. Det var ti studenter i hver gruppe. Gruppe 1 var i sitt første år på et masterstudium i medieteknikk og gruppe 2 var andre års studenter i samme studium med noe mer forhåndskunnskap. De to gruppene ble undervist av to ulike lærere. Begge kursene ble tilbudt som kombinerte studier, dvs. at undervisningen både ble gitt i levende forelesninger og at de ble tatt opp og tilbudt i en mediert form. De innspilte forelesningene, sammen med forelesningsnotater laget av foreleseren lagret i PDF, inngikk i læringsobjektet. Dette ble lagret på høgskolens LMS: Fronter og i studiets mappe for læringsobjekter i dette kurset. De to lærerne beskrev sine læringsobjekter med nøkkelord som deskriptive metadata.

Deretter foregikk prosjektet slik:

  1. En webapplikasjon ble utviklet for å gi studenter muligheten for å tagge læringsobjektet. Åtte ulike læringsobjekter ble laget for hver gruppe. Studentens tagger ble lagret i en database. Den første gruppen ble bedt om å tagge læringsobjektene etter hvert som de ble produsert i kurset. Gruppe 2 ble bedt om å tagge et kurs studentene hadde gjennomført foregående semester.

  2. På slutten av prosjektet, etter at de hadde tagget noen læringsobjekter, ble et utvalg studenter intervjuet. Deretter ble lærerne presentert for resultatene av studentenes tagging og bedt om å kommentere resultatet av studentenes tagging.

Studentgenerert tagging og lærernes nøkkelord

Det vi mente ville være interessant, var om studentenes tagger og lærernes nøkkelord ville avvike mye eller om forskjellene ville være konsistente eller informative på annet vis. Grovt sett kunne vi lese resultatene slik:

  1. Studentene i gruppe 1 laget 18 tagger per læringsobjekt, mens gruppe 2-studentene laget gjennomsnittlig 17. Tallene varierte mellom 7 som lavest og 27 som høyest på gruppe 1 og mellom 7 og 29 på gruppe 2.

  2. Individuelt laget studentene i gruppe 1 3,5 tagger per læringsobjekt, mens i gruppe 2 var tallet 3,3.

  3. Læreren for gruppe 1 skrev inn 14,6 nøkkelord per læringsobjekt, mens læreren for gruppe 2 skrev inn 6,9 nøkkelord som gjennomsnitt.

  4. Som gjennomsnitt var det slik at 5 av taggene studentene ga læringsobjektene i gruppe 1 samsvarte med de nøkkelordene lærerne skrev inn. I gruppe 2 var overlappet i gjennomsnitt 4.

  5. Individuelt var samsvaret mindre. 1,3 tagger generert av studenter i gruppe 1 overlappet, mens i gruppe 2 var samsvaret 1,35.

I figur 1 kan vi se mer detaljert på overlappet mellom studenters tagging og lærernes angivelse av nøkkelord. Hver stolpe representerer tagger og nøkkelord tilordnet et av de analyserte læringsobjektene. Den midtre delen av hver stolpe, med de sterkeste fargene, illustrerer antall begrep som er benyttet av både lærerne og (minst en av) studentene. Den øvre delen av stolpen i lysere farger syner fram antall nøkkelord som ikke noen av studentene brukte i sine tagger. Den mørkere delen av stammen viser tagger (minst en av) studentene brukte og ingen av lærerne anga som nøkkelord.

Figur 1. Samsvar mellom studentgruppenes tagging og lærernes nøkkelord.
 

Figur 2 viser på samme vis overlappet mellom de taggene den enkelte student brukte og lærerens nøkkelord. Mens figur 1 viser antall tagger tilordnet av studentgruppen i sin helhet, viser figur 2 overlappet mellom en enkelt students valg av tagger (representert ved gjennomsnittsverdien for hele studentgruppa) og lærernes nøkkelord for samme læringsobjekt.

Figur 2. Samsvar mellom enkeltstudenters tagging og lærernes nøkkelord.
 

Figurene 3 og 4 illustrerer graden av enighet mellom studentene i forhold til taggingen av læringsobjektene. Utgangspunktet for disse figurene er en rangering av taggforekomster for et gitt læringsobjekt etter antall studenter som har benyttet den enkelte taggen. For ett av læringsobjektene hadde for eksempel hele 89 % av studentene alle benyttet den mest brukte taggen for dette læringsobjektet, 78 % benyttet den nest mest brukte, 22 % den tredje mest brukte osv. For et annet læringsobjekt var den mest «populære» taggen benyttet av bare 44 % av studentene, mens den nest mest brukte var benyttet av 33 %, den tredje mest brukte av 33 % osv.

Figur 3. Grad av overlapp i tagging innad i studentgruppen – sortert på beste treff.
Figur 4. Grad av overlapp i tagging innad i studentgruppen – sortert på gjennomsnitt.

 

Vi har så beregnet gjennomsnittet av disse verdiene for alle læringsobjektene – dvs. hvor stor andel av studentene som hadde benyttet den mest benyttede taggen, den nest mest benyttede osv. Figur 3 viser hvor enige studentene er i gruppe 1 (til venstre) og i gruppe 2 (til høyre). De 10 mest brukte taggforekomstene er nummerert langs den horisontale aksen (tagg 1 er den mest anvendte for et gitt læringsobjekt). Tallet 10 er ganske tilfeldig valgt, men som figuren viser er graden av overlapp etter 10 tagger allerede nede på ca. 10 % – dvs. at hver tagg videre utover i serien i praksis bare er benyttet av en enkelt student.

Fargen beskriver grad av enighet mellom de to gruppene med hensyn til de foretrukne taggene (jo mørkere farge, desto flere studenter benyttet taggen). Den vertikale aksen illustrerer distribusjon per læringsobjekt, sortert etter graden av enighet. Fra figuren kan vi lese at bare et lite mindretall av tagger benyttet av studentene for et gitt læringsobjekt har en bred oppslutning blant studentene (vel 50 % av studentene har i snitt benyttet den mest «populære» taggen for et gitt læringsobjekt, ca. 40 % har benyttet den nest mest benyttede, ca. 30 % den tredje mest benyttede osv.).

Figur 4 viser gjennomsnittlig andel av studentene som valgte hvert av de ti mest populære taggene. Vi ser at i snitt er færre enn 60 % enige om den mest anvendte taggen (for et gitt læringsobjekt). Tallene varierer fra 86 % enighet til 36 % for gruppe 1 og 89 % til 33 % for gruppe 2. Graden av enighet synker imidlertid støtt og stadig til om lag 20 % etter den femte mest brukte taggen.

Savnet av en «folksonomi»

Studentene i forsøket hadde sin første gangs erfaring med kursinnholdet og læringsobjektene når det ble gjennomført. Ingen studenter hadde tagget materialet før dem. Dermed kan man si at studentenes første tagging kan være starten på en «folksonomi», og at flere studentkulls tagging vil kunne berike læringsobjektet med flere tagger og vil kunne utvide og forbedre folksonomien. Eksperimentet var dessuten avsluttet innen studentene kunne ta andres tagger innover seg og eventuelt skifte ut.

Forskere som bl.a. Guy og Tonkin (2006) og Farooq et al. (2007) har vist at et stort antall av tagger bare forekommer en gang i en database over tagger. I denne studien så vi at 49 % av taggene brukt av studentene i gruppe 1 ble brukt bare en gang, mens det var 63 % i gruppe 2.

Diskusjon

Vår studie bekrefter det som andre forskere har vist og at det er store variasjoner i hvilke tagger den enkelte bruker tilordner et objekt. I figur 2 ser vi at det er beskjedent overlapp mellom de individuelle studenters sett av tagger og lærerens nøkkelord. Vi kan indikere et mål for graden av forskjellen mellom hvordan en student tolker et meningsinnhold av et læringsobjekt og hvordan læreren beskriver det. Men det kan også synes som at de studentgenererte taggene kan være nyttige som tilleggsbeskrivelser til lærerens angivelser av nøkkelord.

Når vi ser på studentenes tagging som et hele, er det større overlapp med lærernes nøkkelord enn mellom studenter individuelt. Likevel velges ikke flertallet av lærernes nøkkelord av studentene når de skal gjøre sine valg av tagger. De assosierer med andre begreper enn sine lærere. Vi antar at de begrepene studentene vil velge for å beskrive undervisning, alltid vil være nokså spredt og inkonsistent innad i studentgruppen.

I det daglige livet får både kurs og lærere et «ry» eller «rykte» som – når det er etablert eller blitt en gjenganger – avspeiler popularitet eller omdømme. En folksonomi er på sett og vis en konkretisering og språkliggjøring av dette fenomenet, og gjennom bruk og utprøving vil begrepsbruken kunne bli mer konsistent både med hensyn til innholdsbeskriving og utføring. Det vil imidlertid kunne være interessant å utvikle en slik folksonomi med tanke på å vurdere verdien av at tagger spriker og hvorvidt bearbeiding av læringsobjektet over tid vil kunne få til større overensstemmelse mellom nøkkelord og tagger.

I studien deltok det ganske få studenter og lærere, og antall læringsobjekter var heller ikke stort. Vi velger derfor å se på dette som en eksplorativ studie, og vi vil blant annet vurdere om forskjellen mellom de to gruppene kan reduseres ved å følge en framgangsmåte der prosedyren for gjennomføringen er lik for begge grupper. Lærerne var hovedsaklig opptatt av å anføre innholdsmessige nøkkelord når de gjorde sin annotering av læringsobjektene. Studentene på sin side var mindre fokusert på innhold og mer på strukturering og presentasjonsform. For å bruke Farooq et al. (2007) sine begreper, kan vi si at studentenes tagger var noe mer «selvfølgelige» enn lærernes. Vi så imidlertid ikke på dette i noen stor detalj.

Verdien av studenttagging: innholdsbeskrivende metadata og medieform

De to lærerne involvert i studien ble intervjuet i etterhånd. Seks av studentene i gruppe 1 ble også intervjuet. Formålet var å finne ut litt mer om studentenes erfaring med tagging og den eventuelle merverdi studentene kunne tilføre materialet med en annen type tagger. Studentene mente det ville være verdifullt om de hadde tilgang til lærernes nøkkelord for å få en rask innsirkling av hva innholdet ville by dem. De foreslo med iver at alle kurs heretter måtte ha med studenttagging. Nøkkelordene fra lærernes side var nyttige for deres orientering i læringsobjektet. En majoritet av studentene mente det ville være nyttig å kunne se taggene medstudenter brukte og at tidligere studenters tagging ville være meget relevante – om slike fantes.

Lærerne vurderte studentenes tagger som ikke altfor forskjellige fra det de hadde intendert med sine nøkkelord. De hevdet også at studentenes tagger representerte en type tilbakemelding som ville kunne hjelpe dem til å begripe hvor godt studentene evnet å fatte deres intenderte budskap. De hevdet videre at denne tilbakemeldingen fra studentene ville få en sterk innflytelse på deres revisjon av læringsobjektet. Noen steder fant de tagger de selv hadde vurdert å sette inn. På andre steder fant de tagger som indikerte at det var oppstått muligheter for misforståelser og at budskap ikke var oppfattet som ønsket. I disse tilfellene ytret de et behov for å modifisere forelesning og forelesningsnotater, eller de ville ta det opp igjen i framtidige forelesninger og hjelpe studentene til å forstå temaet på en bedre måte. Ingen av dem mente derimot at nøkkelord som studentene ikke brukte i sine tagger med fordel kunne eller burde fjernes. Studentgenererte tagger ble sett på som positive tilskudd til egne beskrivelser, men fraværet av overlapp betydde ikke at man heller ville velge studentenes alternative nøkkelord.

Studiens omfang og begrensninger

Selv om studien av studentenes tagging og de oppfølgende intervjuer verken involverte mange studenter, læringsobjekter eller lærere, vil vi hevde at studien indikerer betydelig opplevelse av nytte av at både lærerangitte nøkkelord og studentgenererte tagger foreligger samt at disse har verdi utover å fungere som søkeord for gjenfinning og gjenbruk. Studentene oppfatter at lærernes nøkkelord hjelper dem å finne fram til en god forståelse av læringsobjektet og lærerne oppfatter studentenes tagger som relevante og brukelige tilbakemeldinger, både når det gjelder av kvaliteten på læringsobjektet og kvaliteten på de metadataene lærerne legger inn.

I studien fikk vi ikke sett på studentenes vurdering av hvilken verdi studentene så i å få tilgang til medstudenters tagging. Studentene ytret sterkt ønske om å få tilgang til tagger tidligere studenter laget, hvis de var tilgjengelige. Flere studenter følte nok noe av det som en av brukerne i Thom-Santelli et al. (2008) sa i sitt intervju:

«Because I don't have a personal categorization for a particular … I'm happy to accept what someone else has used because that makes me more useful to me and the other person. And then … when I do that, I start thinking about the content of that page in terms of tags that other people have already used.»

Konklusjoner

Selv med et lite antall studenter, læringsobjekter og lærere, mener vi at studien framviste interessante funn og at det vil være interessant å bringe denne typen studier videre. De taggene studentene velger for et læringsobjekt, overlapper altså til en viss grad med lærernes. Men det er også viktige forskjeller mellom de to. Når forskjeller oppstår, innebærer også dette viktig informasjon. Ideelt sett bør det være en høy grad av overlapp.

På den annen side kan en rikdom og variasjon av studenters tagger forstås som et positivt tilskudd av tolkningsmuligheter. De kan spille en rolle i å gi hint til framtidige studenter og lose dem fram til en bedre forståelse enn de ville fått uten medstudenters tilleggsinformasjon. Vi mener at vår studie kan brukes i en form for kvalitetskontroll av læringsobjektene. Dersom lærere ble trukket inn i et slikt arbeid på en systematisk måte for å sjekke graden av overensstemmelse mellom studenters oppfatning av læringsobjekter og deres intenderte innhold (i form av nøkkelord), kunne man raskt fange opp hva som måtte være svake ledd i et kurs eller i spesifikke læringsobjekter. Store avvik kan bety at læringsobjektet oppfattes som for vanskelig, mens stor grad av overlapp kan indikere at det er for elementært eller uegnet. Både kursrekken av mange læringsobjekter så vel som det enkelte læringsobjektet kan vurderes ut fra slike utsiktspunkter. På det viset mener vi å ha et godt argument for at metadata og studenttagging kan få en betydning som går langt utenpå den relativt enkle funksjonen det er å gjøre læringsobjektet søkbart og nyttig for gjenfinning og gjenbruk. Tilbakemelding, evaluering og revisjon er funksjonalitet som kan inngå i et studiemiljø og dets arbeid med bedring av kvaliteten på undervisning og læring.

Framtidige studier vil for vår del dreie seg om hvorledes studenter vurderer verdien av tidligere studenters tagger og hvorledes dette folder seg ut i form av en folksonomi som kan følge et læringsobjekt over tid – kanskje helt fram til at det får en klassikerstatus. I dette arbeidet vil det være interessant å studere læringsobjektenes livsløp gjennom revisjoner, og se hvordan – og hvorvidt – studenter og lærere vil fortsette å tilføre læringsobjektet nye nøkkelord og tagger.

Til sist vil vi framheve at denne typen bearbeiding av materiale og lærestoff kan ha betydning for systemutvikling i høyere utdanning. Det å engasjere studenter og lærere i konkret bearbeiding og tagging av læringsobjekter, er et nytt og verdifullt spor å følge for å spore kilder til både forståelse og misforståelse. I vårt perspektiv vil det være interessant å utvikle verktøy for tagging som både fanger studentenes «frie taggelyst», analyserer avvik eller overlapp med lærernes nøkkelord eller mellom studenter samt kan stimulere tolkninger til årsaker for dette. Det kan også være til hjelp for å utvikle generelle kvalitetsindikatorer på læringsobjekter, slik at de kan spille en mer tydelig rolle i intern og ekstern kvalitetsvurdering i høyere utdanning.

Litteraturliste

Al-Khalifa H. S. & Davis H. C. (2007). Replacing the Monolithic LOM: A Folksonomic Approach. Proceedings of the Seventh IEEE International Conference on Advanced Learning Technologies (ICALT 2007), 665–669.

Aleamoni, L. M. (1999). Student rating myths versus research facts from 1924 to 1998. Journal of personnel evaluation in education, 13(2), 153–166. Publisher Full Text

Dublin Core Metadata Initiative (2008). Dublin Core Metadata Element Set, Version 1.1. http://dublincore.org/documents/2008/01/14/dces/.

Farooq, U., Kannampallil, T. G., Song, Y., Ganoe, C. H., Carroll, J. M. & Giles, L. (2007). Evaluating tagging behavior in social bookmarking systems: metrics and design heuristics. Proceedings of the 2007 international ACM conference on Supporting group work, 351–360. doi: 10.1145/1316624.1316677. Publisher Full Text

Gonzàlez-Videgaray, M., Hernàndez-Zamora, G. & del-Rìo-Martìnez, J. (2009). Learning objects in theory and practice: A vision from Mexican University teachers. Computers & Education, doi: 10.1016/j.compedu.2009.06.015. Publisher Full Text

Guy, M. & Tonkin, E. (2006). Folksonomies: Tidying up tags? D-Lib Magazine, doi: 10.1045/dlib.magazine. Publisher Full Text

Gynnild, V. (2011). Kvalifikasjonsrammeverket: Begreper, modeller og teoriarbeid. Uniped, 34(2), 18–32.

Hansen, P. S. & Brostrøm, S. (2002). Tagging the didactic functionality of learning objects. World Conference on Educational - Multimedia, Hypermedia & Telecommunications. Association for the Advancement of Computing in Education. Hentet fra http://www.editlib.org/p/10100

Huxham, M., Laybourn, P., Cairncross, S., Gray, M., Brown, N., Goldfinch, J. & Earl S. (2008). Collecting student feedback: a comparison of questionnaire and other methods. Assessment & Evaluation in Higher Education, doi: 10.1080/02602930701773000IEEE (2002). Publisher Full Text

Draft Standard for Learning Object Metadata. Hentet fra http://ltsc.ieee.org/wg12/les/LOM_1484_12_1_v1_Final_Draft.pdf.

Jingjing, F. (2010). Utilizing students inputs to create and manage learning object metadata in educational system. Master's thesis, Gjøvik University College, Norway.

Johansen, F., Stadheim, A. & Tvenge, N. (2011). Produksjon og bruk av digitale læringsobjekter i fleksibel ingeniørutdanning. Uniped, 34(1), 21–33.

Kay R. & Knaack, L. (2007). Evaluating the learning in learning objects. Open Learning, doi: 1080/02680510601100135. Publisher Full Text

Nasjonalt sekretariat for standardisering av læringsteknologi (2008). Norsk LOM-profil - NORLOM versjon 1.1. http://www.itu.no/filestore/NSSL/NORLOM/NORLOM_v1_1.pdf.

Nordkvelle, Y. (2007). Forelesningen som studentaktiv undervisningsform – et argument fra undervisningens kulturhistorie. UNIPED, 30(1), 4–14.

Qvortrup, L. (2005). Society's Educational System - An introduction to Niklas Luhmann's pedagogical theory. Seminar.net, International Journal of media, technology & Lifelong Learning 1(1). Hentet fra http://seminar.net/index.php/volume-1-issue-1-2005-previousissuesmeny-108/36-lars-qvortrup-societys-educational-system-an-introduction-to-niklas-luhmanns-pedagogical-theory

Rønning, W. M. & Grepperud, G. (2006). The Everyday Use of ICT in Norwegian Flexible Education. Seminar.net. 2(1). Hentet fra http://seminar.net/index.php/volume-2-issue-1-2006-previousissuesmeny-112/58-the-everyday-use-of-ict-in-norwegian-flexible-education.

Santos-Neto, E., Condon, D., Andrade, N., Iamnitchi, A. & Ripeanu, M. (2009). Individual and social behavior in tagging systems. Proceedings of the 20th ACM conference on Hypertext and hypermedia, s. 183–192.

Sen, S., Shyong, K. L., Cosley, D., Rashid, A. M., Frankowski, D., Harper, F. M., Osterhouse, J. & Riedl, J. (2006). Tagging, communities, vocabulary, evolution. Proceedings of CSCW 2006. Hentet fra http://www.grouplens.org/papers/pdf/sen-cscw2006.pdf, s. 181–190.

Sen, S., Harper, F. M., LaPitz, A. & Riedl, J. (2007). The quest for quality tags. Proceedings of the 2007 international ACM conference on Supporting group work. doi: 10.1145/1316624.1316678, 361–370. Publisher Full Text

Sølvberg, A. M., Rismark, M. & Strømme, J. A. (2008). Fra skippertak til jevn studieinnsats i et teknologirikt læringsmiljø. UNIPED, 31(1), 25–38.

Thom-Santelli, J., Muller, M. J. & Millen, D. R. (2008). Social Tagging Roles: Publishers, Envagelists, Leaders. In Proceedings of CHI 2008 (s. 1041–1044). Florence, Italy.

Tjørve, K., Sutterud, E., Midtskogen, B., Krüger, Å. F., Fulton, N. & Ellefsen, S. (2010). The use of technology in teaching: student satisfaction and perceived learning. UNIPED, 33(3), 56–64.

Vuorikari, R., Sillaots, M., Panzavolta, S. & Koper, R. (2009). Are tags from Mars and descriptors from Venus? A study on the ecology of educational resource metadata. In M. Spaniol, Q. Li, R. Klamma & R. Lau (Eds.): Advances in Web-Based Learning - ICWL 2009, Lecture Notes in Computer Science, Vol. 5686, 400–409. Hentet fra http://dspace.ou.nl/handle/1820/1849.

Vuorikari, R., Poldoja, H. & Koper, R. (2010). Comparison of educational tagging systems – any chances of interplay? International Journal of Technology Enhanced Learning, 2(1/2), 111–131. Publisher Full Text

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon