Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

«Å framføre et velformulert resonnement» - Krav til språkføring og fremstilling i BA nordisk språk og litteratur

Professor

Institutt for språk og litteratur

NTNU

kristin.eide@ntnu.no

Professor

Seksjon for universitetspedagogikk

NTNU

Vidar.Gynnild@ntnu.no

Sammendrag

Forfatterne undersøker hvordan læringsmål ble implementert i studieprogrammet «Bachelor for nordisk språk og litteratur» ved NTNU. En av forfatterne spilte en sentral rolle i dette arbeidet, og fikk dermed innblikk i holdninger og praksis. Artikkelen fokuserer på et uttrykt krav om god språkføring og evne til skriftlig og muntlig framstilling i studieprogrammet. Vi undersøker hvordan dette kravet ble kommunisert til studentene, og hvordan læringsmålene eventuelt kommer til syne i undervisnings- og læringsopplegg, i arbeidskrav og ved eksamen. Undersøkelsen viser at det ikke eksisterer noen felles praksis for bruken av læringsmål, og at det heller ikke finnes retningslinjer for hvordan læringsmål tenkes implementert på emnenivå. Konklusjonen er at mye arbeid gjenstår før det uttrykte kravet om god språkføring er effektivt innarbeidet i studieprogrammet, inkludert større vekt ved eksamen og karaktersetting.

Nøkkelord: læringsmål; språkføring; nordisk språk og litteratur.

Abstract

The authors examine how learning objectives were implemented in a study program named “Bachelor of Scandinavian language and literature” at the Norwegian University of Science and Technology (NTNU). One of the authors played a crucial role in this process, thereby obtaining insights into attitudes and practices of the faculty involved. The focus of the article is on established writing and oral presentation skill requirements in the study program. We examine the extent to which these requirements were communicated to the students, and how learning objectives were transformed into teaching and learning structures, in assignments and exams. This study confirms the lack of a solid shared practice for implementing and utilizing learning objectives. Moreover, there is clearly a need for guiding principles displaying how learning objectives may be used at course level. Much work still remains before the aforementioned established language and presentation skills are effectively implemented into the study program, including greater relative emphasis in exams and as guidelines for grading.

Keywords: learning objectives; writing skills; Scandinavian language.

Innledning

I et kjent sitat fra mange år tilbake skrev Gunnar Handal og Jostein Osnes følgende:

Litt satt på spissen kan vi si at universitetet har hatt en tendens til å møte studentene med følgende krav gjennom studietida: Vi vil ikke si noe særlig om hva vi venter av deg. Vi gir en undervisning som vi tror kan være relevant. Men til slutt skal vi i alle fall undersøke meget nøye i hvilken grad du har nådd de mål vi ikke har presisert! (Handal & Osnes, 1970)

Etter dette har mye skjedd. Nasjonalt kvalifikasjonsrammeverk for høyere utdanning ble fastsatt av departementet i 2009 og deretter sendt til høyere utdanningsinstitusjoner i Norge (Kunnskapsdepartementet). Med reformen fulgte også en ny terminologi ved at «læringsmål» ble til «læringsutbytte». For de tre nivåene i kvalifikasjonsrammeverket, bachelor, master og ph.d, skulle «læringsutbyttet» beskrives i form av tre kategorier, som kunnskaper, ferdigheter og generell kompetanse (Kunnskapsdepartementet). Hensikten var å oppnå høyere grad av standardisering av innhold og faglig nivå med sikte på transparens på tvers av institusjoner og landegrenser, med økt studentmobilitet som ett av målene. Kvalifikasjonsrammeverket kan derfor oppfattes som et bidrag til å oppfylle Bologna-prosessens visjon om et felles europeisk utdanningsmarked. Innholdet er inspirert både av Bologna-prosessens måldokumenter og EUs rammeverk for livslang læring (Kunnskapsdepartementet).

Denne artikkelen undersøker bruken av læringsmål i studieprogrammet Bachelor i nordisk språk og litteratur. Vi fokuserer spesielt på kravet om god språkføring og evne til skriftlig og muntlig framstilling, der følgende problemstillinger blir undersøkt nærmere:

  • Hvor godt blir kompetansekravet kommunisert til studentene underveis i studiet?

  • Hvordan kommer kompetansekravet til syne i selve emnestrukturen, for eksempel i emnebeskrivelsene, i løpende undervisning, arbeidskrav, øvinger og eksamen?

Vi er altså opptatt av læringsmålenes plass og betydning i studieprogrammet. Før arbeidet startet, så vi for oss minst to mulige tilnærminger med større eller mindre bruk av læringsmål i arbeid med programstrukturen, for eksempel ved valg av øvings- og læringsopplegg, og som grunnlag for vurdering av studentprestasjoner. Før vi presenterer selve undersøkelsen velger vi å kontekstualisere arbeidet ved et sideblikk til forskningslitteraturen om læringsmål.

Læringsmål i høyere utdanning

Bruken av læringsmål har en relativt sett kort historikk i høyere utdanning, mens forløperen kjent som undervisningsmål har betydelig lengre tradisjoner å vise til (Harden, 2002).

It is probably true to say that ten-fifteen years ago most of us in higher education probably described courses in terms of what we were going to teach. There would be a document somewhere that would list the main topics to be covered. Behind this document, the lecturer would no doubt have a more detailed explanation of what his or her students would learn (Cubie, 2004).

Sitatet er hentet fra et innlegg på det første Bologna-seminaret som ble holdt ved Heriot-Watt University i Scotland i 2004. Etter dette har interessen for bruken av læringsmål økt og danner nå grunnlag for mye utviklingsarbeid i høyere utdanning. Vi benytter «Intended Learning Outcomes» (ILOs) synonymt med «læringsmål» på norsk, og søker først en definisjon av begrepet. Stephen Adam, som er en internasjonal ekspert på feltet, skriver følgende:

Learning outcomes are statements of what a learner is expected to know, understand and/or be able to demonstrate at the end of a period of learning. They are explicit assertions about the outcomes of learning – the results of learning. Learning outcomes are concerned with the achievements of the learner rather than the intentions of the teacher (expressed in the aims of a module or course). They can take many forms and can be broad or narrow in nature (Adam, 2008).

På norsk har begrepsbruken vært noe forvirrende og, etter enkeltes mening, utilstrekkelig. Situasjonen ved NTNU eksemplifiserer denne situasjonen. Her satte rektoratet krav om at kvalifikasjonsrammeverket skulle implementeres innen 2012 (Kjeldstad, 2010), og i et eget notat datert 19.11.10 ble alle studieprogram og emner for studieåret 2012/2013 pålagt å lage «læringsmål som et forventet læringsutbytte» (Kjeldstad, 2010). Prorektor nevner samme sted at det har vært ulike oppfatninger om begrepsbruken i kvalifikasjonsrammeverket, og tilrår følgende begrepsbruk: «Forventet læringsutbytte [brukes] synonymt med læringsmål». «Oppnådd læringsutbytte» skal benyttes om det resultatet studenten har fått og har vist gjennom å fullføre og bestå alle emnene i studieprogrammet» (Kjeldstad, 2010).

I en NIFU STEP-rapport fra 2007 fastslår forfatterne at begrepet læringsutbytte er relativt nytt på norsk, men at det har skjedd et markant oppsving av begrepet etter årtusenskiftet (Aamodt, Prøitz, Hovdhaugen & Stensaker, 2007). En viktig observasjon i rapporten er at begrepet er tvetydig ved at det «… dekker både læringsmål som settes for en utdanning, og de læringsresultatene som oppnås» (Aamodt et al., 2007, s. 9). Forfatterne er opptatt av at det er «… viktig at begrepet er klart definert. Dersom ulike aktører legger ulike meninger i begrepet, vil debatten bli uklar og en konkret anvendelse vanskelig» (Aamodt et al., 2007, s. 11).

Overgangen fra undervisningsmål til læringsmål uttrykker et paradigmeskifte (Adam, 2008): «We urge institutions to further develop partnerships and cooperation with employers in the ongoing process of curriculum innovation based on learning outcomes» (Adam, 2008, sitert fra London Communique 2007). Begrepsbruken er ikke et hovedfokus for vår undersøkelse, men samtidig står den sentralt for fenomenforståelse og meningsutveksling på feltet. Derfor gir vi en kort orientering om forfatternes syn på dette: Læringsmål er intensjonsutsagn – deres oppgave er å beskrive tilsiktet læringsresultat, mens læringsresultat refererer til læringsproduksjon: «Thus, learning outcomes can be regarded as changes within a person as a result of a learning experience» (Watson, 2002, s. 208). Begrepet bedømt læringsresultat uttrykker grad av måloppnåelse (achievement) ved bruk av valgt karakteruttrykk, mens læringsutbytte viser til studentens læringstilskudd (added value) som er skapt ved deltakelse i emne eller program. Etter dette framstår tre begrepskategorier, nemlig intensjonsutsagn, fenomenbeskrivelser og vurderingsrelaterte begreper. Hensikten med denne distinksjonen er å unngå flertydighet og uklarhet om hva de språklige referansene egentlig er.

Bruken av læringsmål har en sterk forankring i forskningslitteraturen (Barr & Tagg, 1995), blant annet med vekt på studentaktive og selvdrevne læringsformer. Men det økte oppsvinget vi har sett i de senere årene har åpenbart også en europeisk dimensjon, med vekt på studentmobilitet som virkemiddel for styrket europeisk integrasjon. Dette dannet blant annet bakteppe for et felleseuropeisk omregningssystem for studieemner kjent som European Credit Transfer System (ECTS). Bruken av læringsmål og konsekvensene av dette framstår nå som del av en global utdanningsdebatt. En indikasjon på dette kan eksemplifiseres ved at et enkelt søk på «Learning Outcomes» i Google gir nesten 23 millioner treff. Adam hevder dette gis ulike årsaker, blant annet følgende:

These include the desire to obtain greater precision and transparency for both qualifications and qualifications frameworks, to provide clear information to learners, to tailor education more to individual needs, to improve links to the labour market and employment, to advance recognition, to provide a more seamless link between vocational and higher education, to reform the curriculum, etc. (Adam, 2008).

Det finnes imidlertid andre og mer kritiske røster i debatten om læringsmålenes plass og rolle. Et eksempel er kritikken av den såkalte «new managerialism» (Hussey & Smith, 2002, s. 221). De to artikkelforfatterne viser her til følgende to vesentlige utviklingstrekk:

First, and in crude terms, education has become a commodity, and the ‘products’ it offers to its ‘customers’ have had to be commodified: divided into distinct, measurable quantities or modules each capable of being ‘bought’ by prescribed units of assessment. Second, the processes of education have had to become capable of being monitored, audited and evaluated. In this situation teaching staff must adhere to the rubric of transparency and state clearly what they are going to teach, and be held accountable for their success or failure (Hussey & Smith, 2002, s. 221).

Forfatterne hevder videre noe sarkastisk at «Education was not only to be improved, it was to be made more manageable, even – or preferably – by non-academics» (Hussey & Smith, 2002, s. 223). Virkemidler som trekkes fram er eksplisitte læringsmål og vurderingskriterier som kan brukes for rangering, overvåkning og kontroll: «… we need a vocabulary of precise descriptors to enable us to specify the outcomes exactly and to distinguish clearly between the levels and perhaps even grades» (Hussey & Smith, 2002, s. 224).

Vi har tidligere argumentert for at bruken av læringsmål kan sees som resultat av et paradigmeskifte, altså et radikalt nytt syn på utdanningens grunnlag og forutsetninger: «A paradigm shift is a shift from one way of thinking to another» (Adam, 2008). «Implisitt» eller «taus» kunnskap lar seg imidlertid ikke lett erstatte med radikalt nye oppfatninger og endret praksis (Lauvås & Handal, 2000; Polanyi, 1958). Dette er dokumentert i Bologna-prosessens rapporter, der det slås fast at: «Overall, official reports indicate positive but slow progress in the national and institutional adoption and implementation of learning outcomes… The European Higher Education area cannot be fully completed by 2010» (Adam, 2008).

Utvikling og bruk av læringsmål har altså vist seg å være en krevende utfordring. Til tross for både nasjonale og lokale retningslinjer finnes ingen «oppskrift» for implementering av læringsmål: Motstand og skepsis ved implementering og bruk av læringsmål er vel kjent fra litteraturen: «Things are made more problematic as learning outcomes are frequently met with strong and widespread scepticism by higher education staff» (Adam, 2008). Dersom læringsmål virkelig er så nyttig og relevant som noen hevder, hvorfor da kritikk og motstand?

Fra et lærings- og utviklingsrettet perspektiv argumenterer to britiske forskere for at «learning outcomes need to be reclaimed from their current use as devices for monitoring and audit, and returned to their proper use in aiding teaching and learning» (Trevor & Patrick, 2003, s. 357). De to introduserer så en utviklingsrettet modell der de skiller mellom to viktige dimensjoner knyttet til læringsmål, nemlig «intended» og «emergent learning outcomes» og «predicted» og «unpredicted» (Trevor & Patrick, 2003, s. 357). De forsøker med dette så å si og «gjenerobre» et hegemoni for bruken av læringsmål ved bruk av nye analytiske begreper.

En annen vesentlig og prinsipiell kritikk mot bruken av læringsmål er epistemologisk begrunnet. Eksplisittgjøring av læringsmål bygger på den forutsetning at alle typer kunnskap lar seg uttrykke presist i verbal form, noe som neppe alltid er tilfellet. Dette kan illustreres ved den kompetansen som forvaltes av kunstnere. Kvalitetene ved fremføringen av et musikalsk verk lar seg ikke beskrive uttømmende ved bruk av ord, noe som blir forklart ved at helheten er større enn enkeltdelene (Gynnild, 2015). Verbaliseringen rekker kun et stykke på vei:

The current quality assurance culture demands the explicit articulation […] of what have been hitherto tacit norms and conventions underlying disciplinary genres. The justification is that publication aids student performance and guarantees transparency and accountability. This requirement makes a number of questionable assumptions predicated upon what we will argue is an erroneous epistemology. It is not always possible to articulate in a publishable form a detailed description of disciplinary practices such as assessment (Gonzáles Arnal & Burwood, 2003, s. 377).

Mye kritikk til tross, bruken av læringsmål har, og kommer til å ha, en sentral stilling i høyere utdanning. Støtte for denne utviklingen ligger i større vekt på emne- og programdesign, blant annet med støtte fra John Biggs’ konseptuelle bidrag for i størst mulig grad å realisere læringsmålenes intensjon. Han foreslo en nær samordning mellom vesentlige komponenter i utdanningen, spesielt forholdet mellom læringsmål, læringsaktiviteter, eksamen og vurdering. Dette brakte tenkningen et godt stykke videre ved at læringsmålene fikk en systemforankring. Biggs’ begrep om «Constructive Alignment» (Biggs, 1996) har han forklart på følgende vis:

The teaching methods chosen are those that are likely to realise those objectives; you get students to do the things that the objectives nominate. Finally, the assessment tasks address the objectives, so that you can test to see if the students have learned what the objectives state they should be learning (Biggs, 1999).

Eller som Watson uttrykker det: «The essential skill of effective lecturing is preparation, not presentation» (Watson, 2002, s. 210). Med dette som bakgrunn, går vi over til undersøkelsen som ble gjennomført i BA-programmet for nordisk språk og litteratur ved NTNU.

Kontekst og metode

Kvalifikasjonsrammeverket for høyere utdanning ble vedtatt gjennomført ved institusjonen i løpet av 2012, og denne undersøkelsen ble gjennomført i første halvdel av 2013. Derfor var bruken av læringsmål fortsatt et nytt fenomen for de fleste som underviste i studieprogrammet. En av artikkelforfatterne hadde på dette tidspunktet gått inn i det nyopprettete vervet som studieprogramleder ved instituttet, og var dermed også studieprogramleder for det undersøkte studieprogrammet. Hun inntok en sentral rolle under implementering av læringsmål og fikk på denne måten også god innsikt i de ulike faglærernes holdninger og meninger. Dette bidro til innsikt i fagmiljøets arbeid med implementering av læringsmål, og dannet grunnlag for ytterligere datainnsamling i forskningsøyemed. Ifølge studieprogramlederen, som hadde mange års erfaring ved instituttet, var undervisningskulturen preget av mye taus, eller implisitt kunnskap. Vesentlige byggesteiner i kulturen var pensum, undervisningsformer og eksamen. Praksis ble overført fra erfarne undervisere til yngre kolleger via observasjon og erfaring som student, og gjennom samtaler i forbindelse med planlegging, eksamen og sensur.

Tabell 1 nedenfor gir en oversikt over involverte emner. Bachelorprogrammet består i tillegg også av emner som inngår i støttefag, som kan være gitt fra andre institutter.

Tabell 1. Strukturtabell

(Kilde: http://www.ntnu.no/studier/bnordisk/oppbygning)

Datagrunnlaget for undersøkelsen er todelt, med vekt på dokumentstudier og data samlet inn ved bruk av en spørreundersøkelse til samtlige undervisere med formell tilknytning til BA-programmet. Dokumentporteføljen besto av læringsmål og sensurveiledninger i alle emnene. Selv om formuleringer i sensurveiledningen og karakterbeskrivelsene for nordiskfaget åpner for å stryke kandidater på grunnlag av dårlig språkføring og formelle feil, fantes det så langt ingen dokumentasjon knyttet til om dette faktisk forekom i praksis. Dette var bakgrunnen for at vi gjennomførte en kvalitativ survey til hele målgruppen, som besto av 10 faglærere. Selve undersøkelsen besto av fire spørsmål med opptil fire underspørsmål (se spørsmålene til slutt).

Datainnsamlingen ble gjennomført med utgangspunkt i innledende samtaler med en bachelorstudent, som på det tidspunkt var medlem i studentenes fagutvalg ved Institutt for nordistikk og litteraturvitenskap. Resten av arbeidet står artikkelforfatterne selv ansvarlig for.

Dokumentanalysen hadde som formål å kartlegge hvor, og i hvilken form kravet til språkføring og framstillingsevne var tydeliggjort i måldokumenter og sensurveiledninger, altså i hvilken grad kravet faktisk var gjort kjent for faglærere og sensorer. Fokus for spørreundersøkelsen var altså faglærernes bruk av læringsmålene, for eksempel når, hvor og hvordan målene eventuelt hadde blitt kommunisert, og hvordan studentene eventuelt fikk språktrening og øving i skriftlig og muntlig framstillingsevne. Sist, men ikke minst, ble det stilt spørsmål om hvilken vekt dette kriteriet hadde ved vurdering av studentenes arbeid. Etter sin art genererte spørreundersøkelsen kun kvalitative data. Etter gjennomlesning av svarene analyserte vi materialet ut fra et perspektiv om representasjon. Vi var opptatt av å speile mangfoldet i det foreliggende datagrunnlaget, slik at karakteristiske trekk ble eksemplifisert ved illustrative sitat. Under analysen var vi opptatt av å være «lojale» mot datagrunnlaget, slik at framstillingen ble mest mulig autentisk sett i forhold til kildegrunnlaget vårt.

Analyse

Bruken av læringsmål ble introdusert som en obligatorisk øvelse, initiert og styrt ovenfra. I klartekst betydde dette at det kom en bestilling fra den administrative studielederen ved Det historisk-filosofiske fakultet stilet til de nyopprettede studieprogramrådene. En av forfatterne var altså leder for dette studieprogramrådet og mottaker av denne bestillingen. Selv om nesten alle faglærerne deltok og generelt ga uttrykk for at arbeidet bidro til faglig vekst og bedre oversikt over studieprogrammet, var det åpenbart at den enkelte faglærer først og fremst følte et eierskap til, og ansvar for, sitt emne. En synlig utfordring sett fra studieprogramleders side var at det ikke fantes noen «overbygning» eller «kappe» for å knytte de ulike emnene sammen. Dersom studieprogrammets overordnete læringsmål ikke ble oppfylt via enkelte emner, fantes det ikke noe «annet sted» studentene kunne henvende seg for å få oppfylt disse. Programmet var summen av alle emnene det besto av, og eventuelt implisitte sammenhenger mellom dem.

Aktiv bruk av læringsmål representerte en annerledes styringsmetodikk i forhold til etablert praksis. Læringsmålene skulle i teorien være en overordnet ramme for undervisning og læring, og representerte dermed en overgang fra en implisitt til en eksplisitt styringslogikk. Læringskriteriene skulle med dette bli transparente og tilgjengelige uavhengig av tid og sted. Og selve hovedmålsettingen var et ønske om bedre og mer relevant læring hos studentene. Ved gjennomgang av læringsmålene fant vi at kravet til språkføring var nevnt flere steder. I fire av sju læringsmål som omhandler ferdigheter, er kravet omtalt enten implisitt eller eksplisitt:

Ferdigheter: Kandidaten

  • kan tolke språklige og litterære uttrykk på en selvstendig, analytisk og kritisk måte

  • kan uttrykke sin forståelse av språk, kultur og litteratur på en selvstendig måte

  • behersker relevante faglige analyseverktøy, teknikker og uttrykksformer

  • kan utvikle og forme tekster på begge målformer, med struktur, progresjon, sammenheng og argumentasjon

Vi fant også relevante formuleringer i tre av fem læringsmål om generell kompetanse:

Generell kompetanse: Kandidaten

  • har oppøvd sin evne til kritisk og selvstendig tenkning, og til å framføre et velformulert resonnement

  • har en generell tekstkompetanse som kan anvendes i produksjon av ulike teksttyper på begge målformer

  • kan presentere og formidle problemstillinger, synspunkter og løsninger, både skriftlig og muntlig

Vi fant også krav til språkføring i sensurveiledninga til eksamen. Denne er likelydende med formuleringene i «Karakterbeskrivelsene for nordiskfaget», som igjen er fastsatt av Nasjonalt fagråd for nordisk språk og litteratur. Dette dokumentet var i sin tur utformet på bakgrunn av Utdannings- og forskningsdepartementets revisjon av karakterbeskrivelsene for dette faget, vedtatt av det nasjonale fakultetsmøte for historisk-filosofiske fag i 2004. Her slås det fast at tre tema skal måles ved eksamen: «Kunnskapsinnholdet, evne til problemløsning og kritisk innsikt i fagstoffet, og språkføring. Til eksamen vil det generelt være slik at alvorlig svikt på ett av disse overgripende punktene vil føre til stryk, samme hvor godt de andre aspektene er mestret.» Her ser vi altså at det er åpna for at dårlig språkføring i seg selv kan være grunnlag for stryk, uavhengig av kunnskapsnivå og innsikt for øvrig i studieprogrammet.

Dette kravet framstår som dramatisk. Hvor trygge kan studentene være på at dette potensielt meget viktige kravet kommuniseres tydelig via læringsmål, emnebeskrivelser og læringsaktiviteter, og at kravet blir håndhevet av sensor ved vurdering av eksamen? Dette er et unikt krav til studentene i det valgte bachelorprogrammet, som ikke finnes i institusjonens generelle karakterbeskrivelser, gjengitt fra NTNUs nettsider nedenfor:

Tabell 2. Oversikt over generelle karakterbeskrivelser for NTNU

Symbol

Betegnelse

Generell, ikke fagspesifikk beskrivelse av vurderingskriterier

A

Fremragende

Fremragende prestasjon som klart utmerker seg. Kandidaten viser svært god vurderingsevne og stor grad av selvstendighet.

B

Meget god

Meget god prestasjon. Kandidaten viser meget god vurderingsevne og selvstendighet.

C

God

Jevnt god prestasjon som er tilfredsstillende på de fleste områder. Kandidaten viser god vurderingsevne og selvstendighet på de viktigste områdene.

D

Nokså god

En akseptabel prestasjon med noen vesentlige mangler. Kandidaten viser en viss grad av vurderingsevne og selvstendighet.

E

Tilstrekkelig

Prestasjonen tilfredsstiller minimumskravene, men heller ikke mer. Kandidaten viser liten vurderingsevne og selvstendighet.

F

Ikke bestått

Prestasjon som ikke tilfredsstiller de faglige minimumskravene. Kandidaten viser både manglende vurderingsevne og selvstendighet.

(Kilde: https://innsida.ntnu.no/wiki/-/wiki/Norsk/Karakterskalaen)

Til sammen 9 av 10 faglærere responderte på den spørreundersøkelsen vi sendte ut, og alle spørsmålene ble besvart. En svært erfaren faglærer svarte umiddelbart og bidro med et kort, men representativt svar: «Jeg var bevisst læringsmålene og formidlet dem til studentene, men tror ikke helt at jeg tok dem frem ved evalueringen av deres prestasjoner» (Faglærer 5). Undersøkelsen viser at bruken av læringsmål varierer mye, og at det så langt ikke ser ut til å være utviklet noen ensartet praksis. Én faglærer bekrefter at målene ikke har blitt kommunisert til studentene, mens alle de øvrige benytter læringsmålene, om enn på ulikt vis. Noen informerer om målene ved semesterstart, andre bare ved slutten og atter andre underveis i løpet av semesteret:

I noen grad, særlig ved starten, leilighetsvis underveis i kurset (Faglærer 3).

Jeg bruker å formidle slike ting iallfall mot slutten av semesteret, når vi snakker om eksamen og den slags. Men det kan nok også bli formidlet ved andre anledninger, men litt ad hoc (Faglærer 8).

På spørsmål om faglærerne bruker tid på å kommunisere læringsmålene til studentene (1b), svarer fem et klart «ja», tre andre uttrykker et mer vagt «tja», mens kun én svarer tydelig «nei». Et illustrerende sitat fra gruppen av faglærere som svarer et klart «ja» er som følger:

Indirekte gjennom introduksjons- og oppsummeringsforelesninger. Jeg prøver også å få tid til å ta en kort oppsummering på slutten av hver forelesning, der jeg knytter verkgjennomgangene til de overordnede målene i faget (Faglærer 7).

I spørsmål 1c undersøker vi om læringsmålene har blitt kommunisert på annet vis, eventuelt hvordan. Her svarer fire av ni at de ikke vet om læringsmålene har blitt kommunisert i annet format, mens like mange viser til læringsplattformen «itslearning»: «De ligger på nett i emnebeskrivelsene, men erfaringsvis har ikke studentene kjennskap til dem derfra» (Faglærer 6). Faglærerne ble så spurt om det «… noen gang har skjedd at studenter har spurt deg om hva noen av læringsmåla betyr, eller har bedt om for eksempel presiseringer/konkretiseringer? (1d). På dette spørsmålet svarer åtte respondenter «nei» (og én legger til: «Og det er merkelig – altså at ikke mange spør om slik!») og en svarer «ja». Med siste svar følger en utdypning:

Ja, det gjelder særlig hvordan de skal forholde seg til ulike metoderetninger og bibliografiske standarder, men jeg har ikke inntrykk av at spørsmålene kommer fordi studentene har sittet og fundert over emnebeskrivelsen og læringsmålene som sådanne. Spørsmålene dukker oftest opp indirekte i samband med en konkret diktanalyse (Faglærer 8).

Spørsmål 1d oppfatter vi som svært viktig, fordi svarene kan gi indikasjoner på hvor viktig læringsmålene har vært for studentene. Et velkjent trekk ved læringskulturen er at det er lav terskel for å spørre om det som ligger studentene på hjertet, og gjerne «selvfølgeligheter» dersom de oppfatter et tema som viktig nok. Når nesten ingen av faglærerne kan bekrefte at studentene har bedt om å få læringsmålene konkretisert, kan dette tolkes på minst to ulike måter: Enten at målene har vært så tydelige at presiseringer ikke har vært nødvendig, eller at studentene i liten eller ingen grad har benyttet seg av dem. Ettersom læringsmål kun i sjeldne tilfelle er uten tolkningsrom, anser vi det som sannsynlig at studentene ikke har benyttet disse spesielt mye, og at de ikke oppfatter dem som styrende for eget arbeid i studiet. En nærliggende slutning er at det ikke eksisterer en velutviklet kultur for bruken av læringsmål blant studentene. Kanskje er det snarere slik at studentene forholder seg til «strukturen» i emnet i form av pensum, forelesninger og oppgaver snarere enn de uttrykte læringsmålene.

På spørsmål om hvordan studentene blir øvd i språkføring, framstilling og formidling (2a), svarer åtte av ni at dette i hovedsak skjer ved skriftlig og/eller muntlig tilbakemelding:

Framstillingsmåten kommenteres ofte, både om den er bra eller dårlig. Når den er dårlig foreslår jeg ofte alternative formuleringsmåter. «Feil» som blir gjort av mange studenter blir ofte tatt opp på forelesning. For eksempel gjennomgår jeg alltid forskjellen mellom bevis og evidens, da den er svært relevant i dette faget (Faglærer 1).

Svarene på spørsmål 2b viser likevel stor variasjon med hensyn til hvilken vekt faglærerne legger på formelle sider i studentenes skriftlige arbeid. Tre svarer i «liten grad» og like mange hevder det skjer i «noen grad», for eksempel ved tilbakemelding til samlet gruppe:

I undervisninga gjennom en orientering om forventninger og krav og tilbakemelding til gruppa samlet (vanlige feil, områder for forbedring, tips osv.) Og i innleveringsoppgavene (tilbakemelding til den enkelte på arbeidet som er gjort i oppgavene) (Faglærer 6).

Kun én av faglærerne beskriver mer omfattende arbeid med språk og framstillingsform:

Jeg holdt en forelesning som knyttet retorikkdelen av pensum direkte til oppgaveskrivingen, og da opplyste jeg også om formelle krav. De studentene som deltar på gruppetimene har jobbet mye med det formelle der. Studentene kommer også til å få tilbakemeldinger på oppgavene fra læringsassistentene, og der kommenteres både språk, form og innhold (Faglærer 7).

Seks av de ni faglærerne hevder imidlertid at det blir eksplisitt kommunisert at dårlig språk og formelle feil kan være grunn til stryk på eksamen (2c), mens kun én svarer «nei»:

… selv snakker jeg ikke så mye om dette helt i begynnelsen av semesteret. Det kommer mot slutten når det nærmer seg eksamen. Men jeg vil anta at læringsassistentene formidler dette også underveis, ikke minst i forbindelse med arbeidet med de obligatoriske innleveringsoppgavene (Faglærer 8).

De fleste faglærerne bekrefter at formelle krav til språkføring ansees som viktig (3a), eller svært viktig ved vurdering: «Innholdet er viktigst, men dårlig språkføring og mange formelle feil vil som oftest føre til en nedjustering av karakter (fra C til D for eksempel.)» (Faglærer 6).

Språkføring kan trekke en oppgave ned, hvis det er veldig dårlig, men jeg har aldri tenkt at «denne oppgaven har så god språkføring at jeg justerer den opp». Jeg kan til en viss grad «straffe» studenter som har mange feil og dårlig språkføring i form av dårlig karakter, men da skal det være ganske ille. Jeg har derimot aldri tenkt at det faglige innholdet er B, men fordi språkføringa er svært god, så gir jeg A. Hvis du skjønner hva jeg mener (Faglærer 2).

I spørsmål (3b) ble faglærerne spurt om de hadde strøket noen utelukkende på grunn av språkføring. Svarene burde fortelle noe om hvilken vekt som blir lagt på dette kriteriet ved vurdering. Undersøkelsen viser at fem aldri har strøket noen bare på grunn av språkføring, mens to svarer «ja». Vanligere er det at dårlig språk har hatt en medvirkende, negativ effekt på karakteren: «… det har nok spela inn hjå fleire av dei eg har stroke» (Faglærer 4).

På spørsmål om faglærerne bruker læringsmålene ved planlegging av undervisningen, svarer tre et ubetinget «ja», én svarer et klart «nei», mens flertallet (fem) svarer «tja»: «I noen grad, men kanskje ikke så mye for språkføring etc. De andre læringsmålene kan være fine mht. å strukturere og lage en rød tråd i forelesningsrekka» (Faglærer 1). Seks faglærere uttaler seg litt mer konkret om bruken av læringsmålene (4b). Følgende utsagn illustrerer dette:

Men jeg bruker å sjekke at jeg er rimelig innafor de læringsmålene som er spesifisert for det enkelte emnet. Jeg justerte for eksempel undervisninga i et emne etter at jeg tenkte at jeg ikke hadde dekt et læringsmål med den undervisninga jeg egentlig hadde planlagt (Faglærer 2).

Når det gjelder bruk av læringsmålene i vurdering av innleveringer og eksamener (spørsmål 4c og 4d), er også praksis svært forskjellig: Tre svarer «ja», at de faktisk bruker dem, og en nytilsatt faglærer ønsker å gjøre det: «Jeg kommer nok til å gjøre det» (Faglærer 7). Tre svarer «nei»: «I grunnen ikkje, ikkje ved vurdering, utanom det som er innbakt i sensurrettleiinga» (Faglærer 9). Blant de tre som sier de bruker læringsmålene ved vurdering, viser to av dem kjennskap til fenomenet «vurderingsrubrikk»: «Hovedsakelig som en mal for måloppnåelse. Kan brukes omtrent som en rubrikk, selv om jeg ikke nødvendigvis lager en faktisk rubrikk» (Faglærer 3). «Jeg lager meg sensurskjemaer med rubrikker for ulike læringsmål og bruker disse som sjekkliste under karaktersettingen» (Faglærer 8).

Diskusjon

Undersøkelsen viser at det ikke er utviklet en felles kultur for bruken av læringsmål ved instituttet, noe som har ført til svært ulik praksis med hensyn til informasjon om og bruk av læringsmål. En kan spørre om dette kan være et resultat av at bruken av læringsmål kan ha blitt oppfattet som et administrativt pålegg, uten omforent forståelse av den praktiske bruken av læringsmålene. En av artikkelforfatterne ledet og deltok aktivt i utformingen av læringsmål ved studieprogrammet, og de andre faglærerne på instituttet (hvorav så godt som alle deltok i dette utformingsarbeidet) ga uttrykk for at dette arbeidet var både verdifullt og meningsfullt. De uttrykte fellesskapsfølelse og større felles eierskap overfor innholdet i studieprogrammet.

Undersøkelsen viser at det sentralt styrte arbeidet ikke fortsatte utover å utforme læringsmålene. Dette bidro til begrenset innsikt i hvordan disse kunne omsettes i praktisk undervisnings- og læringsarbeid. Selv om grunntanken ved bruk av læringsmål ble presentert for faglærerne, ble det ikke utviklet gode opplegg for hvordan målene kan omsettes i praksis. Dermed utviklet hver enkelt sin egen strategi, som i mange tilfelle neppe gjorde mye fra eller til. Flere av intervjuene indikerer at bruken var nølende, altså at underviserne verken var sikker på når, hvordan eller hvorfor dette kunne antas å være et viktig arbeidsredskap.

En underliggende premiss for bruken av læringsmål var at disse kunne være et nyttig arbeidsredskap i læringsarbeidet. Våre data tyder imidlertid på at så ikke var tilfellet. Dette bidrar til å forklare det faktum at nesten ingen av studentene ifølge faglærerne ba om verken presisering eller konkretisering av læringsmålene underveis i studiet. De fleste faglærerne kommuniserer at skriftlige språkferdigheter er viktig, men kun to bekrefter at de har strøket noen bare på grunn av dette kriteriet. En slik praksis signaliserer at de uttrykte kravene til språkføring framstår som et retorisk grep. Det hører nesten selvfølgelig hjemme som et kompetansekrav i studieprogrammet, gitt både sentralt gitte karakterbeskrivelser og lokalt utformete sensurveiledninger, men nesten ingen studenter stryker i henhold til dette kravet.

Undersøkelsen viser også at læringsmålene ikke blir mye benyttet ved planlegging av undervisningen, ei heller ved vurdering av innleveringer og eksamener. Hvis vi skal prøve å forklare eller forstå en slik praksis, gir forskningslitteraturen støtte til et argument om at dette ikke nødvendigvis handler om prinsipiell motstand mot bruk av læringsmål, men at det også gis grenser for hvor presist ferdigheter kan beskrives i eksplisitte termer. Slik skepsis «… may arise from the fact that there are very real limits as to how far these tacit practices can be articulated in the explicit form required by current quality assurance methods» (Gonzáles Arnal & Burwood, 2003, s. 380). «The claim that they can be made precise with a prescribed vocabulary of special descriptors so as to serve as objective, measurable devices for monitoring performance, is fundamentally mistaken» (Hussey & Smith, 2002, s. 220).

Som vi har sett, var faglærerne tilbakeholdne overfor tanken på å stryke kandidater på grunnlag av språkføring. I de fleste tilfelle var dette et tilleggskriterium ved samlet vurdering som kvalifiserte for stryk. Det ble aldri brukt som selvstendig kriterium for stryk til eksamen. Dels kan dette ha med usikkerhet omkring hvilke krav til språkføring som faktisk foreligger, hvor felles forstått dette er mellom kolleger, og hvor kjent kravene er blant studentene. Hvis dette er uavklart, kan en som faglærer og sensor komme i argumentasjonsnød i møte med studenter. Det kan for eksempel oppstå spørsmål om hvilken vekt kravet til språkføring har hatt i undervisnings- og øvingsopplegget, og hvordan dette kriteriet skal vektlegges ved vurdering. Sensor og faglærer gjør seg selv sårbare ved å tillegge ett enkelt kriterium avgjørende vekt ved vurdering. En skal kunne argumentere godt for seg, for eksempel ved klage, hvorfor prestasjonen er vurdert til stryk. Evalueringsteoretisk sett er det to dimensjoner å ta hensyn til, nemlig kriterier (hva skal vurderes) og standarder (nivå), selv om førstnevnte begrep oftest inkluderer både kriterier og standarder. Om behovet for kriterier ved vurdering skriver Sadler:

Although judgments can be made either analytically (that is, built up progressively using criteria) or holistically (without using explicit criteria), it is practically impossible to explain a particular judgment, once it has been made, without referring to criteria (Sadler, 2005, s. 179).

Våre data indikerer at det på undersøkelsenes tidspunkt ikke var utviklet noen felles kultur for bruken av læringsmål, verken blant studenter eller undervisere. Fagmiljøet benyttet i stor grad «taus kunnskap» ved undervisningsplanlegging og vurdering. Det faktum at ingen av faglærerne mottok spørsmål om kravet til god språkføring, tyder på at studentene ikke engasjerte seg spesielt sterkt i studier av læringsmålene. Dermed får selve strukturen i emnet i form av undervisnings- og læringsopplegg stor betydning. Med studentene som rasjonelle aktører knyttes studieatferd og læring til det som fungerer til eksamen, og ikke til formuleringer i omtale av studieprogrammet. Bruken av læringsmål blant faglærerne er lite systematisert idet enkelte benytter dette ved starten, noen underveis og atter andre ved slutten av studiet. Dermed blir det ikke nødvendigvis en god indre sammenheng mellom læringsmål, læringsaktiviteter og eksamen. Kravet om god språkføring er ikke bare underkommunisert, men også utilstrekkelig vektlagt ved eksamen. Undersøkelsen indikerer at språkføring og framstillingsevne ikke har fått den betydning måldokumentene beskriver. En viktig utfordring ligger i et «oversettelsesarbeid» der målene blir omsatt til læringsaktiviteter. Men hvordan kan så dette skje? Hvor går veien fra uttrykte læringsmål til realisering av de samme målene?

To make them applicable and useful, they need to specify knowledge, understanding, skills and abilities, rather than simple behavioural responses, and to indicate the quality or standard of these. […] The first objection to learning outcomes is that their clarity, explicitness and objectivity are largely spurious. They give the impression of precision only because we unconsciously interpret them against a prior understanding of what is required. In brief, they are parasitic upon the very knowledge and understanding that they are supposed to be explicating (Hussey & Smith, 2002, s. 225).

Disse forfatterne hevder at ferdigheter ikke lar seg beskrive uttømmende verbalt på måter som er til stor hjelp for studentene: «The learning outcome itself indicates only the general nature of what is expected» (Hussey & Smith, 2002, s. 226). Kravene til språkføring og framstillingsevne må derfor nedfelles i programstrukturen ved bruk av eksempler, øvinger og tilbakemeldinger, slik at ønsket kvalitet i større grad internaliseres hos studentene. I motsatt fall kan det bli oppfattet som urettferdig å stryke noen på grunnlag av ferdigheter som ikke er vel integrert i studieprogrammet. Dette relaterer til en annen kritikk i bruken av læringsmål, nemlig at de er «… insensitive to the requriements of different disciplines» (Hussey & Smith, 2002, s. 227). Krav til presentasjon og formidling vil kunne være ganske ulik i forskjellige disipliner, og på ulike nivå i studieforløpet.

I vårt tilfelle står det om krav til språklig framstilling på bachelornivå, altså for relativt ferske studenter. Det er lite sannsynlig at studentene vet hva språkkravet betyr i praksis, og de vil neppe bruke mye tid på noe som ellers ikke blir tydelig vektlagt annet enn verbalt. Effektfull bruk av læringsmål handler derfor mer om hensiktsmessig emne- og programdesign enn om spissfindigheter i utformingen av læringsmålene: «In other words, what students learn is closely associated with how they go about learning it […] Therefore we must consider how best to incorporate the learning outcomes into a course profile» (Watson, 2002, s. 209). Dette støtter John Biggs’ kjente poeng om sammenheng mellom læringsmål, læringsaktiviteter og vurdering (Biggs, 1996). Ut fra dette blir den viktigste brukeren av læringsmål faglæreren selv, og læringsmålene realiseres mest effektivt gjennom læringsaktiviteter og ved vurdering.

De to ulike perspektivene i synet på, og bruken av, læringsmål kan trolig forklares i ulike parters faglige/teoretiske forutsetninger og behov. Samtidig som læringsmålene i heldige fall kan synes å realisere ønsket som transparens og tydelighet, framstår ikke virkeligheten alltid slik for studentene. Mens det førstnevnte perspektivet oftest fremmes av administrasjon og ledelse som del av «management» med vekt på «kvalitetssikring» med utgangspunkt i kravspesifikasjoner, er læringsmålenes bruksverdi for studentene av en annen karakter. Det handler om å gripe egenarten ved tilsiktet læring, og om å vurdere egen læring som grunnlag for tiltak. Kravet til språkføring og framstillingsevne i BA-programmet for Nordisk språk og litteratur framstår som sentralt, men savner felles gode strukturer for å realisere målet.

Konklusjon

Denne undersøkelsen viser fravær av en omforent forståelse av språkferdighetenes plass og betydning i BA-programmet for Nordisk språk og litteratur. Studentenes læring styres først og fremst av de krav som blir stilt ved eksamen framfor læringsmålenes uttrykte intensjoner. Undersøkelsen ble gjennomført i en tidlig fase etter innføring av kvalitetsreformen, og vi tar høyde for at en noe sprikende praksis etter hvert både kan bli bedre samordnet og begrunnet. Foreløpig virker bruken av det læringsmålet vi har undersøkt noe famlende, og det virker som det er et betydelig behov for å gjøre om bruken til noe annet enn et rent programvedtak. Dette krever omforent innsats, kanskje ikke bare institusjonelt, men også nasjonalt. Kanskje handler det til sist om studieprogrammets «sjel» og identitet. For hvem, og til hva er dette til for?

Dette er en «smal» undersøkelse i den forstand at den representerer et lite fagmiljø med få respondenter. Forfatterne gjør derfor ingen krav på generalisering av resultatene utover den gruppen som er undersøkt. Større empiriske studier vil kunne bidra til et mer helhetlig bilde av situasjonen i ulike fagmiljø ved ulike typer institusjoner. Det ville også være interessant å gjenta denne undersøkelsen om noen år for å se om fagmiljøets innstilling til, og bruken av, læringsmålene har forandret seg. Denne typen studier kan være interessante både for å kartlegge endringstakt, og samtidig gi innsyn i nødvendige betingelser for endring.

Vedlegg: Spørreundersøkelsen

«Vi jobber for tiden med en liten kartlegging av om, og i så fall hvordan, de nye læringsmåla påvirker kursene i BA-programmet for Nordisk språk og litteratur. Mer bestemt ønsker vi å vite om læringsmåla påvirker måten vi underviser på, innholdet i kursene, og vår vurdering av studentenes produkter. Vårt prosjekt fokuserer på det fagspesifikke kravet vi har på nordisk som handler om studentenes språkføring og framstillingsevne, våre læringsmål sier for eksempel at kandidaten skal kunne formidle både muntlig og skriftlig, og på begge målformer. Videre sier både karakterbeskrivelsene og sensurveiledninga at språkføring er en av de tre søylene besvarelsen skal hvile på (i tillegg til kunnskapsnivå og evne til problemløsning). Man kan faktisk stryke på dårlig språk og for stort innslag av formelle feil.

Vi håper du kan tenke deg å svare på noen få spørsmål, vi tror ikke det burde ta så mange minutter av din tid. Vi vil ikke bruke navnet ditt noe sted i denne kartleggingen, og alle data og svar blir anonymisert.

1.

a. I hvilken grad blir disse læringsmåla kommunisert til studentene, eventuelt når (ved starten av kurset, forløpende, hver undervisningstime, ved slutten av kurset)?

b. Bruker du selv tid på å kommunisere læringsmåla til studentene?

c. Vet du om de blir kommunisert på annet vis, og i så fall av hvem (studieadministrasjonen, via nett etc.)?

d. Har det noen gang skjedd at studenter har spurt deg om hva noen av læringsmåla betyr, eller har de bedt om for eksempel presiseringer/konkretiseringer?

2.

a. Hvordan blir studentene øvd i språkføring, framstilling og formidling i løpet av kurset?

b. I hvilken grad blir det fokusert spesielt på formelle sider ved framstillinga, for eksempel i undervisninga eller i innleveringsoppgaver?

c. Blir det eksplisitt kommunisert til studentene at dårlig språk og formelle feil kan være grunn til stryk på eksamen?

Når du vurderer innleveringer og sensurerer eksamener:

3.

a. I hvilken grad vektlegger du selv formelle aspekter og språkføring i innleveringer og eksamener?

b. Har du selv strøket noen på eksamen utelukkende på grunn av språkføring?

4.

a. Bruker du selv læringsmåla når du planlegger og lager undervisningsopplegg?

b. I så fall, hvordan?

c. Bruker du selv de nye læringsmåla aktivt når du vurderer eksamener og innleveringer,

d. I så fall hvordan?

Tusen takk for at du tok deg tid til å svare på dette. Jeg håper å få inn riktig mange svar.

Vennlig hilsen […]»

Erkjentlighet

Forfatterne retter en takk til alle som responderte på spørreundersøkelsen. Vi retter også en takk til prosjektgruppa i NOKUT, ledet av Jon Haakstad, som bidro til at vi gjennomførte denne undersøkelsen. Vi takker videre daværende BA-student Kirsti Lunde som delte sine erfaringer med oss. Artikkelen ble grundig omskrevet og faglig sett mye forbedret på bakgrunn av uttalelsene fra forlagets anonyme konsulenter, og vi vil derfor også rette en dypfølt takk til disse fagfellene for deres grundige arbeid og tilbakemeldinger. Til slutt vil vi takke daværende Prodekan for utdanning, Annlaug Bjørsnes og NTNUs prorektor for utdanning, Berit Kjeldstad, for praktisk bistand og oppmuntring underveis.

Litteratur

Aamodt, P. O., Prøitz, T. S., Hovdhaugen, E., & Stensaker, B. (2007). Læringsutbytte i høyere utdanning. En drøfting av utviklingstrekk og måleproblemer (s. 1–61). Oslo: NIFU STEP Studies in Innovation, Research and Education.

Adam, S. (2008). Learning outcomes current developments in Europe: Update on the issue and applications of learning outcomes associated with the Bologna process. Edinburgh, Scotland: Heriot-Watt University.

Barr, R. B., & Tagg, J. (1995). From Teaching to Learning: A New Paradigm for Undergraduate Education. Change, 27(6), 12–25.

Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, 32(3), 347–364. doi: 10.1007/bf00138871.

Cubie, A. (2004). Learning outcomes and the Bologna process. Paper presented at the Using Learning Outcomes, Edinburgh.

Gonzáles Arnal, S., & Burwood, S. (2003). Tacit Knowledge and Public Accounts. Journal of Philosophy of Education, 37(3), 377–391.

Gynnild, V. (2015). Assessing vocal performances using analytical assessment: a case study. Music Education Research, 1–15. doi: 10.1080/14613808.2015.1025732.

Handal, G., & Osnes, J. (1970). Universitetsstudier under debatt. I G. Handal (Red.), Universitetsstudier under debatt: rapport fra et nordisk symposium om mål, prøver, evaluering og studiefrafall ved universitetene. Oslo: Universitetsforlaget.

Harden, R. (2002). Learning outcomes and instructional objectives: is there a difference? Medical Teacher, 24(2), 151–155.

Hussey, T., & Smith, P. (2002). The Trouble with Learning Outcomes. Active Learning in Higher Education, 3(3), 220–233. doi: 10.1177/1469787402003003003.

Kjeldstad, B. (2010). Kvalifikasjonsrammeverket ved NTNU – framdrift og termer (NTNU) (red.). Trondheim.

Kunnskapsdepartementet. Kvalifikasjonsrammeverket for høyere utdanning. http://www.regjeringen.no/nb/dep/kd/tema/hoyere_utdanning/nasjonalt-kvalifikasjonsrammeverk.html?id=564809.

Lauvås, P., & Handal, G. (2000). Veiledning og praktisk yrkesteori. Oslo: Cappelen Akdademisk Forlag.

Polanyi, M. (1958). Personal knowledge. London: Routledge and Kegan Paul.

Sadler, D. R. (2005). Interpretations of criteria-based assessment and grading in higher education. Assessment & Evaluation in Higher Education, 30(2), 175–194.

Trevor, H., & Patrick, S. (2003). The Uses of Learning Outcomes. Teaching in Higher Education, 8(3), 357–368.

Watson, P. (2002). The Role and Integration of Learning Outcomes into the Educational Process. Active Learning in Higher Education, 3(3), 205–219. doi: 10.1177/1469787402003003002.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon