Innledning1

Med innføringen av europeisk og nasjonalt kvalifikasjonsrammeverk (KRV), hevdes det ofte at høyere utdanning foretar et paradigmeskifte fra et undervisnings- til et læringsparadigme, der utdanningenes innhold og nivå hovedsakelig defineres gjennom beskrivelser av (mål for) læringsutbytte. En naturlig følge av dette vil være at begrepet «utdanningskvalitet» knyttes nærmere opp mot dette utbyttet, slik at man også i kvalitetsvurderinger av studier og institusjoner ofrer økt oppmerksomhet på studienes læringsresultat (Haakstad, 2010). Men kan man vurdere et studiums kvalitet i form av læringsutbytte på en måte som er rimelig pålitelig og objektivt sammenlignbar på tvers av enkeltstående studieprogram, fagområder og institusjoner? Og vil slike metoder være hensiktsmessige i systematisk evalueringsarbeid?

OECD har i flere år arbeidet med temaet i det såkalte AHELO2-prosjektet. I erkjennelse av hvor krevende denne oppgaven er, er prosjektets første fase en realismestudie, dvs. en undersøkelse om hvorvidt det vil være mulig å utvikle en hensiktsmessig generell metode for vurdering av læringsutbytte – ikke bare på tvers av fagområder og institusjoner, men i dette tilfellet også på tvers av land. Som et forarbeid til prosjektet ble det foretatt en utredning (Nusche, 2007) der begrepet analyseres, anvendte metoder registreres og deres anvendelighet og begrensninger for praktiske formål drøftes. Denne artikkelens første del bygger hovedsakelig på OECDs undersøkelse.

Begrepet «læringsutbytte»3

Generelt

En ofte referert definisjon av læringsutbytte er følgende: «Det en lærende vet eller kan gjøre som et resultat av en læringsprosess» (Otter, 1992). Definisjonen er enkel og dekkende, men skjuler flere avgrensingsproblemer, for eksempel:

Læringsutbytte er en sammensatt størrelse: «Alt man ender opp med etter en aktivitet, enten det er intendert eller ikke» (Eisner, 1979). Hvordan skiller man da mellom læringsutbytte («… som et resultat av …») og læringsstatus? Hva av det lærte kan tilskrives den organiserte læringsprosessen og hva er et resultat av tidligere læring, utenforliggende læring eller generell modenhetsutvikling?

  • Det må skilles mellom «intendert læringsutbytte» (læringsmål) og «læringsutbytte» i betydningen læringsresultat. Begrepet brukes ofte unyansert om begge. Det er viktig å ha i mente at utbyttet sjelden blir helt som intendert.

  • OECD-utredningen bruker termen «(learning) outcomes» for «læringsutbytte», og avgrenser begrepet fra «outputs», som vil være de formelle, «ytre» resultatene, som kandidatproduksjon, frafall og karaktersnitt. «Outputs» er en målbar sluttfaktor i en produksjonskjede, men sier ikke noe presist om studenters læringsutbytte.

  • Læringsutbytte er en individuell størrelse: Forskjellige lærende vil ha ulikt utbytte av det samme læringsprogrammet, slik at utbyttet er like mye avhengig av den lærende som av læringsprogrammet. Et kollektivt uttrykk for en gruppes læringsutbytte kan si mer om utdanningskvaliteten, men er ikke identisk med den.

  • Læringsutbytte kan også være negativt – f.eks. i form av misforståelser og overforenklinger, eller tilegnelse av holdninger og læringsstrategier som er uønskede eller kontraproduktive. Og det kan ha ulik karakter: Læring kan ha ulik «dybde», ulik grad av underliggende forståelse og ulik grad av internalisert bestandighet.

Typologi

Det er for det første vanlig å skille mellom kognitivt og ikke-kognitivt læringsutbytte, selv om man i utdanningssammenheng legger nesten all vekt på det kognitive. Med ikke-kognitivt utbytte menes vanligvis psykososial læring eller utvikling, eller utvikling av verdier og holdninger. I masseutdanningens tidsalder har verdibaserte mål mistet betydning i høyere utdanning (Trow, 2005). Man er tilbakeholden med å søke innlæring av «riktige» holdninger og verdier, men kan likevel ikke unndra seg visse etiske normer og holdninger til arbeid med kunnskap. Og for en del profesjonsutdanninger er etiske og holdningsrelaterte spørsmål spesielt aktuelle. Ikke-kognitivt utbytte er imidlertid problematisk som tema for måling og vurdering.

Kognitivt læringsutbytte deles vanligvis opp i underkategoriene «kunnskaper», «ferdigheter» og «kompetanse», som faller godt sammen med begrepsbruken i KRV. Kunnskaper utgjør den største underkategorien, og deles som regel videre opp i «generell kunnskap» og «fagspesifikk kunnskap». Fagspesifikk kunnskap er normalt det området som dominerer i programinnhold og undervisning. Generell kunnskap, som forutsettes innlært på tvers av fagområder av samtlige studenter innenfor et større utdanningsområde, er i dag på vikende front i høgere utdanning.

(Kognitive) ferdigheter er basert på komplekse tankeprosesser, som verbal og numerisk resonnering, forståelse, analyse, ordning av informasjon, problemløsing, kritisk tenking og utvikling av nye ideer, evne til å samarbeide og formidle. Også her skilles det mellom «generelt» og «fagspesifikt»: Generelle ferdigheter er relevante på tvers av fagfelt, og vektlegges nå tydelig i KRV. De har hittil inngått i varierende grad som eksplisitte mål i programbeskrivelser, og som «resultat» kan de like gjerne tilbakeføres til alder, generell modning eller tidligere utdanning/yrkesutøvelse. Fagspesifikke ferdigheter er avgrenset til fagets egne metoder, f.eks. spesifikke arbeids- og analyseprosedyrer. En fagspesifikk ferdighet er ofte en spesialisert videreføring av en generell ferdighet i en fagspesifikk kontekst.

Kompetanse betegner evnen til å bruke det man har lært i relevante kontekster. Kompetansebegrepet syntetiserer de ulike formene for læringsutbytte: Her kan både kognitive og ikke-kognitive dimensjoner inngå i en blanding av kunnskaper, ferdigheter og holdninger. Utover at det «samler» utbytteaspektene, er kompetansebegrepet et uttrykk for at ulike aspekter må integreres i dannelsen av virkelig ekspertise.

Bruk av læringsutbyttebasert evaluering av høyere utdanning

Formål

Det langt vanligste formålet med læringsutbyttebaserte evalueringer er å foreta graderte sammenligninger av et større antall utdanningstilbud basert på de læringsresultatene de oppnår, på en måte som er mer beskrivende, objektiv og «global» enn hva en mekanisk sammenstilling av oppnådde eksamensresultater kan gi. De er dermed nært beslektet med PISA-undersøkelsene for lavere utdanningstrinn, og resultatene kan bli brukt til å rangere institusjoner og program. Vurderingene har altså primært et summativt formål, men et formativt/forbedringsorientert formål følger gjerne i neste ledd fordi resultatene brukes av den enkelte institusjon med sikte på videreutvikling av læringsprosessen. I Australia brukes resultatene på nasjonalt/regionalt nivå som grunnlag for myndighetenes arbeid med styring av høyere utdanningssektor.

Utbredelse og målgrupper

Ifølge OECDs undersøkelse (Nusche, 2007) har læringsutbyttebaserte evalueringer hittil hovedsakelig hatt form av brede, standardiserte undersøkelser, avgrenset til fagområder og utført av frittstående institutter. De inngår svært sjelden i formelle kvalitetssikringsordninger (eksempler kun fra Brasil og noen delstater i USA) og som regel deltar institusjoner på frivillig basis. Mest brukt er slike vurderinger på det amerikanske kontinent (USA, Canada, Mexico og Brasil) og i Australia, mens AHELO-prosjektet er det første større internasjonale opplegget av slik type innenfor høyere utdanning og også det første forsøket i Europa.

I USA og Australia har den langt vanligste målgruppen vært studenter ved slutten av lavere grad, der man kan samle store programgrupper med mange felles innholdskomponenter. I disse landene har lavere grad ofte et mer enhetlig preg med mindre spesialisering enn det som er vanlig i Europa. Brasil og Mexico er de eneste landene som har anvendt stan-dardiserte, nasjonale læringsutbytteprøver som del av eksamen i høyere utdanning, med egne nasjonale prøvesett for et antall forskjellige fag.4 I Europa er det imidlertid ingen tradisjon for denne typen nasjonale eksamener. De anses å innsnevre og styre læringsmålene på en måte som er uforenlig med institusjonell autonomi og behovet for mangfold og utvikling.

Metodebruk

Undersøkelsene er altoverveiende standpunktvurderinger: De beskriver læringsstatus ved avslutningen av et program og kan si noe om i hvilken grad studentene oppnår den ønskede kvalifikasjonen. Men de gir begrenset evidens for at det lærte kan tilskrives det aktuelle programmet, noe som selvsagt er problematisk hvis formålet er kvalitetsvurdering av programmet. Longitudinelle vurderinger, som tar sikte på å måle utviklingen av læringsstatus fra start til slutt i programmet («value added»), kan si mer om læringseffekten og er også mer tjenlige for formative formål. Men de er ressursmessig mye mer krevende og byr på store metodiske utfordringer som har å gjøre med å nøytralisere for «ekstern støy».

De aller fleste store undersøkelser gjennomføres med en direkte metode. Da måler man utbyttet ved bruk av en særskilt utformet prøve, der «utbytte» bestemmes av hvor bra studentene presterer. Undersøkelser med direkte metode kan anvendes i stor skala og gir god kontroll med vurderingssituasjonen. Utfordringen består i å skape tester som kan favne et stort antall programmer i tilstrekkelig bredde og dybde. Hvis testen brukes jevnlig i flere institusjoner innenfor et geografisk område og resultatene publiseres, kommer det også inn et konkurransemoment som kan påvirke innholdet i studieprogrammene og snevre det inn mot det som man vet testen legger vekt på. Man står dessuten overfor problemet med usikker motivasjon hos respondentene, siden testen ikke «teller».

Ved indirekte metode baserer man seg på studentenes egen vurdering av oppnådd læringsutbytte. Det vanligste her er spørreskjemaer, i noen tilfeller intervju. Indirekte metoder sikrer bedre motivasjon og kan gi «dypere», men også mindre presise og sammenlignbare resultater.

OECDs oversikt viser at både metriske og åpne vurderingsformer brukes, noen ganger i kombinasjon. Metriske vurderinger gir kvantitative resultater («score») som er objektivt sammenlignbare. Ulempen ligger i metodens operative behov for forenkling og reduksjon av vurderingsområdet. Ved åpne vurderingsmetoder løser studenten en oppgave gjennom en skriftlig eller muntlig besvarelse. Åpne tester kan vise læring i større dybde og bredde, inkludert generiske ferdigheter, men resultatene kan ikke sammenlignes og graderes uten bruk av subjektivt (ekspert)skjønn.

Som andre evalueringer, kan også læringsutbytteprøver være enten kriteriebasert eller normbasert. Den normbaserte vurderingen blir ofte holistisk og skjønnspreget, og er sårbar for ulikheter og glidning i nivå. Den er likevel den langt vanligste og enerådende i USA og Australia. Kriteriebasert vurdering er lite egnet til å fastslå læringsutbytte i forhold til hele spennet fra utilfredsstillende til fremragende, men det kan likevel være meningsfullt å arbeide med analyse og forståelse av kriterier som mest mulig detaljert viser hva læringsmålene består av som grunnlag for mer presis bedømmelse av læringsresultat (Gynnild, 2010).

Redskap for byråkratisk mål–middelstyring?

Hvilken betydning kan KRV og det nye utbytteparadigmet tenkes å få for utvikling og vurdering av norsk høyere utdanning? En radikal posisjon kan være å avvise dem med henvisning til det lærings- og evalueringssynet de representerer. Eksempler på slik avvisning gis av hhv. Gustav E. Karlsen og Sissel Østrem i artikler i UNIPED i 2010 og 2011. Ifølge Karlsen peker innføring av KRV tilbake mot Tylers mål–middelrasjonale og Blooms taksonomi, som ble hardt kritisert på 1970-tallet:

«Kritikken var spesielt rettet mot den tekniske rasjonaliteten taksonomiene representerte, med sin tro på at all læring kan målstyres og fanges opp som sluttprodukt i målbare adferdstermer. På denne bakgrunn kan etableringen av kvalifikasjonsrammeverkene tolkes som en revitalisering av en nyttepreget, teknisk rasjonalitet. […] Reformer med overnasjonal forankring innebærer et press på nasjonalstaten i retning av standardisering og harmonisering av nasjonale ordninger.» (s. 12–13)

Kanskje bør «mål–middelspøkelset» avmytologiseres noe som retorisk figur. Det meste av forbedringsorienterte handlinger, i enhver type virksomhet, er basert på mål–middeltenking. Og selv om KRV-konseptet er «taksonomisk», kan det neppe beskrives som spesielt teknisk hvis vi med dette forstår en detaljert regulering. Faktisk kan det motsatte være problemet: At definisjonene er så generelle og uskarpe at de kan tolkes og dras i begge nivåretninger. Som fremstøt for standardisering og harmonisering gir KRV kun vage føringer.

Østrem hevder i sin artikkel at KRV innebærer at «formuleringer om utdanningers mål og innhold er blitt politikkens og byråkratiets område fremfor et faglig ansvar» (Østrem, s. 34). Dette er i utgangspunktet en sterk uttalelse. Hun viser videre til litteratur som argumenterer for læringsutbytteorientering, og konkluderer:

«Men vil en slik ideologi bidra til å utvikle gode utdanninger? […] Tankegangen om en lineær sammenheng mellom tydelige mål og objektiv vurdering beskriver Säljö5 slik: «Utdanningsteknologien innebar at utdanning ble bygd opp systematisk ut fra tydelig formulerte mål. Med utgangspunkt i disse målene ble det skapt undervisnings- og læremiddelpakker som var basert på behaviouristiske ideer om oppbygging av kunnskap fra de minste og mest elementære kunnskapsbitene til de formulerte målene som ofte dreide seg om ganske kompliserte atferdsmønstre.» […] Denne måten å tenke læring på gjør mennesket til et forutsigbart vesen og læring til et spørsmål om stimulusrespons.» (s. 36)

Med læringsutbytte og mål–middelmodellen på den ene siden satt opp mot prosessmodellen på den andre, kan vi snakke om en dikotomi i læreplanspørsmål. Diskusjonen om dikotomiene har vi hatt lenge. Med Bologna-prosessen og det nasjonale kvalifikasjonsrammeverket kan det tilsynelatende se ut som at det kun er mål–middelmodellen som blir gjort gyldig.» (s. 37–8)

Kanskje ordet «tilsynelatende» burde understrekes. Den tette sammenhengen som Østrem knytter mellom læringsutbytteorientering og KRV på den ene siden og a) politisk og byråkratisk styring, b) en lineær mål–middelmodell og c) «behaviouristiske ideer om oppbygging av kunnskap» på den andre, hadde trengt en grundigere begrunnelse.

Østberg diskuterer videre læringsutbytteorientering som anvendt på profesjonsutdanninger. Hun peker her på den uforutsigbarheten og det mangfold av situasjoner/valg som profesjonsutøvelse stiller utøveren overfor. Dette øker betydningen av skjønnsmessige vurderinger:

«Hvis vi må lære oss å leve med usikkerhet og foreta valg i praktiske situasjoner, blir det innlysende at læringsutbytteformuleringer ikke kan fange opp den komplekse og situerte kunnskapen som lærere trekker veksler på og utvikler gjennom de praktiske syntesene. Det er ikke ensbetydende med at vi ikke også skal ha utbytteformuleringer og måle kunnskapsbiter i profesjonsutdanninger, men […] det instrumentalistiske mistaket oppstår når instrumentelle handlinger og teknisk praksis blir gjort til grunnmodell for alle handlinger i opplæringen.»6 (s. 40)

Vektlegging av situert profesjonskunnskap, hvis innhold og lødighet er vanskelig å etterprøve, begrenser muligheten for innsyn i det faglige kunnskapsbegrepet fra andre faglige og ikke-faglige ståsteder. Begrepet situert kunnskap er for så vidt bredt akseptert, men må vel ses på som en kompetansekomponent som kommer i tillegg til KRVs formulering av noen sentrale kjennetegn ved det kognitive nivået i all høyere utdanning. Det er ikke direkte åpen-bart hvordan rammeverket må bli årsak til at «instrumentelle handlinger og teknisk praksis blir gjort til grunnmodell for alle handlinger i opplæringen». Det ville i tilfelle forutsette et helt annerledes detaljert referanseapparat.

Læringsutbyttebaserte evalueringer som ekstern kvalitetssikring av norsk høyere utdanning?

Vurdering av læringsutbytte som metode for eksterne evalueringer av norsk høyere utdanning måtte eventuelt – for å gi noenlunde pålitelige resultater – baseres på direkte metoder, dvs. en eller annen form for prøve, organisert utenom det formelle eksamensregimet. Men mulighetsrommet for slike prøver er begrenset. De brukes hovedsakelig i land som har mer enhetlige opplegg for lavere grads studier, mens variasjoner mellom ulike institusjoners likelydende tilbud er større (og høyt verdsatt) i Norge. Ordningen ville koste betydelige ressurser og innebære store metodiske utfordringer, både når det gjelder å sikre respondentenes motivasjon (og dermed resultatenes reliabilitet), å kompensere for fagenes og programmenes forskjellighet, å bevare tilstrekkelig bredde og dybde i undersøkelsene og endelig når det gjelder å tolke læringsprogrammets kvalitet ut fra utbyttebedømmelsene på en enhetlig og rettferdig måte. Den praktiske oversettingen av KRV til mer konkrete mål (og vurderingskriterier) skjer jo i Norge på institusjonsnivået – og hvordan sikrer man da en felles referanseramme for vurderingene? Det er mer enn tvilsomt om slike «nasjonale prøver» med ditto rangeringer (som nok vil være konsekvensen) er noe man kan se for seg innenfor norsk høyere utdanning. Ikke minst fordi de ville bryte med erklærte målsettinger om at evalueringsordninger i Norge skal være utviklingsorienterte.

En noe mer beskjeden strategi for bruk av LU-vurderinger for vurderingsformål kan være at man lar et element av læringsutbytteprøving inngå i evalueringene, nærmest som en stikkprøve på programmets oppnåelse av læringsmålene. I Sverige og Nederland vil man f.eks. i alle eksterne evalueringer foreta gruppevis (sekundær)bedømmelse av en type større studentarbeid som indikasjon på læringsutbytte. Siden prøven alt er utført, er ikke ny data-innhenting nødvendig, og man kan også se bort fra problemet med motivasjon siden oppgaven inngår som obligatorisk og tellende i programmet. Men her vurderes læringsutbyttet kun ut fra en mindre del av læringsområdet, og er dessuten basert på sakkyndig skjønn. I mangelen av longitudinelt perspektiv kan dette lett bli en vurdering av hvilke program/institusjoner som har «de flinkeste studentene», særlig i den grad det legges vekt på generelle ferdigheter.

Indirekte tilnærminger er også mulige: I de svenske evalueringene skal det inngå en spørreundersøkelse til studentene med vekt på deres (subjektive) oppfatning av eget læringsutbytte. Forskjellen fra dagens studentevalueringer er at en slik spørreundersøkelse vil være nasjonalt standardisert. Det gjør sammenligninger mer troverdige, men opphever ikke svakheten med den opplagte mangel på reliabilitet som generelt knyttes til denne metoden.

Mest begrensende i den norske konteksten er det faktum at de faste eksterne evalueringene skjer på institusjonsnivået i Norge. Her kan læringsutbyttemålinger kun være aktuelle som stikkprøver, mens de kan brukes mer systematisk i forbindelse med revisjoner av programakkreditering. Nytten av slike metoder i eksterne evalueringer må likevel vurderes i forhold til metodisk usikkerhet, belastning, ressursbruk og andre kostnader. Det kan lett bli et negativt regnskap.

Når ekstern kvalitetssikring på dette grunnlaget synes lite realistisk, er det mulig å sette opp en motsats til Karlsens og Østbergs tese om KRV som redskap for teknologisk mål–middelstyring: KRV kan bli en papirtiger. For hvor realistisk er det at den nye orienteringen virkelig vil medføre nye måter å arbeide med studiene på? Kanskje vil den ikke føre lenger enn til ny moteriktig planterminologi? Eller i beste fall til økt bevissthet omkring læringsmål når nye studieplaner skrives. Fra en lokal og faglig synsvinkel er det opplagt mulig å anse nytt fokus på læringsutbytte som mer banalt enn truende. For har ikke læring og læringsutbytte alltid vært målet for utdanningssekvenser? Og beskrives ikke læringsmål i planer, og vurderes ikke måloppnåelsen i prøver og eksamener? Den nye vektleggingen av læringsutbytte kan lett bli kun en retorisk vending.

Didaktisk vending i kvalitetsarbeidet?

Det vil si hvis man ikke velger å se til den andre siden, til bruk som formativt hjelpemiddel, lokalisert i institusjonenes interne kvalitetsarbeid. Som Gynnild har vist, kan det være noe å hente ved analytisk bruk av mer avanserte utbyttevurderingsformer i de enkelte studier som ledd i ei «baklengs planlegging» av forbedret emnedesign (Gynnild, 2010 og 2011). Fokus på KRVs læringsutbyttedefinisjoner skal nå ha gitt nytteverdi i form av gjennomgang av studieplaners målformuleringer. Neste skritt kan være å anvende de nye målformuleringene som referanse for bedre bedømmelse av læring i forhold til målene. Da trenger ikke vurderingsformatene å være like omfattende og vurderingene heller ikke like «eksakte». Vurderinger kan gjøres på mindre læringsgrupper i liten skala, og de kan utføres longitudinelt og med avgrensede tema. Brukt målrettet over tid, vil slike vurderinger kunne gi interessant informasjon om studentenes læring, og det kan foretas sammenligninger med andre grupper i tidsserier eller parallelt. Her kan det ligge umiddelbar nytte i muligheten for bedre individuell veiledning av studentene, men først og fremst i tilbakeføring av aggregert resultatinformasjon til arbeidet med å videreutvikle hele læringsprogrammet. Man vil få indikasjoner om hvordan ulike faktorer i innsatsapparatet, og samspillet mellom dem, påvirker oppnåelse av læringsmålene. Dermed er man også i posisjon til å gjøre de endringene i programmet som kan føre til bedre læring.

Nytt fokus på eksamen?

Utarbeidelse av lokale eller fagspesifikke formater for undersøkelser av læringsutbytte vil være en interessant faglig-didaktisk utviklingsoppgave. Ikke minst kan det bidra til at det generiske ferdighetsområdet får den oppmerksomheten det skal ha. Men oppgaven er krevende og vil ta tid.

Derfor bør man også vie eksamen økt oppmerksomhet. Eksamen er jo den «direkte metoden» som man alt har og der problemet med respondentenes motivasjon ikke gjelder. Innenfor de fleste studietilbud er det sikkert rom for kontinuerlig gjennomtenking og raffinering av prøveformer og oppgaveformuleringer slik at de best mulig sikrer vurderingen av læringsmåloppnåelse. Er det «politisk ukorrekt» å antyde at mer ressurser, mer oppmerksomhet og mer kreativitet vies til eksamens- og prøveregimet, eller er dette noe som høyere utdanning nå faktisk vil ha nytte av? Eksamen er tross alt den viktigste mekanismen for sikring av læringsmåloppnåelse og tiltagende viktig med økt massefisering av utdanningssystemet.

Faglærernes rolle i et mer «kvalitativt» kvalitetsarbeid

Bruk av kunnskap om læringsutbytte i forbedringsøyemed er i siste instans et didaktisk anliggende, og dermed et faglig spørsmål. Men det er et betydelig steg fra å si at en type arbeid ligger til det faglige domenet og til å kunne si at det utføres systematisk, kunnskapsbasert og dokumentert. Selv om et læringsutbytteorientert kvalitetsarbeid må være faglig og lokalt forankret, må det også være underlagt en institusjonell systematikk og krav om dokumentering. Hvis interne KS-systemer orienteres mot dette feltet, vil de faglig ansatte få en mer sentral rolle i systemets rutiner, og dette må være rutiner som aksepteres og «eies» av de faglig tilsatte, integrert i deres faglige virksomhet.

Den viktigste informasjonen som flyter gjennom kvalitetssikringssystemet vil da være generert direkte fra selve studietilbudene, og også behandlet der. De små kvalitetssirklene, som fungerer «læringsnært» i hvert enkelt studietilbud, bør altså ha betydelig autonomi, samtidig som de er hovedleverandører av informasjon til KS-systemets store sirkel. Da kan den informasjonen som behandles bli mer analytisk og faglig-kvalitativ, og for de faglig ansatte kan det til en viss grad bli snakk om å «ta tilbake makt» (jf. Østrem, 2011). Men da må også en merkbar tendens til fagmiljøers avvisning av KS-systemer overvinnes, og de faglig ansatte må vise noe større motivasjon til å prioritere den pedagogiske siden av egen faglighet enn hva NOKUTs kvalitetsbarometer for 2010 (NOKUT, 2010) antydet.

Et mer fokusert og «slankere» kvalitetsarbeid?

Mange institusjoners KS-systemer er blitt nokså omfattende, og det kan reises tvil om all informasjonen kommer til nytte eller i det hele tatt er nyttig. Vi ser også en tendens til at ulike studie- og forskningsrelaterte systemer integreres, noe som kan gi smarte løsninger i databehandlingen, men som også kan føre til at kvalitetssystemet som sådan blir utydelig. Syntese og analyse står jo i et symbiotisk forhold til hverandre, slik at der man syntetiserer, må man også kunne skille ut på en måte som tjener analysen. De studieadministrative systemenes oppsamling av nøkkeltall for inntaks-, innsats- og resultatfaktorer er uansett nødvendige for pålagt rapportering og styringsformål, men det kan være verd å vurdere om de ikke kan tre mer i bakgrunnen i selve kvalitetsarbeidet. De er viktige for andre formål og de er viktige som kvalitetsindikatorer, men står i et klart indirekte forhold til selve studiekvaliteten.

Større vekt kunne da legges på en tydelig utskilt «kvalitativ» kanal fra emne- og opp til institusjonsnivå, som systematisk inneholder analyser, vurderinger og tiltak omkring studienes læringseffektivitet og kvalitet. Slik unngår man f.eks. å blande sammen «kvalitet» i betydningen «studentrekruttering og attraktivitet» – som kan ha mange utenforliggende forklaringer – og den faglige og pedagogiske kvaliteten i studietilbudene. Kunne det bidra til å gjøre kvalitetsarbeidet mer fokusert, analytisk og forbedringsorientert – ja, mer interessant?

Lokalt ansvar – og NOKUTs

I 2013 skal KRV være implementert i institusjonene. Da har også ordningen med interne kvalitetssikringssystemer og eksterne evalueringer eksistert i 10 år. I løpet av disse årene er det gjort et grunnleggende kvalitetssikringsarbeid med stor vekt på de ytre rammeforutsetningene for institusjonenes tilbud av utdanninger. I andre syklus av audits, som startet i 2010, er evalueringskriteriene revidert og evalueringene er lagt opp med tanke på mer dialog mellom institusjonene og de sakkyndige komiteene.

Om vi så ser videre fremover mot en eventuell tredje syklus, kan det være en ambisjon at kvalitetsarbeidet da skal rette seg mer «innover», inn mot selve læringskvaliteten. Dette må institusjonene selv få til ved at de videreutvikler sine instrumenter og rutiner i det systematiske kvalitetsarbeidet, men et slikt perspektivskifte kan vanskelig skje hvis det ikke legges aktivt til rette for det gjennom kravene til interne kvalitetssystemer og gjennom NOKUTs kriterier og opplegg for evalueringene. For NOKUTs vedkommende skulle dette stemme godt overens med organets annonserte vending mot utviklingsformålet (Strategiplanen av 2010).

I mellomtiden burde det være fritt frem for lokale prosjekter i mindre skala om hvordan kvalitetsarbeidet kan bygges opp nedenfra fra emne- og programnivået, og med vekt på samspillet mellom innsats og læringsresultat. Det kommer ikke av seg selv.

Referanser

Dale, E. L. (2009). Utdanningens samfunnsmandat og velferdsrett om skolefaglig læring for alle. I E. L. Dale (red.): Læreplan i et forskningsperspektiv. Oslo, Universitetsforlaget

Eisner, E. W. (1979). The Educational Imagination: On the Design and Evaluation of School Programs, New York

Gynnild, V. (2010). Kriterier og skjønn i evaluering; en kasusstudie i utøvende musikkutdanning. Uniped 2/2010

Gynnild, V. (2011). Kvalifikasjonsrammeverket: Begrepet, modeller og teoriarbeid. Uniped 2/2011

Haakstad, J. (2010). Nytt paradigme – også for kvalitetssikring? Uniped, 2/2010

Karlsen, G. E. (2010). Kvalifikasjonsrammeverk – virkemiddel for kvalitet eller ensretting? Uniped 3/2010

NOKUT (2009). Strategi for videreutvikling av NOKUT 2010–2014. www.nokut.no/OmNOKUT/Strategi-2010-2014

NOKUT (2010). De vitenskapelig ansattes kvalitetsbarometer. www.nokut.no/no/NOKUTs-Kunnskapsbase/NOKUTs-publikasjoner

Nusche, D. (2008) Assessment of Learning Outcomes in Higher Education. EDU/WKP (2008)2; OECD

OECD: www.oecd.org/edu/ahelo

Otter, S. (1992). Learning Outcomes in Higher Education. A Development Project report. UDACE

Säljö, R. (2010) Læring i praksis. Et sosiokulturelt perspektiv, Oslo

Trow, M. A. (2005). Reflections on the Transition from Elite to Mass to Universal Access: Forms and Phases of Higher Education in Modern Societies since WWII. UCLA, Berkeley

Østrem, S. (2011) Den nye grammatikken i høgere utdanning; med læringsutbytte som eksempel. Uniped 1/2011