Evaluering er - som det heter - på alles lepper. Innenfor den voksende verden av utdanningspolitikere, -administratorer og -forskere er dette i hvert fall sant. Det gjelder langt fra bare i Norge. Vi kan knapt stikke hodet innenfor en internasjonal organisasjon for å se hvordan den ser ut, før de kommer løpende for å tilby oss deltagelse i et evalueringsprosjekt. Behovet synes stort. Evaluering er en vekstnæring.

Departementet har gitt dette tilkjenne på flere måter. La meg vise til de to viktigste:

I stortingsmelding nr. 40 (1990-91) om høyere utdanning, slår departementet fast at kvalitetssikring og evaluering er et ansvar for utdanningsinstitusjonene, og bør inngå som en del av den ordinære virksomheten ved lærestedene. Det ble i Stortingsmelding 40 blant annet sagt at hovedformålet med evalueringene var å stimulere til læring i det enkelte fagmiljø. I meldingen heter det (s.37):

“Målet for slike evalueringer må være å få kvalifiserte vurderinger av hva som særpreger de utdanningstilbudene som gis, sterke og svake sider ved disse i en nasjonal og internasjonal kontekst og ikke å gi forenklede rang-ordninger av institusjonene. Vurderingene bør munne ut i en beskrivelse av tiltak som kan gjennomføres for å bedre utdanningstilbud og læringsmiljø. En av hensiktene ved de nasjonale vurderingene må være å utvikle et metodeapparat som også kan utnyttes av andre fagmiljøer. Her vil NAVFs utredningsinstitutt ha ansvaret for å utvikle en erfarings-bank.

I det nylig fremlagte statsbudsjett er temaet gitt fornem plass i innledningen, der det blant annet heter:

“Departementet har et helhetsperspektiv på arbeidet med rapportering, evaluering, kvalitetssikring og resultatoppfølging. Tiltakene favner vidt, og elementene er mangfoldige, men de har et samlet sikte og er del av en større satsing. Internasjonalt sam-arbeid gir viktig tilfang til arbeidet.

“Målet er å utvikle et samlet og sammenhengende system for rapportering om tilstanden og lopende vurdering av situasjonen. Samtidig legges grunnlaget for kunnskap om ressurser og resultater på plass.”

Det var vel ikke til å unngå at noen til slutt stilte spørsmålet hvorfor, slik dagens konferanse gjør. Hvilke behov har de sentrale styringsmyndigheter - og hva skal evalueringen nyttes til? Jeg vil i dette innlegget gi kort oversikt over hva som nå foregår av større evalueringsprosjekter innenfor høyere utdanning, omtale noen problemstillinger i forbindelse med evalueringsarbeid, før jeg til slutt kommer inn på hvilke behov disse kan tenkes å skulle imøtekomme, og sier noe om hvordan vi tenker oss å nytte evalueringer fremover.

Aktuelle evalueringsprosjekter som KUF er engasjert i innenfor høyere utdanning, er for tiden følgende:

  1. Pilotprosjekt med nasjonal evaluering av fem fagområder over en fem-års-periode. De fag som er valgt ut er økonomisk-administrativ utdanning, sosiologi, elektronikkfaget innen ingeniør/sivilingeniørutdanningen, matematikk og norsk. Alle evalueringene, med unntak av evalueringen av økonomisk- administrativ utdanning, omfatter både høgskoler og universiteter. Hittil er evalueringen av økonomisk administrativ utdanning gjennomført.

  2. Vi er gått med i et evaluerings- prosejekt innenfor EU, som har som siktemål å teste ut evalueringsmetoder, ved å gjennomføre enkelt- evalueringer i EU-EFTA-området.

  3. Det forberedes en OECD-evaluering av de første år i høyere utdanning, som kan bli aktuelt for Norge å delta i.

  4. Departementet har pålagt universitetene og høgskolene å utarbeide ordninger for studentevaluering av undervisningen. For å oppmuntre til dette arbeidet er det utlyst en pris for gode evalueringsopplegg.

  5. KUF forbereder sammen med NFR en egen evaluering av høgskolereformen.

I tillegg gjennomføres det evalueringer ved institusjoner og innenfor institusjoner, i et stadig voksende omfang. Det er et dobbelt siktemål ved det meste av arbeidet som er satt i gang: Evalueringene skal selvsagt tjene et konkret formål vis a vis den utdanningen, institusjonen eller reformen som settes under lupen, noe jeg kommer tilbake til. Men evaluer-ingene må også være med på å bygge opp prosesskompetanse, slik at selve verktøyet kan bli forbedret, og vi får bygget opp slagkraftige miljøer. Derfor legger vi stor vekt på å delta i internasjonale prosesser, ved siden av at vi i de nasjonale prosessene også trekker inn ekspertise fra andre land.

Så litt om arbeidet med evalueringer, og bruken av dem.

I tråd med hva som ellers er vanlig i andre land som har satt i gang ulike former for evalueringer av utdanningsprogram, er våre nasjonale evalueringer basert på institusjonenes selvevalueringer og sakkyndige komiteer (peer-review). De sakkyndige skal på bakgrunn av selvevalueringsrapportene og besøk ved lærestedene utarbeide en rapport. Departementet har hele tiden understreket at formålet med evalueringene er læring, og at det er opp til lærestedene å følge opp det som kommer fram i rapportene.

Vil KUF etter hvert skille lag med universitetene i synet på evaluering? Foto: Mikael Andersson/ Samfoto.

Erfaringene med evalueringsprosjekt til nå tilsier at det er behov for å sikre at lærestedene følger opp evalueringsrapporten, slik at de faktisk bidrar til a bedre utdanningstilbudene. Det synes som om det at departementet er oppdragsgiver for evalueringen og institusjonene brukere har bidratt til enkelte uklarheter med hensyn til innhold i rapportene og bruk av disse. Vi har f.eks. merket at enkelte av rapportene i evalueringen av økonomisk-administrativ utdanning, synes å ha mer adresse til departementet enn til lærestedene. Rapportene er ikke bestilt til bruk for departementets beslutninger. Hvis de var det ville oppdraget til de sakkyndige være langt mer spesifikt med hensyn til hva det skulle rapporteres om.

Det blir ofte satt et skille mellom evalueringer som grunnlag for kontroll og evalueringer som grunnlag for læring. Dette skillet synes å være noe kunstig. I og med at institusjonene som et ledd i arbeidet med kvalitetssikring blir satt under lupen kan nok evaluering være en form for kontroll, men ikke kontroll etter fastsatte kriterier. Vi vil understreke at læring for institusjonene er hovedformålet med evalueringen. Vi ønsker derfor å sikre at evalueringene får konsekvenser for lærestedene, og vil påse at evaluer-ingene blir fulgt opp. Det betyr at det må stilles krav til evalueringsrapporten om at de inneholder forslag til forbedringer som er rettet mot studietilbudene, og krav til lærestedene om at de følger opp rapportene.

Vi har derfor bedt de sakkyndige om at evalueringsrapporten inneholder forslag til tiltak som de ulike lærestedene kan gjennomføre for å bedre utdanningstilbud og læringsmiljø. Vi har også bedt institusjonene om å forberede opplegg for oppfølging av de rapporter som gjelder egen institusjon, og gi tilbakemelding til departementet om hvordan forslag fra de sakkyndige blir fulgt opp i fagmiljøet. Departementet pleier ikke å blande seg opp i hvordan undervisningstilbudet blir tilrettelagt, og det er følgelig heller ikke naturlig at departementet tar standpunkt til de faglige råd som gis institusjonene. Vi mener ikke at de rådene som gis må tas som absolutte sannheter. Det er opp til lærestedene å vurdere rådene, og følge opp eller forkaste disse. Men vi forventer at rådene blir tatt alvorlig.

Evalueringsrapportene er offentlige. Det bør bety at offentligheten interesserer seg for dem. Men det betyr i alle fall at departementet leser rapportene, men de vil i liten grad kunne fungere som underlag for beslutninger i departementet. Samtidig er det opplagt at departementet ikke kan late som om den informasjon som ligger i en evalueringsrapport ikke eksisterer. Vi kan med andre ord ikke se bort fra relevante opplysninger om et utdanningstilbud selv om disse tilfeldigvis er å finne i en evalueringsrapport. Det kan f.eks. ikke utelukkes at informasjon i en evalueringsrapport kan være relevant grunnlag for vurderinger av fagprofil og arbeidsdeling innen Norgesnettet. Ingen fagtilbud vil imidlertid bli nedlagt på grunn av en evalueringsrapport.

Det overordnete formålet med de nasjonale evalueringene er å bidra til å sikre kvaliteten i høyere utdanning. Departementet har ikke kompetanse til å fastsette hva som er kvalitetskriterier for en utdanning, og kriteriene kan variere fra fagområde til fagområde. Dette er også bakgrunnen for at evalueringene skal foretas av sakkyndige innen de ulike fagområder. Noen kriterier vil imidlertid være felles for flere fag. Departementet ønsker derfor at evalueringsprosjektet skal bidra til å bygge opp kompetanse om kvalitetsbegrepet og hva som bidrar til kvalitet i høyere utdanning, og at dette inngår i Utredningsinstituttets erfaringsbank.

Kvalitetssikringstiltak

De nasjonale evalueringene er også ett av flere tiltak departementet har satt i gang for å bidra til kvalitetssikring. Den økte tilstrømmingen av studenter til de høyere utdanningsinstitusjoner har aktualisert spørsmålet om kvalitetssikring. En hovedutfordring for utdanningsinstitusjonene er å sikre utdanning til flest mulig samtidig som kvaliteten på utdanningstilbudene forbedres. Bedre kvalitet på studietilbudene er et mål i seg selv, men også et middel for å oppnå bedre gjennomstrømning og dermed mulighet for å ta opp flere studenter.

Høgskolereformen må også ses på som et ledd i å styrke kvaliteten i høyere utdanning. Forslag til ny lov om høyere utdanning som er lagt fram for Stortinget, vil innebære større faglig autonomi for høgskolene. Det kan derfor være enda viktigere enn før å påse at disse institusjonene setter i gang kvalitetssikringstiltak.

Departementet antar at studenttilstrømningen som tok til tidlig på 1990-tallet har størst konsekvenser for universitetene, og at disse institusjonene har spesielt behov for kvalitetssikringstiltak, spesielt ved de løsere organiserte studiene. Det er derfor i en tre års periode fra og med høsten 1992 bevilget øremerkede midler til studieforbedrende tiltak ved universitetene. Målet er å finne ut hvilke tiltak som har effekt på resultatene (gjennomstrømming, eksamen). Vi forventer også at universitetene drar nytte av erfaringene med studieforbedrende tiltak til å bygge opp permanente systemer for kvalitetssikring.

Økende vekt på kvalitetssikring som viktig styringsprinsipp stiller departementet overfor store utfordringer fremover. Vi må fortsette å utvikle nye prinsipper for samhandling mellom departementet og institusjonene, i samsvar med slike prinsipper.

La meg sammenfatte noen punkter som fremstår som sentrale for styrings- myndighetene slik jeg er bedt om. Det er nok nødvendig å legge til grunn en utvidet forståelse av ordet styrings- myndigheter. Evalueringen skal altså gi:

1. Styringsinformasjon til departementet.

Virker virkemidlene? Når vi målene? Skjer det noe ute som ligner det som er forutsatt i styringsdokumentene? Er Stortingets intensjoner fulgt opp? Må styringssignalene tydeliggjøres, virkemidlene slipes til? Evaluering som metode har særlig sin styrke når vi skal måle det som ikke har vekt, størrelse eller tall, det vil si måling av kvalitative aspekter.

2. Policygrunnlag.

Er effekten av vedtak i samsvar med forutsetningene? Er det nødvendig med omlegninger, andre prioriteringer fordi virkeligheten var en annen?

3. Informasjon til miljøene ute.

Stor grad av faglig autonomi, tilsier at faglige korreksjoner skjer gjennom institusjonenes egen læring. Slik tilpasning er også en del av styringsmyndighetenes behov, det er bare det at institusjonene har ansvar for den optimalisering som ligger innenfor en definert del av den faglige sfære.

4. Informasjon til brukerne.

Det er et klart samfunnsansvar å sikre transparens i samfunnets serviceytelser, som i utdanningssystemet. Både studentene - som investerer år av sitt liv og en betydelig del av sin økonomi en årrekke deretter - og arbeidslivet som satser på relevansen i den kompetanse utdanningssystemet skaffer til veie - har krav på å få en forbrukerrapport av tjenesten med jevne mellomrom. I dette lys blir det et tankekors at ikke mer gjøres for å bibringe evalueringsresultater til allmennheten.

5. Legitimering av den sterke satsingen på utdanning

Om dette er et styringsbehov, eller et politisk behov, kan være vanskelig å klassifisere. Men det er helt klart at en vekstsektor som utdanning, må kunne svare for seg overfor samfunnet, og redegjøre både for at sektoren er kostnadseffektiv, og for at den er formålseffektiv, det vil si at vi både beveger oss rasjonelt og at vi beveger oss i riktig retning.

De nasjonale evalueringer er som nevnt et pilotprosjekt som går over en fem års periode. I løpet av neste år må departementet ta stilling til hvordan evalueringsprosjektet skal videreføres, og hvilke roller institusjonene og sentrale myndigheter skal ha i dette arbeidet. Slik vi ser det, foreligger det tre alternativ:

  1. Kvalitetssikring og evaluering overlates fullt ut til institusjonene.

  2. Departementet tar fortsatt initiativ til nasjonale evalueringer

  3. Departementet oppretter en “kvalitetskontrollenhet” som skal påse at institusjonen har utviklet kvalitetssikringstiltak.

Aktørene inviteres til å komme med innspill til denne debatten. I tillegg til de enkelte fagmiljø er det viktig at institusjonens ledelse engasjerer seg i evalueringene. Hvilken rolle nasjonale evalueringer bør ha i arbeidet med kvalitetssikring, er en diskusjon lærestedene må ta både internt og i dialog med departementet. Departementet har et overordnet ansvar for at utdanningstilbudene er av god kvalitet og at institusjonene har gode kvalitetssikringssystemer og foretar evalueringer av virksomheten. Kvaliteten er det bare lærestedene selv som kan utvikle. Både departementet og lærestedene bør ha interesse av at det blir gjennomført evalueringer. Om dette i fremtiden bare skal være et ansvar for institusjonene, eller om også departementei skal ta initiativ til evalueringer, er et spørsmål denne konferansen kan bidra til å gi svar på.