I Stortingsmeldingen om høyere utdanning (St.meld. 40 (1990-91)) legges det vekt på at evaluering og kvalitetsforbedring av utdanningsvirksomheten først og fremst er institusjonenes eget ansvar. Institusjonene oppfordres til å samarbeide om å utarbeide egne evalueringsopplegg og vurderingsrutiner både for utdanningsmålene og studieoppleggene. Departementet har også pålagt alle institusjoner å innføre rutiner for studentevaluering av undervisningen.

Jeg vil her belyse hva som skjer av evalueringsvirksomhet lokalt ved institusjonene. iNår drøftingen av kvalitetssikringstiltak i denne sammenhengen begrenses til evaluering er dette ikke fordi evaluering nødvendigvis er det viktigste studiekvalitetsfremmende tiltaket. Svært mange institusjoner har satt studiekvalitet i bred forstand på dagsorden. Når det her fokuseres på evaluering er det blant annet fordi myndighetenes hensikt med både den nasjonale og den lokale evaluerings- virksoniheten er å stimulere institusjonene til kritisk refleksjon over egen virksomhet. Evaluering kan derfor betraktes som et viktig skritt i en bredere satsing på studiekvalitet mer generelt.

Dataene er i all hovedsak hentet fra et spørreskjema som rett før sommeren 199-1 ble sent til samtlige hogskoler og alle fakulteter ved universitetene. Vi valgte å forstå en institusjon soin den enhet som var et universitetsfakultet eller en høgskole vårsemesteret 199-1. Det kom inn 134 skjema, noe som ga en svarprosent på 86.

Studentevaluering kan utnyttesbedre i lærestedenes kvalitetsarbeid. Foto: Roger Stenberg / MIRA / Samfoto.

Studentevaluering av undervisning

Studentevaluering av undervisning har vært trukket fram i en rekke dokumenter som et viktig tiltak for bedre studiekvalitet (NOU 1988:28, Studiekvalitetsutvalgets innstilling 1990, St.meld 40 (1990-91). I St. prp. nr. 1 for 1993-94 ble universiteter og høgskoler pålagt å ta i bruk studentevaluering. Ut fra at dette er et av de mest konkrete påleggene institusjonene har fått i forhold til tiltak for å bedre studiekvaliteten, er det interessant å se i hvilken grad institusjonene har fulgt dette pålegget.

Utbredelse

53 prosent av institusjonene oppga at de hadde innført rutiner for regelmessig studentevaluering av all undervisning. 40 prosent hadde innført dette for noe av undervisningen, mens 7 prosent av institusjonene ikke hadde innført slike rutiner. Det er imidlertid mulig at det også ved de sistnevnte institusjonene foregikk evaluering av mer sporadisk karakter.

Studentevaluering av undervisning har foregått i en rekke fagmiljøer i årevis. Enkelte steder har den i hovedsak vært gjennomført av studentene selv. I andre tilfeller er det lærerne som har tatt initiativet og gjennomført ulike former for evaluering av egen undervisning. I 1991 fikk 71 prosent av universitetslærerne hele eller deler av undervisningen evaluert av studentene. 25 prosent hadde tatt initiativet til evalueringen selv. I 18 prosent av tilfellene hadde studentene tatt initiativet, mens institusjonene hadde tatt initiativet til 54 prosent av evalueringene (Smeby 1993). En tilsvarende undersøkelse ved distriktshøgskolene i 1992 viste at 91 prosent av lærerne fikk undervisningen evaluert. I 50 prosent av tilfellene hadde institusjonen tatt initiativet, studentene hadde tatt initiativet til 9 prosent av evalueringene, mens lærerne hadde tatt initiativet i 41 prosent av tilfellene.

Studentevaluering av undervisning kan imidlertid ha mange former. Det kan være alt fra standardiserte spørreskjema som besvares anonymt av studentene ved avslutningen av kurs, til muntlig tilbakemelding fra studentene underveis. En undersøkelse viste at blant de lærerne ved universitetene som fikk undervisningen sin evaluert, fikk 22 prosent av dem undervisningen evaluert muntlig, mens 78 prosent fikk undervisningen evaluert skriftlig eller både skriftlig og muntlig (Smeby 1993). Tilsvarende data for distriktshøgskolene viste at 10 prosent av lærerne fikk evaluert undervisningen muntlig, mens 90 prosent fikk undervisningen evaluert skriftlig eller både skriftlig og muntlig.

En undersøkelse fra Universitetet i Bergen viste at 56 prosent av lærerne var positive til at studentene evaluerte undervisningen (Manger 1988). 40 prosent av dem var både positive og negative, mens bare 2 prosent var negative. Undersøkelsen tyder på at lærerne i langt storre grad foretrekker studentevaluering i form av anonyme spørreskjema, fremfor muntlig eller skriftlig evaluering foretatt av studentene i samlet gruppe. Det avgjørende for hvilke metoder som velges er imidlertid hvordan resultatene skal brukes.

Bruk av resultatene

Vel så viktig som utbredelsen av evalueringsvirksomheten er hvordan resultatene brukes og følges opp. Tabell 1 viser at ved de aller fleste institusjoner ble evalueringsresultatene gitt til de involverte lærerne. Bare 2 prosent av institusjonene svarte at dette ikke ble gjort. De aller fleste institusjonene brukte også resultatene i planlegging og forbedring av undervisningsoppleggene. Selv om det også her var 2 prosent av institusjonene som svarte at de ikke gjorde det, var det ingen av institusjonene som svarte at de veiken ga resultatene til de involverte lærerne eller brukte resultatene i planlegging og forbedring av undervisningsoppleggene. Når noen få av institusjonene svarte negativt på et av spørsmålene ovenfor kan det ha sammenheng med at enkelte typer studentevaluering først og fremst er innrettet mot læremes pedagogiske praksis, mens annen evaluering først og fremst dreier seg om pensum og studieopplegg.

Tabell 1. Institusjonene etter hvordan resultatene av at studentevaluering ble brukt. Prosent.

  Ja Av og til Ne i Sum (N)
Gis den enkelte lærer 91 8 2 101 (118)
Diskuteres i undervisningsutvalg 60 30 10 100 (112)
I planlegging og forbedring av undervisningsopplegg 83 15 2 100 (120)
I forbindelse med fordeling av undervisnigsoppgaver 15 40 46 101 (103)
Belønne dyktige lærere 5 6 89 100 (101)

Institusjonene ble også spurt om resultatene fra studentevalueringene ble diskutert i undervisningsutvalg eller lignende organer. Et klart flertall av institusjonene svarte ja, omtrent en tredel svarte av og til, mens en tidel svarte nei. Det synes som relativt mange institusjoner ikke har faste rutiner for å behandle student-evalueringene i undervisningsutvalg eller lignende organer. Dette kan tyde på at studentevaluering ved mange institusjoner ikke blir betraktet som et viktig innspill i for eksempel oppfølging og diskusjoner av pensum og studieplaner.

Nesten halvparten av institusjonene svarte at de ikke brukte resultatene fra studentevalueringene i forbindelse med fordeling av undervisningsoppgaver. Dette kan tyde på at mange av institusjonene ikke betrakter studentevaluering som relevant informasjon i forhold til undervisningsplanlegging.

En grunn til at resultatene fra studentevaluering av undervisning i liten grad brukes ved fordeling av undervisningsoppgaver kan være at det er svært mange andre hensyn som må ivaretas. Ofte vil undervisningsoppgaver kreve spesialkompetanse som bare en eller et fåtall av lærerkreftene innehar. Det kan også være vanskelig å få til en fordeling av oppgaver slik at alle lærerne får oppfylt sin undervisningsplikt. 1 den grad en lærer flere ganger har fått svært dårlig evaluering og annen informasjon tilsier at vedkommendes undervisningen ikke fungere tilfredsstillende, kan det imidlertid være gode grunner til at vedkommende får andre og kanskje mindre sentrale undervisningsoppgaver.

Nesten 90 prosent av institusjonene svarte at de ikke brukte resultatene fra studentevalueringene som grunnlag for å belønne dyktige lærere. Dette henger selvfølgelig sammen med at en i liten grad har tradisjon for å belønne undervisningsdyktighet ved universiteter og høgskoler. En undersøkelse viste imidlertid at 74 prosent av universitetslærerne mente at undervisningsdyktighet burde tillegges svært stor eller stor vekt ved individuell lønnsfastsettelse (Smeby 1993). Dette tyder på at personalet også ved forskningstunge institusjoner mener undervisningsdyktighet bør belønnes.

En annen og kanskje viktigere årsak til at resultatene ikke brukes i særlig grad kan være at studentevalueringer i liten grad egner seg som grunnlag for personalpolitiske tiltak. Undersøkelser fra blant annet USA. hvor en har lang erfaring med studentevaluering av undervisning, tyder imidlertid på at relevansen og påliteligheten av studentevaluering av undervisning er god, at studentenes vurderinger er stabile over tid, og at utenforliggende ikke relevante forhold som kan antas å påvirke studentenes evalueringer har liten betydning (Marsh 1987, Marsh og Dunking 1992). Andre undersøkelser tyder på at det er et klart sammenfall mellom studentenes evaluering og lærernes egen vurdering av sin undervisningsdyktighet (Ramsden og Moses 1992).

Andre har vært mer kritiske til påliteligheten av studentevaluering. Også forskere som er positive til studentevaluering av undervisning har vært kritisk til å bruke resultatene direkte personalpolitisk, og fremhevet at resultatene bør begrenses til tilbakemelding med sikte på å forbedre undervisningen (Marsh og Bailey 1993, Jacobsen og Handal 1994).

Det er antakelig fornuftig, i alle fall i første omgang, å begrense bruken av resultatene fra studentevalueringene til kvalitetsutvikling av undervisningen. Nå som såpass mange institusjoner har tatt i bruk studentevaluering av undervisningen ligger utfordringen først og fremst i å utvikle best mulig metoder og rutiner slik at studentevalueringen får konsekvenser og ikke bare blir et innholdsløst ritual. Her kan miljøer ha mye å lære av hverandre.

Andre former for evaluering av utdanningsvirksomheten.

Evalueringer kan ha svært ulike former og omfang. På den ene siden har en store evalueringer hvor eksteme komiteer vurderer enkeltfag ved en eller flere institusjoner. Det er kanskje først og fremst denne typen evaluering som forbindes med utdannings-evalueringer. På den andre siden er det gjennomført en rekke mindre såkalte selvevalueringer og evalueringer foretatt av interne komiteer. Institusjonene ble også spurt om de hadde gjennomført andre former for evalueringer og i så tilfelle bedt om å presisere hva dette gikk ut på. Måten spørsmålet var formulert innebar at studentevaluering ikke skulle trekkes inn i denne sammenhengen. Vi ba institusjonene dessuten å se bort fra de nasjonale utdanningsevalueringene som er iverksatt av KU F.

Totalt oppga 74 prosent av institusjonene at de hadde gjennomført en eller annen form for utdanningsevaluering av minst ett fagmiljø. Ved 15 prosent av institusjonene hadde det vært gjennomført en eller annen form for ekstern evaluering. Det er kanskje denne formen for evaluering som forbindes med utdanningsevaluering i mer snever forstand. Langt flere institusjoner hadde gjennomført en eller annen form for evaluering med intern komite eller selvevaluering (55 prosent). Dessuten oppga 30 prosent av institusjonene at de hadde gjennomført andre former for utdanningsevalueri ng.

Eksempler som ble trukket fram av eksterne evalueringer, tyder på at utdanningsevalueringene ofte bare utgjør en del av evalueringene. Dette gjelder for eksempel NAVFs evaluering av engelskfaget som forelå i 1992. Dette var primært en forskningsevaluering som også til en viss grad tok opp utdanningsvirksomheten. Et annet eksempel er en evaluering av tre sykepleierhøgskoler som Arbeidsforskningsinstituttene gjennomførte i 1983. Prosjektet var primært et endringsprosjekt om arbeidsmiljø og medbestemmelse, men ble utvidet til også å omfatte skolene som læringsmiljø for studenter og ansatte.

NTH har tradisjon for å gjennomføre interne undersøkelser som belyser deres utdanningsvirksomhet. Allerede i 1956/57 ble det gjennomført en undersøkelse som belyste studie-og undervisningsforhold ved høgskolen. I regi av Virksomhetskomiteen ved NTH ble det i 1992/93 gjennomført en serie utredninger som blant annet fokuserte på det faglige innholdet i studiet, undervisnings- og evalueringsformer, samfunnsengasjement, internasjonal kontakt, faglig oppdatering, etter/videreutdanning og NTH-studiets lengde. I tillegg til å belyse forholdene ved NTH inneholder rapportene en rekke forslag og anbefalinger.

Institusjonene ble også spurt om de hadde gjennomført andre former for utdanningsevaluering, og i så tilfelle bedt om å presisere hva dette gikk ut på. Et eksempel som ble trukket fram av et par institusjoner var kollegaveiledning eller tilstedeværelse i hverandres undervisning med påfølgende evaluering. Dette er en metode som ofte brukes i forbindelse med kurs i universitets- og høgskolepedagogikk. Andre trakk fram at studieplanrevisjoner ofte innebar mye evaluering. Enkelte nevnte også eksamen med eksterne sensorer. Selv om dette først og fremst var en evaluering av studentene, ble sensorene også brukt til å gi sin vurdering av eksamen og i enkelte tilfeller

utdanningstilbudet mer generelt.

Initiativtakere og hensikt

En har ofte inntrykk av at evalueringer er noe som tres ned over miljøer ovenfra. Resultatene i Tabell 2 viser imidlertid at for utdanningssektorene vedkommende har de aller fleste initiativ kommet fra institusjonen selv. Selv om ledelsen hyppigst ble oppgitt som initiativtaker, ble også fagmiljøene selv nevnt svært ofte. Bare 15 prosent av de som hadde vært involvert i evalueringer oppga at evalueringene hadde kommet i gang ut fra eksterne initiativ.

Tabell 2. Institusjonene etter hvem som tok initiativet tit utdanningsevalueringene. Prosent.

  Ja Nei Vet ikke Ubesvart Sum (N)
Eksterne initiativ 15 33 52 100 (94)
Ledelsen ved institusjonen 82 5 13 100 (94)
Fagmiljøene 70 5 25 100 (94)

Det kan være flere grunner til å gl ennomf øre utdanni ngseval ueringer. Institusjonene ble bedt om å ta stilling til hva som hadde vært hensikten til at de hadde gjennomført evalueringer. Som det fremgår av Tabell 3 svarte nesten alle at evalueringene ble gjennomført for å forbedre utdanningsvirksomheten. Omtrent tre fjerdedeler mente det var for å innhente informasjon. Relativt få mente grunnen var problemer med utdannings-virksomheten og for å legitimere virksomheten. Denne tabellen er vanskelig å tolke fordi antall ubesvart varierer så sterkt mellom spørsmålene, men en del har nok unnlatt å svare fremfor å svare “nei”.

Tabell 3. Institusjonene etter hvorfor evalueringene ble gjennomført. Prosent.

  Ja Nei Vet ikke Ubesvart Sum (N)
Forbedre utdanningsvirksomheten 98 0 2 100 (92)
Problemer med utdanningsvirksomheten 16 44 40 100 (92)
Legitimering av virksomheten 17 41 41 99 (92)
Innhente informasjon 73 3 24 100 (92)

Omtrent samtlige fremhever forbedring av utdanningsvirksomheten som en grunn til at evalueringene ble gjennomført. Når såpass få svarer at grunnen var problemer med utdanningsvirksomheten kan det henge sammen med at problemer er et for sterkt uttrykk. Jevnt over fungerer vel virksomheten rimelig bra, men det vil samtidig alltid være rom for forbedringer.

Når relativt få oppga at legitimering av virksomheten var en grunn til å gjennomføre evalueringer har dette antakelig sammenheng med at relativt få vil betrakte dette som en viktig årsak, men det vil selvfølgelig i svært mange tilfeller være en positiv bieffekt. En evaluering vil alltid innebære innhenting og systematisering av informasjon. Når ikke alle mente dette var en grunn til å gjennomføre evalueringer, kan det forstås ut fra at informasjonsinnhenting ikke er noe mål i seg selv.

Institusjonene ble også spurt hvordan evalueringene hovedsakelig ble mottatt blant lærerne. 66 prosent svarte positivt, 35 prosent svarte både positivt og negativt, mens ingen svarte negativt. Det synes med andre ord som evalueringsvirksomheten i hovedsak får en relativt positiv mottakelse blant fagpersonalet. Ut fra at betydningen av evalueringer først og fremst ligger i hvordan de tas i bruk, er dette svært oppløftende resultater. Gjennomføring av forbedringer og reformer vil ofte være avhengig av en positiv innstilling blant de ansatte.

Avslutning

En god del av det som i dag betegnes som evaluering, er ikke noe nytt, men har tidligere gått under andre merkelapper. De siste årene har studiekvalitet blitt satt på den politiske dagsorden. Dette er noe nytt og det er viktig. I kartleggingen av hva som nå skjer rundt om på institusjonene kan det derfor være formålstjenlig å skille mellom nye tiltak og institusjonenes tradisjonelle virksomhet.

Målsetningen må imidlertid være at studentevaluering og andre former for utdanningsevaluering og kvalitets-sikring inngår som en del av institusjonenes ordinære virksomhet. Evalueringer er ikke noe mål i seg selv, men et middel for å bedre studie-kvalitet. Like interessant som stort anlagt og ressurskrevende prosjekter er små prosjekter hvor informasjon systematiseres for å bedre kvaliteten. Eksempler på dette kan være systematisk bruk av sensorrapporter og innføring av systemer for kollegial veiledning.

LITTERATUR

Jacobsen, B.W. & G. Handal (1994) Studentevaluering av undervisning ved Universitetet i Oslo. Universitetet i Oslo, Pedagogisk forskningsinstitutt

Manger, T. (1988) Universitetslærarar og undervisning. Universitetet i Bergen, Prosjekt UNIBUT, Rapport 4

Marsh, H.W. (1987) “Students’ evaluations of university teaching: Research findings, methodological issues, and directions for future research”, International Journal of Educational Research. 11, 253-388

Marsh, H.W. & M. Bailey (1993) “Multidimensional Students’ Evaluations of Teaching Effectiveness”, Journal of Higher Education. 64, 1-18

Marsh, H.W. & MJ. Dunkin (1992) “Students1 Evaluation of University Teaching: A Multidimentional Perspective” in J. C. Smart (ed.) Higher Education: Handbook of Theory and Research Vol. VIII. New York, Agathon Press

NOU 1988:28, Med viten og vilie

Ramsden, P. & I. Moses (1992) “Associations between Research and Teaching in Australian Higher Education”, Higher Education. 23, 273-295

Smeby, J.C. (1993) Undervisning ved universitetene. Oslo, NAVFs utredningsinstitutt, Rapport 7/93

St.meld. nr. 40 (1990-91) Fra vision tii virke. Om høgre utdanning. Oslo, Kirke, utdannings- og forskningsdepartementet

Studiekvalitetsutvalget (1990) Studiekvalitet. Innstilling til Utdannings- og forskningsdepartementet, Oslo, Utdannings- og forskningsdepartementet