I oktober 1995 ble Norges Tekniske Høgskole, Universitetet i Trondheim, tildelt førstepremie i KUFs konkurranse om gode opplegg for studentevaluering. Vidar Gynnild, som arbeider ved Pedagogisk Avdeling i studieadministrasjonen ved NTH, har stått sentralt i arbeidet med evalueringsopplegget. UNI-PED har hatt en samtale med Vidar Gynnild om erfaringene med evalue-ringsordningene på NTH.

Vidar Gynnild

Hvordan startet fagevalueringen ved NTH opp?

Det har eksistert fagevaluering i ulike former ved NTH i ganske lang tid, helt fra 1960- og 70-tallet, men i en svært usystematisk form og tilfeldig, avhengig av enkelte faglærer. Den systematiske fagevalueringen startet i 1986, og det var SUK, Den sentrale Utdanningskomitéen på NTH som var initiativtaker og sto for den første fagevalueringen. Den startet egentlig som en belastningskontroll som undersøkte hvor mye studentene hadde å gjøre; det var utgangspunktet. I de tre første årene ble alle fag evaluert gjennom en skriftlig sluttevaluering og en muntlig løpende evaluering.

Hvem på NTH var det som tok initiativet til denne fagevalueringen?

Dette var før det oppsto noen pedagogisk avdeling ved NTH. I den sentrale utdanningskomitéen var det folk med interesse for studiekvalitet. Det lå jo litt i tida dette med evaluering. Det var en aktuell strømning, og det var mye prat om dette. Evaluering var brukt i noeringslivet, og NTH var sterkt næringslivstilknyttet og følte vel at de også skulle kontrollere og måle. Omtrent sånn var tanken den gangen.

Kan du prøve å skissere hvordan dette opplegget var organisert?

Det var et ganske omfattende system med betydelig vekt på kontroll. Det hadde både en skriftlig sluttevaluering, og en løpende prosessrettet muntlig evaluering som foregikk som et samarbeid mellom lærere og studenter i små grupper. NTH har mange svært store studentgrupper, og det hemmer iblant kommunikasjonen mellom lærere og studenter. Evaluering i små grupper har vist seg å være svært nyttig.

Kan du utdype det med kontroll og si litt om hvordan det blir opplevd?

Jeg startet med å si at det var en belastningskontroll. Kontrollaspektet tror jeg har vært følt og opplevd ved at administrasjonen styrte og gjennomførtedette. Resultatet ble sendt til studiedirektør, fakultetsledelsen og undervisningsutvalget. Lærerne fikk lett en følelse av at noen ville se dem litt i kortene.

Fra toppstyrt til lokalt styrt sluttevaluering

Jeg vil gjerne at vi først konsentrerer oss litt om den skriftlige sluttevalueringen. Har det vært noen kritikk av dette opplegget i miljøet på NTH?

Ikke mye. Blant faglærere ved NTH har det vært påfallende liten kritikk mot sluttevalueringen. Det tror jeg har sammenheng med at faglærere ser på resultatene fra denne evalueringen som en slags karakter på egen undervisningsdyktighet. Det har noe med å sammenligne seg selv med andre, og få informasjon om hvordan mitt fag er i forhold til andre fag.

Var denne sluttevalueringen en slags karakter slik at det gikk an å sammenligne; at en fag lærer kunne si: Jaha, denne karakteren fikk jeg og den fikk du?

På en måte ville det være mulig fordi resultatene fra den kvantitative delen av den undersøkelsen ble satt opp i tabeller. Du kunne for eksempel lese av på tiendels grad hvordan var din presentasjonsteknikk ble vurdert i forhold til andre fag. Jeg har forstått at det der har vært godt lesestoff, kanskje litt “Se og Hør” preget litteratur. Men det er klart at det blir utilstrekkelig i forhold til det å skulle foreta utvikling og endring av sitt fag. Det er forskjell på det å finne ut hvordan jeg ligger an i forhold til andre, og det å gjøre noe med faget sitt.

På hvilken måte ble resultatene offentliggjort?

Resultatene ble ikke publisert på navn, men fagnummer. Den kvantitative delen ble utgitt i rapport og nærmest offentlig tilgjengelig fordi den sto på biblioteket på NTH. Studentene ønsket også å ha tilgang til denne halvårlige rapporten som grunnlag for egne fagvalg.

Hvilke metoder ble brukt for å innhente materiale til sluttevalueringen?

Det var studentene som fylte ut skjemaer og var respondenter i forhold til den undersøkelsen som ble gjort. Det ble ikke gjort observasjoner eller intervjuer i tillegg. Det er faglærerne som deler ut materialet til evalueringen, de samler det også inn og sender det til Pedagogisk avdeling som foretar optisk lesning og lager rapport.

Hva er din vurdering av den skriftlige sluttevalueringen? Får den fram vesentlige sider ved undervisningen på NTH?

Jeg må først si at det er skjedd en veldig positiv utvikling ved NTH også når det gjelder denne skriftlige sluttevalueringen. Før omfattet den alle fag, men nå har vi redusert til 1/3 av fagene hvert semester. Vi kuttet ned antall spørsmål til fra noen og tretti til elleve. Vi har jobbet mye med å se på hva som kan være relevante spørsmål, og ikke minst med hvordan vi kan bruke den informasjonen vi får inn.

Den store utfordringen var egentlig ikke bare å samle informasjon, men også å bruke informasjonen på en konstruktiv måte. Etter min mening har altfor mye evaluering gått ut på å samle informasjon ganske ukritisk. Man får vite litt om nesten alt mulig, men som bidrag til å heve kvaliteten på undervisning og læring har dette vært utilfredsstillende. Noe av utfordringen består i å finne relevante områder for forbedring.

Er det fortsatt slik at denne sluttevalueringen publiseres, eller er offentlig på annen måte?

Nei, der skjedde det viktige endringer i 1994 da en ansatt ved NTH stilte spørsmål ved om den skriftlige evalueringen vår holdt vann i forhold til Datatilsynets krav. Vi la fram opplegget for evalueringen for Datatilsynet, og de fant ut at den var konsesjonspliktig. Dette betydde at vi måtte be om samtykke fra faglærere som skulle evalueres, og alle som mottok informasjon måtte undertegne taushetserklæring.

Hvilke følger fikk Datatilsynets krav for arbeidet med fagevaluering?

Datatilsynet krevde at faglærerne måtte gi skriftlig samtykke, og samtidig hadde de krav på å bli informert hvem som ville få tilgang til materialet, og hva det ville bli brukt til. Vi måtte derfor utstede autorisasjoner til den eller de personene som skal ha tilgang til materialet. Det er utelukkende lov til å bruke materialet i forbindelse med å sikre og heve kvaliteten på undervisningen og læring. Materialet kan ikke brukes i forbindelse med attester eller andre sammenhenger.

Resultatet var at distribusjonen av rapporten ble dramatisk begrenset. Det var få personer som fikk tilgang, og det ble lagt strenge bånd på hvordan de kunne bruke den. Dette var særlig sårbart også i forhold til den kommentardelen på den skriftlige evalueringen, som vi vurderer som en langt mer nyttig del enn den kvantitative delen. For der får du beskrivelser, begrunnelser og forklaringer som gir kunnskap om hva problemet består i, og hvilke tiltak som er nødvendige for å få til forbedring. I dette materialet finnes det virkelig sensitive uttalelser.

Samtidig er jeg imponert over hvor dyktige mange studenter er å ta opp konkrete tema med forslag til forbedringer. Men det har vært litt trist å se at dette materialet ikke har fått en mer systematisk bruk og oppfølging. Det har altså ikke vært mangel på informasjon, men det har vært begrenset vilje og evne til å arbeide systematisk med den informasjonen man har fått. Vi er ikke kommet langt nok i oppfølgingen av evalueringene.

Du sier ber at oppfølgingen av evalueringen til forbedring av undervisningen ikke har vært god nok ved NTH. Dette er åpenbart et vanskelig punkt. Hva gjør NTH med denne delen?

Vi har først og fremst gjort en forandring av opplegget med fagevalueringen. Det har vært en dreining fra en ganske typisk administrativt organisert evaluering mot større vekt på en lokal fagevaluering. Den lokale evalueringen skjer i et samarbeid mellom faglærere og studenter. Dette motiverer i større grad til felles innsats. Problemet med den skriftlige administrative evalueringen er at den “daler ned” uten at noen har bedt om den. Slik evaluering er heller ikke tilpasset fagenes egenart og behov, og faglærerne har ikke noen sterk eiendomsfølelse til materialet som kommer inn gjennom evalueringen.

Denne skriftlige evalueringen, er det faglæreren som sender dette videre oppover?

Vi har et korps av studentassistenter ved NTH, faktisk en studentassistent for hvert fakultet som samarbeider med studieaministrasjonen om praktisk gjennomføring og tilrettelegging, både for muntlig og skriftlig evaluering. Det gjelder for eksempel arbeidet med å sørge for at alle fag får en referansegruppe, og at alle som sitter i en referansegruppe får informasjon og tilbud om enkel oppfølging. Studentassistentene bidrar også til at nødvendig materiell kommer ut til hver enkelt faglærer i forbindelse med skriftlig evaluering. Studentassistentene har også ansvar for å få oppnevnt referansegrupper på hvert fag. Disse gruppene er viktige i den løpende evalueringen. Men det er faglærerne selv som deler ut materiellet og samler det inn og sender det tilbake til Pedagogisk avdeling.

Hovedpoenget med en evaluering er vel å få til en forbedring av undervisningen. Har du noe grunnlag for å si noe sikkert om denne virkningen på NTH?

Jeg tror man kan snakke om effekter både på kort og lang sikt. Jeg tror at det har vært nødvendig med en sentralt styrt fagevaluering i en periode. Det har vært en læringseffekt i det at faglærerne har sett at hvordan evaluering kan gjøres, og lest hva studentene skriver.

Alle ble dermed evaluert, og dette dreide seg faktisk om mange hundre faglærere og tusenvis av studenter. Med større erfaring og innsikt på dette området blir det mer og mer naturlig at fagevaluering blir tatt hånd om av faglærere og fagmiljøer. Fagevaluering må bli en integrert og naturlig del av det å drive undervisning.

Og det er den utfordringen man må svare på i all evaluering: hva er oppnådd, og hvilke resultater kan det vises til? Jeg har reflektert ganske mye over dette spørsmålet. Det er viktig å samle informasjon, men det kunne være vel så interessant å be fagmiljøene om dokumentasjon på hvilke tiltak som er satt i verk på grunnlag av evalueringen. En stor utfordring er å bidra til å sette i gang kunnkapsprosesser med utgangspunkt i data fra evalueringen.

Foreløpig har dere altså ikke kommet dit at dere gjør systematiske forespørsler til faglærerne om hvordan de har fulgt opp fagevalueringen?

Det har vi ikke gjort. Formelt sett er det undervisningsutvalget ved hvert fakultet som har ansvar for å følge opp fagevalueringen, men alle forandringer forutsetter at faglæreren må være med. Og det er bare et samarbeid mellom faglærere og studenter som kan skape bedre undervisning. Ingen utvalg kan heve kvaliteten på undervisningen uten medvirkning fra faglærer.

Løpende evaluering

Så vil jeg gjerne børe litt nærmere om hvordan den andre hovedkomponenten i fagevalueringenden løpende evalueringen- er lagt opp. Kan du skissere opplegget her?

Den er lagt opp som samtale mellom faglærer og studenter i små drøftingsgrupper eller referansergrupper. I miljøet brukes en rekke betegnelser som studentpanel, kursnemd eller evalueringsgrupper. Hvert fag har en gruppe med to til tire valgte studenter som jobber sammen med faglæreren gjennom semesteret. De starter gjerne opp tidlig i semesteret for å bli litt kjent med hverandre, og for å finne en høvelig arbeidsform. Gruppen holder to til fire møter i semesteret, og er et forum for samtale omkring faget, undervisningen og læringen. Det er egentlig en ganske banal idé, men jeg mener den har vist seg som den mest nyttige evalueringsformen ved NTH.

Når du sier at denne løpende evalueringen er positiv, bygger du da på tilbakemeldinger fra faglærerne ved NTH?

Ja, den har allmenn og stor aksept blant faglærere på NTH. De fleste mener at det er en god og fornuftig måte å jobbe på fordi den er ubyråkratisk, og gir mye i forhold til innsatsen.

Når du nevner det ubyråkratiske så vil jeg gjerne spørre om det går mye ressurser til denne evalueringen? Bruker dere mye tid og mange folk?

Det går en del tid fordi det er et omfattende evalueringssystem vi har. Det går en del penger til lønn for studentassistenter; det kan vel dreie seg om ca. 150.000 pr år.

Dere er åpenbart godt fornøyd med den formen den løpende evalueringen har fått. Kan du likevel nevne noen sider du ikke er belt fornøyd med?

Jeg kunne jo kanskje nevne at det ikke er lett å oppnå representativitet i referansegruppene. For å få et best mulig bilde av hva andre opplever, har vi stimulert til at gruppene kan gjøre en liten spørreundersøkelse underveis. I tillegg til dette blir de oppfordret til å være lyttende og observante i forhold til sine medstudenter for å fange opp spesielle tema som det er interesse for å vite mer om. Denne strategien har vært ganske fruktbar.

En annen utfordring består i å få gruppene til virkelig å bli produktive med hensyn til konkrete forbedringer.

Fra tid til annen blir gruppene liggende “brakk”, og blir dermed både usynlige og unyttige for de øvrige studentene. Evaluering krever innsikt.

Ikke sjelden blir det oversett at all evaluering bygger på spesielle verdier og antagelser. Ligger det et syn på hva god undervisning er i bunnen av evalueringsopplegget på NTH?

Det er betydelige metodiske problemet knyttet til evalueringer, og det er svært ofte oversett. Evaluering fører ofte tankene i retning av vurdering eller rangering, god eller dårlig. Og da er det klart at spørsmålet om kriterier reises brått når det gjelder hva som er god og dårlig undervisning. Dette er farlig fordi kriteriene i mange tilfeller ikke er kjent for studentene. Dermed er det fare for at evalueringen kan gi høy score på det som gir studentene lite arbeid, eller på tradisjonell undervisning som de fleste er kjent med. Hvis faglærere gjør endringer, skapes det lett et forventningsbrudd i forhold til studentene med dårlig evaluering som resultat. I evaluering skal man vite nøye hva man driver på med. Faren for feiltolking og feilslutning er stor. Metodiske overveielser er derfor vesentlig !

Ved NTH er vi ikke bare opptatt av kriterier som “godt” eller “dårlig”. Vel så nyttig er beskrivelser der studentene forklarer hvilke problemer de har i læringssituasjonen sin. Vi får dermed tegnet et kart over situasjonen, og ser lettere hvor tiltak bør settes inn. God undervisning, hva nå det måtte være, er i beste fall bare en indirekte indikator på om læringen er god. Og du kan faktisk ha den situasjon at en lærer har såkalt “plettfri” presentasjonsteknikk uten at dette fører til god læring i det faget. Derfor har vi begynt å se mer direkte på læringen, og er opptatt av hva som fører til god læring. Nå har vi ved NTH fått en pris for studentevaluering av undervisning, og det tyder på at det fremdeles er undervisningen som er i fokus. Neste trinn bør kanskje være å få en bedre løpende beskrivelse og vurdering av sin egen læring.

I dag tyder mye på at undervisningsbegrepet kanskje er på vei ut, og blir erstattet med et begrep om læring. Det snakkes og skrives veldig mye om lærernes ansvar for å legge til rette og knytte stoffet til en kjent erfaringsborisont. Men er det ikke egentlig avgjørende i all læring at det eksisterer en vilje til å lære. Har dere fundert noe over det at studentenes vilje og ønske om å lære kanskje er belt avgjørende for læringsutbyttet?

Jo, det er helt klart. Derfor har vi også stimulert til en liten diskusjon om en studentrapport som er eksperimentert litt med i forbindelse med referansegruppene. Det gjelder spørsmål om å konkretisere hva som er problematisk i faget med tanke på egen læringssituasjon. Alt som har med motivasjon, og hva som er meningsfylt, er vesentlig. Jeg ser noen forskere nekter å bruke begrepet undervisning overhodet, men snakker utelukkende om læring. Jeg synes kanskje det er å gå litt vel langt. Hvis undervisning betyr å legge til rette for læring, sa er det et spennende begrep.

Hvilken betydning tillegger du det teoretiske og verdibaserte grunnlaget for evalueringsarbeidet?

Det er veldig viktig. Fremfor alt så tror jeg det er veldig viktig at faglærerne blir oppmerksomme på hva de egentlig vil. Hva består rollen deres i? Skal de være en slags erstatning for en lærebok, eller skal de legge til rette for læring på annet vis? Og hva skal være studentenes rolle i læringsarbeidet? Teorifrie evalueringer blir derfor fort problematiske fordi man ikke riktig vet hvilken informasjon som kan være spesielt viktig. Dette kom tydelig fram i forbindelse med Marton-gruppens arbeid i Gøteborg, der de skiller mellom ulike former for læring. Læringsbegrepet rommer forskjellige betydninger, og hvis man ikke har begrep om hva læring skal bety i en konkret situasjon, får studentene et dårlig styringsredskap for eget arbeid.

Du snakker mye om å forandre undervisning og læring, men er det ikke slik at fagkunnskapen bos universitetslæreren som er helt avgjørende også for god læring. Hvis de ikke bar den, så nytter det ikke å være god på sånne kommunikasjonsteknikker?

Å være en dyktig fagperson er en helt grunnleggende forutsetning. Diskusjonen går her på hvordan man kan bidra til god læring hos studentene. Dette er ofte en helt ny utfordring for en forsker.

Denne voksende evalueringsvirksomheten, og kanskje også den universitetspedagogiske virksomheten, har kanskje en viss uniformerende virkning på lærerne. Da kan det skje at lærere som kanskje bar mye å komme med, men som har en presentasjonsform som er original eller som ikke passer inn i det gjennomsnittlige mønsteret, blir støtt ut.

Jeg er stor tilhenger av mangfold i undervisningen, og universitetspedagogikken bør aldri bidra til ensretting. Poenget må være at faglærerne gjennom dette får noen begreper som bedrag til egen utvikling. Det er viktig at flest mulig faglærere får brukt sine sterke sider, og at det gir en positiv uttelling i forhold til studentene sin læring. Jeg tror også studentene reagerer negativt hvis alt blir for konform, og alle skal gå inn i ett mønster. Alle har sterke og svake sider, og utfordringen ligger i at de fleste faglærerne får bruke seg selv til det de gode til. Litt for mange har kanskje vært fanget i former som ikke passer, for eksempel det å forelese.

Men er da ikke eksamensordningene en tilstrekkelig god evaluering? De måler jo egentlig undervisningskvalitet?

Det synes jeg var en dristig påstand. Det tror jeg vil være høyst kontroversielt også ved vår utdanningsinstitusjon. Eksamen som måleredskap; de er utilstrekkelige som indikator på undervisningskvalitet. Det vi ser ved NTH, som har veldig mange fag og veldig stort studiepress, er at både studenter og lærere kan bli litt vel strategiske i forhold til det å finne en “løype” gjennom faget. Å gjøre det godt til eksamen betyr ikke nødvendigvis at alle læringsmålene er nådd.

Er ikke dette du sier nå en grunnleggende kritikk mot hele opplegget ved NTH- og andre universiteter og høgskoler?

Jeg tror det å finne fram til hensiktsmessige eksamensformer er en av de største og viktigste utfordringene med tanke på å utvikle studiekvalitet. Det har en veldig tilbakevirkende kraft på måten studenter studerer på, og jeg tror det brukes alt for lite energi på utprøving og utforsking på dette området.

Blir det egentlig noen resultater av denne evalueringsvirksomheten? I løpet av de siste de årene og i dag har vi en intens ytre aktivitet med organisasjonsendringer og strukturrevisjoner. I det ene øyeblikket skal man bruke virksomhetsplaner og et par år seinere så kaster man dem vekk. Er denne evalueringsbølgen også en møteaktivitet søm skyldes manglende kunnskap hos dem som starter opp dette? Hvordan kan vi vite at det virkelig kommer noe ut av det?

I en del tilfeller kommer det åpenbart ikke mye ut av det. Men hvis evalueringer gjennomføres som en integrert del av det å planlegge fag og undervisning, så ligger det et ganske stort potensiale i det. Hvis studentene og andre ikke ser resultater av evalueringen, blir de umotiverte og mister troen på at det nytter. Det er en mye bedre strategi å starte i det små og jobbe grundig med det man gjør, og kunne vise til hva som er oppnådd, og hva som ble fiasko.

Du ser altså på evaluering som en utfordring til lærere og studenter om å bruke dette redskapet i sin egen læring og undervisning?

Ja Jeg har faktisk kunnet tenkt meg at man kunne ha fått vekttall for å delta i det man kaller fagutvikling. Evaluering og fagutvikling kunne vært en del av utdanningen; en trening i kommunikasjon og samhandling, i utvikling og endring, som jeg tror svært mange studenter har behov for å lære, også med tanke på arbeidslivet. Det er ikke bare ved universiteter og høgskoler man snakker om evaluering. Studentene vil møte dette i arbeidslivet også. Derfor er trening i utviklingsarbeid en nyttig erfaring i ethvert studium i dag.