Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Trenger ikke flere, men bedre evalueringer

Oxford Research A.S.

Oxford Research A.S.

  • Side: 2-5
  • Publisert på Idunn: 2015-09-23
  • Publisert: 2015-09-23

Offentlig ansatte ønsker at evalueringer skal ha høyere kvalitet, bli tettere fulgt opp og integreres bedre med målstyringssystemet. Bare et lite mindretall ønsker at det skal foretas flere evalueringer.

 

Å evaluere er blitt en plikt. Statens økonomiregelverk krever evalueringer, og det ser ut til å virke. Offentlig sektor gjør sin plikt og evaluerer stadig mer – og det til og med systematisk.1

Formålet med å evaluere er jo ikke å evaluere, men at evalueringene ideelt sett skal gi økt samfunnsnytte. Det forutsetter at evalueringsrapporten faktisk blir brukt på en nyttig måte. All bruk av evalueringer er ikke nyttig i den forstand at de leder til bedre tiltak. Det tas likevel ofte for gitt at det å bruke evalueringen er bra – og at det er nyttig.

I denne artikkelen vil vi diskutere ulike former for nytte, før vi går nærmere inn på om og til hvordan den norske statsforvaltningen bruker evalueringer. Vi undersøker også hva forvaltningen selv mener kan øke verdien av deres evalueringsarbeid, før vi avslutter med noen tips til hvordan evalueringer kan bli bedre. Formålet må være at evalueringer ikke bare blir brukt, men at de blir brukt på best mulig måte.

Hva innebærer bruk av evalueringer?

Det er grunn til å ha som utgangspunkt at evalueringer er noe mer enn kunnskapsinnhenting, analyse og nøytral rådgivning. Å evaluere er nemlig ikke bare en plikt. Det kan også være en strategisk handling, utført av parter med klare interesser og som potensielt kan komme til å ignorere funn som ikke stemmer overens med egen ideologi. Evalueringene kan også være av så lav kvalitet at de rett og slett ikke bør brukes til læring.

Oppdragstaker har også interesser. Forvaltningen er gode kunder, og oppdragstaker har interesse av å opprettholde et godt forhold til kundene. Oppdragsgiver kan bruke en evaluering på flere måter og til ulike formål. Dette inkluderer også å bruke evalueringen på en måte som nærmer seg idealsituasjonen, nemlig til læring og forbedring.2

Ikke alle former for bruk innebærer at funnen fra evalueringen blir direkte brukt til å forbedre det evaluerte tiltaket. En konseptuell bruk av evalueringer refererer til en type bruk hvor kunnskapen som blir utledet ikke fører til direkte endringer av tiltaket. I stedet kan forståelsen av programmet eller tiltaket endres, enten blant dem som arbeider med å gjennomføre tiltaket3 eller blant andre som ikke direkte er involvert i tiltaket.4

Denne formen for bruk kan være nyttig, fordi den gir nye ideer og kunnskaper som på sikt kan bidra til å utvikle bedre tiltak eller forbedre det evaluerte tiltaket. Men det er ikke gitt at ny kunnskap om hvordan programmet fungerer faktisk leder til endring.

Særlig når det er interessekonflikter til stede, kan partene bruke evalueringer til å legitimere sine standpunkter og mobilisere til fordel for egen posisjon. Legitimerende bruk av evalueringer er beslektet med symbolsk bruk. I denne kategorien inngår også mer politiske evalueringer, der ønsket om en evaluering drives av en (politisk) ideologi. I lys av dette er det ikke overraskende at det er en sammenheng mellom bruk og funn som stemmer overens med brukernes forventninger.

Innovasjon Norge er en av få norske etater som har en klar evalueringsstrategi. Her er IN-sjef Anita Krohn Traaseth omkranset av to statsråder ved lanseringen av Drømmeløftet. Foto: Innovasjon Norge

Men også evalueringskvalitet og relevans øker sannsynligheten for at evalueringsrapportene leder til endring. Ikke-bruk av evalueringer er ikke bare et resultat av lav kvalitet eller dårlig formidling av resultatene. Det kan også være et aktivt valg fra oppdragsgivers side, eller er resultatet av mismatch mellom oppdragsgivers forventninger og evalueringens funn.

Er det nyttig å evaluere?

I anledning Evalueringsåret 2015 har Eva-forum5, i samarbeid med Norsk Evalueringsforening gjennomført en spørreundersøkelse om bruken og nytten av evalueringer i statlig sektor. Surveyen ble gjennomført i regi av Asbjørn Johansen ved Høgskolen i Oslo og Akershus. Datainnsamlingsperioden har vært 10. til 30 juni 2015. Respondentene som er valgt ut, er medlemmer i EVA-forum og arbeider i statlig sektor. Undersøkelsen ble sendt til 276 respondenter, og 30 prosent svarte på undersøkelsen. Svarprosenten er med andre ord forholdsvis lav, slik at svarene må tolkes forsiktig.

60 prosent av respondentene er enige i at evalueringene de gjennomfører eller bestiller, har stor nytteverdi for dem. Evalueringsfunnene har i noen grad også betydning for de beslutningene om politikkutvikling eller styring som lederne i virksomhetene tar. Det er likevel ikke først og fremst lederne som identifiserer evalueringsbehovet, og ledelsen er som forventet ikke nødvendigvis involvert i alle faser av evalueringsarbeidet.

De siste årene har det vært en bevegelse i retning av mer systematisk bruk av evalueringer. Direktoratet for økonomistyring, DFØ, har blant annet utgitt en egen veileder som skal hjelpe offentlige virksomheter med å bruke evalueringer til å gi bedre styring.

Flere virksomheter har også selv utviklet egne strategier for evaluering. Norges forskningsråd har for eksempel en egen evalueringsstrategi. Forskningsrådet evaluerer forskningsprogrammene sine, de evaluerer forskningsinstituttene og de evaluerer seg selv. De fleste evalueringene gjennomføres av eksterne aktører, enten konsulentselskaper, forskningsinstitutter, eller ekspertpanel.

Men det er ikke bare Forskningsrådet som er opptatt av å få kunnskap om betydningen av egne virkemidler. Innovasjon Norge er en annen virksomhet som flittig bestiller evalueringer av tiltak og tjenester.

Undersøkelsen viser at Forskningsrådet og Innovasjon Norge ikke er alene om å arbeide systematisk med evalueringer. Omtrent halvparten av respondentene i undersøkelsen rapporterer at det er en etablert praksis hos dem å evaluere alle større satsinger. Flertallet av respondentene rapporterer også at det er etablert rutiner for evalueringsarbeidet i deres virksomhet, og virksomhetene arbeider med å tilrettelegge for evalueringer i forkant eller samtidig som de utformer selve tiltaket.

Respondentene er delt i synet på om evalueringer er integrert i mål- og resultatstyringssystemet i virksomheten. Det tyder på at evalueringsarbeidet i en del virksomheter fremdeles skjer uavhengig av andre former for monitorering av resultater.

Hvordan gjøre evalueringene nyttige?

Til tross for at majoriteten av våre respondenter sier at evalueringsarbeid er nyttig, mener likevel ikke alle at evalueringsarbeidet er nyttig. De som mener at kvaliteten på evalueringene i deres virksomhet er høy, mener gjerne at evalueringene er nyttige. Denne sammenhengen er observert i flere studier.6 Da er det også en fordel at flertallet av respondentene opplever at evalueringene i deres virksomhet er av høy kvalitet.

Nytte henger ikke bare sammen med kvaliteten på arbeidet. Evalueringen viser at de respondentene som har hatt størst nytte av evalueringene er de samme som har en systematisk tilnærming til evalueringer, og der lederne er involvert i å identifisere evalueringsbehovet. Det er også en moderat sammenheng mellom opplevd nytteverdi og det å tilrettelegge for evalueringer allerede når tiltakene utformes

Vår påstand er at det har vært en profesjonalisering av evalueringsarbeidet på begge sider av bordet, både blant oppdragsgivere og blant oppdragstakere. Men utviklingen har ikke vært god nok. Respondentene mener at det er potensial for å videreutvikle evalueringsarbeidet deres virksomhet. Det gjelder ikke bare behovet for å få lederne på banen.

Respondentene etterlyser mer systematikk, i form av rutiner for oppfølging og bruk av de gjennomførte evalueringene, langsiktighet i arbeidet, og bedre integrering av evalueringsresultater i mål- og resultatstyringssystemet. Det største behovet, slik respondentene ser det, er likevel økt fagkompetanse.

Bare 25–30 prosent av respondentene mener det er nødvendig med flere evalueringer. Med økt systematikk og etablert praksis for å evaluere store satsninger, kan det tyde på at forvaltningen er i ferd med å nå et metningspunkt med hensyn til mengden evalueringer som gjennomføres. Potensialet for videreutvikling ligger ikke i å evaluere mer, men bedre.

Fra korrelasjon til forbedring

Det er nødvendig å ta et steg videre fra det å identifisere hvilke faktorer som korrelerer med bruk, til å forsøke å si noe om hvordan evalueringenes samfunnsnytte kan økes. 7

Undersøkelsen gir en viss pekepinn på hvor forvaltningen mener skoen trykker, men det er nødvendig å supplere funnene ytterligere. For det første sier undersøkelsen hovedsakelig noe om hvordan forvaltningen kan arbeide med evalueringer på et mer overordnet plan, og ikke konkret hvordan den enkelte evalueringsprosessen kan forbedres.

For det andre er det ikke forvaltningen alene som er ansvarlig for at evalueringene blir brukt. Også de som evaluerer forvaltningen har et ansvar for at evalueringsresultatene blir brukt.

Vi vet fra tidligere forskning at det er en sammenheng mellom evalueringsrelevans og kvalitet og bruk. Høy kvalitet i evalueringsarbeidet er en grunnleggende premiss for at evalueringen skal være samfunnsnyttige. Denne undersøkelsen bekrefter også dette.

Men både i evalueringspraksisen, så vel om i evalueringslitteraturen, har det skjedd en dreining i retning av å vektlegge betydningen evalueringsprosessen, og særlig det å involvere interessenter og oppdragsgiver.8 Deltakende metoder passer inn under det som av noen kalles den dialogbaserte evalueringsbølgen9 selv om dialogbaserte tilnærminger er enda mer brukerorienterte.

Deltakende metoder har vist seg å være effektive for å øke bruken av evalueringer. Denne undersøkelsen viser imidlertid at prosessen internt i forvaltningen også er viktig for at evalueringsresultatene skal bli brukt. Evalueringsstrategier, tilrettelegging for evalueringer og lederforankring er alle momenter som påvirker bruk. De punktene respondentene mener er viktige for å bedre bruken av evalueringene, er også delvis av prosessuell art, nemlig økt integrasjon og systematikk.

Funnene fra denne undersøkelsen sier imidlertid lite om betydningen av relasjonen mellom eksterne evaluatorer, forvaltningen og andre interessenter, og det er her de deltakende metodene kommer inn.

Det er fremdeles slik at involvering først og fremst handler om å involvere oppdragsgiver i oppstarts- og avslutningsfasen. Evalueringsfunnene blir presentert i etterkant av oppdraget gjennom en rapport, gjerne supplert med en presentasjon av funnene for oppdragsgiver og sentrale interessenter. I noen tilfeller får oppdragsgiver også en Power point-presentasjon, med evaluators logo, slik at det er tydelig at dette er evalueringsfunn og ikke oppdragsgivers tolkning av funnene.

Evaluators bidrag til å spre det glade evalueringsbudskapet skjer ved å informere om resultatene og ikke gjennom selve evalueringsprosessen. Og det skal foregå på en viss avstand.

En deltakende prosess involverer oppdragsgiver, men også andre interessenter. Involveringen går utover å invitere interessenter inn i en referansegruppe for å øke evalueringens legitimitet. Anbefalingen er i stedet å involvere et begrenset antall brukere og involvere brukerne tettere i evalueringsarbeidet.10

Deltakende metoder i norsk evalueringspraksis

Dagens evalueringspraksis i den norske forvaltningen inneholder allerede – og i økende grad – noen deltakende elementer. Referansegrupper er kanskje er den formen for deltakelse som er mest benyttet. Innovasjon Norge er ett eksempel på en virksomhet som der evalueringsoppdragene alltid følges opp en av referansegruppe.

Ev velfungerende referansegruppe er en god arena for deltakelse og inklusjon av interessenter, oppdragsgivere og brukere.11 Referansegruppene har ofte et begrenset antall medlemmer og inkludere disse i å utarbeide evalueringsspørsmål, problemformuleringen, evalueringsdesign, datainnsamling, analyse, anbefalinger og rapportering.

Medlemmer med høy metodisk kompetanse, kan bidra til å heve kvaliteten på evalueringen gjennom å stille spørsmål ved og kritisere evalueringsdesignet. Dette har også en praktisk funksjon. En metodisk kompetent referansegruppe, der medlemmene har en felles forståelse av at evalueringsdesignet er godt, kan gjøre det vanskeligere for interessenter som forsøker å undergrave evalueringen gjennom å hevde at metodikken er svak.

Medlemmene i Evalueringsforum mener at bedre oppfølging og bruk av evaluering er det viktigste.

Referansegruppene gjør også evalueringene mer relevante. Medlemmene kan diskutere seg fram til en felles problemforståelse og videreutvikle evalueringsspørsmålene slik at evalueringen undersøker problemstillinger som er relevante for brukerne og oppdragsgiver.

En referansegruppen kan også være en barriere mot ikke-bruk av resultater. Det at det finnes en referansegruppe gjør i seg selv at evalueringsarbeidet blir kjent til et større publikum.

Hvor går veien videre?

Til tross for at Norge lenge hang etter land som USA, Storbritannia og Sverige når det gjelder bruk av evalueringer for å forbedre offentlige tiltak, ser den norske evalueringspraksisen i dag ut til å være nyttig for forvaltningen. Gjennom å evaluere, får forvaltningen kunnskap som de benytter i beslutningsprosesser.

Evalueringspraksisen har også blitt mer systematisk, og evalueringskvaliteten er i stor grad høy. Men det er rom for forbedring. Det er to hovedfunn fra spørreundersøkelsen som er viktig her. For det første er det stor etterspørsel etter faglig kompetanse. For det andre er det behov for å tenke enda mer langsiktig enn i dag. Det er behov for å tilrettelegge bedre for evalueringer av tiltak og inkludere evalueringer inn i virksomhetens øvrige styringssystemer. Evalueringer skal ikke være en ad hoc-aktivitet.

Norsk Evalueringsforening og EVA-forum er begge organer som bidrar til å spre informasjon og kunnskap om evaluering. Men til tross for at evalueringsarbeid har blitt stadig viktigere i offentlig sektor, er det fremdeles få tilbud til studenter som ønsker å studere evaluering og evalueringsmetodikk.

Behovet for mer systematikk viser også at det er fremdeles er behov for veiledere i godt evalueringsarbeid, eksempelvis i form av DFØs ulike veiledere. Vi har også nevnt Forskningsrådet og Innovasjon Norge som eksempler på større virksomheter som har etablert langsiktige planer for evalueringer av deres tiltak.

Det ser ut til å være en etterspørsel etter metodisk utvikling på feltet, i tråd med det Vedung kaller den fjerde evalueringsbølgen; en dreining i retning av effektstudier og eksperimentelle metoder. Dette står delvis i et motsetningsforhold til den deltakende evalueringen og enkelte hevder at denne dreiningen også innebærer en tro på allmenngyldige12 og kontekstuavhengige sammenhenger.

Evalueringsrelevans har også tradisjonelt hatt betydning for om evalueringsresultatene blir brukt. Det er kanskje den deltakende evalueringens største fordel. Men også i eksperimentelle studier er det nødvendig med en evalueringspraksis som gjør det mulig å identifisere de relevante problemstillingene.

Eksperimentenes inntogsmarsj betyr derfor ikke at den deltakende evalueringen er død. RCT-studier er først og fremst viktige for å si noe om effektene av et tiltak og dette er ofte bare en del av det en vanlig evaluering vil inneholde.

Uavhengig av hvilke metodiske dreininger som finner sted innenfor evalueringsfaget, vil dette ikke redusere behovet for å jobbe planmessig og prosessorientert med evaluering som redskap til forbedring. Dersom fagmiljøene lykkes med å utvikle gode eksperimentelle metoder som lar seg gjennomføre innenfor rimelige tids- og kostnadsrammer, så vil det kunne styrke evalueringsfeltet. Men det vil ikke erstatte behovet for å gjøre evalueringer som ser på andre aspekter ved et tiltak, enn bare effekten av tiltaket. Spørsmålet er om økt metodisk kvalitet lar seg omsette til økt samfunnsnytte.

Referanser

Askim, J. mfl. (2013): Evalueringspraksis i den norske statsforvaltningen 2005–2011. I Halvorsen, A., Madsen og N. Jentoft: Evaluering. Bergen: Fagbokforlaget.

Cousins, J., & Earl, L. (1992, ). The Case for Participatory Evaluation. Educational Evaluation and Policy Analysis, 14(4), ss. 397–418.

Johnson, K., Greenseid, L., Toal, S., King, J., Lawrenz, F., & Volkov, B. (2009). Research on Evaluation Use: A Review of the Empirical Literature. From 1986-2005. Evaluation, 30(3), ss. 377–410.

Kirkhart, K. E. (2000). Reconzeptualizing evaluation use: An integrated theory of influence. New Directions for Evaluation, 88, ss. 5–23.

Patton, M. Q. (2003). Utilization-focused evaluation. I T. Kellaghan, & D. L. Stufflebeam, International handbook of educational evaluation. Netherlands: Kluwer.

Tornes, K. (2013). Om verdier og kriterier i evaluering. I A. Halvorsen, Evaluering. Bergen: Fagbokforlaget.

Vedung, E. (2009). Utvärderung i politik och förvaltning. Lund: Studentlitteratur AB.

Weiss, C. H. (1980). Knowledge Creep and Decision Accretion. Science Communication, 1(3), ss. 381–404.

Weiss, C. H. (1998). Have We Learned Anything New About the Use of Evaluation? American Journal of Evaluation, 19(1), ss. 21–33.

1Askim m. fl. 2013
2Weiss, 1998; Kirkhart, 2000; Patton, 2003; Vedung, 2009; Weiss, 1980; Weiss, 1980
3Weiss 1998
4Johnson, et al., 2009
5Et statlig nettverk for evaluatorer i statlig sektor i regi av Direktoratet for Økonomistyring
6Cousins & Earl, 1992
7Weiss, 1998
8Johnson, et al., 2009; Weiss, 1998
9Tornes, 2013
10Cousins & Earl, 1992
11Cousins & Earl, 1992
12Tornes, 2013

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon