Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

På tide med tydeligere krav

Direktoratet for økonomistyring

Direktoratet for økonomistyring

  • Side: 10-13
  • Publisert på Idunn: 2015-09-23
  • Publisert: 2015-09-23

Beslutningsgrunnlaget for politikk er ofte både overveldende og fragmentert, og noen ganger mangelfullt og skjevt. Vi bør bruke evaluering bedre for å gi ledere og politikere et mer målrettet kunnskapsgrunnlag.

 

1.49 metres,

Problemet er ikke nødvendigvis at det måles for mye. Eller at det evalueres for lite. Problemet er at vi ikke planlegger sammenhengen mellom måling og evaluering godt nok og tidlig nok. På engelsk er «M&E system» (monitoring & evaluation) et innarbeidet begrep som beskriver hvordan en virksomhet organiserer arbeidet med måling, oppfølging og evaluering innen styring. Vi kan hente god inspirasjon fra land som har etablert en mer systematisk praksis for kunnskapsbasert styring.

God nok styringsinformasjon?

For å få god styring må ledere og politikere motta relevant, balansert og god nok informasjon til riktig tid for å treffe beslutninger. Uten en systematisk tilnærming til informasjonsinnsamlingen risikerer de å få et omfattende kunnskapsgrunnlag som det er krevende å tolke.

Det gjennomføres mange evalueringer i staten, men det er uklart om rapportene som bestilles gir god nok styringsinformasjon. En gjennomgang av et utvalg evalueringsrapporter tyder på at de i liten grad er utformet med beslutningstakere som viktigste målgruppe.

Ledere kan selv forbedre praksis ved blant annet å stille krav til:

  • når og hvordan evalueringer bør gjennomføres.

  • hva slags informasjon en evalueringsrapport skal gi.

  • at måling, oppfølging og evaluering sees i sammenheng.

 

I dag ser det ut til at denne systematiske og strategiske tilnærmingen ikke er særlig vanlig i Norge. Praksis synes å være at evalueringer ofte bestilles

  • når det oppstår en krise, og offentligheten vil ha svar på hva som gikk galt

  • når en aktivitet eller et prosjekt er avsluttet og skal dokumenteres og rapporteres

  • når store reformer og satsinger skal iverksettes

  • når det er stor politisk uenighet om hvilke tiltak som virker best

  • når fagpersoner ønsker dybdekunnskap på sitt fagfelt

  • når politikere eller embetsverk skal begrunne tiltak de ønsker å gjennomføre

  • fordi det er forventet eller pålagt av andre

Få virksomheter har en evalueringsfunksjon som sørger for en koordinert og lederforankret tilnærming.

Evaluering bør være en del av styringsprosessen

Evaluering kan brukes bedre enn tilfellet er i dag, som del av den løpende styringen. Evaluering som planlegges samtidig med at det formuleres mål og styringsparametere, kan gi beslutningstakere bedre, og mer målrettet informasjon på riktig tidspunkt. Evaluering behøver ikke munne ut i en rapport på 200 sider, men kan være et verktøy for systematisk løpende vurdering av om et virkemiddel virker godt. Evalueringer kan også brukes til å følge med på og vurdere om det oppstår utilsiktede effekter, det vil si negative virkninger eller konsekvenser en ikke hadde forutsett. Innenfor evalueringsfaget er det utviklet mange gode metoder for å belyse de ulike problemstillingene en leder må ta stilling til.

Business man making a presentation at office. Business executive delivering a presentation to his colleagues during meeting or in-house business training, explaining business plans to his employees., SSUCv3H4sIAAAAAAAEAKVX227jNhB9L9B/IPQcpDaSbLN927jebYHNJqhT5KFYATQ1tolQpMCL4yDIv+9Qd1LyxnYBA5YOOcPhzDlD6vXXXwhJltRwlvxBXv0bvnMhnLGaWq4kwpOzGoeMW6U5FR702Fs5khhLrTNgei7MxlkL2ljFnhCe9mYzamGNboL5TQj/Ve+kGSgH0QKHkhtnuARjfvvMJZUMkrPeHOOWfs49qEJA0gy8nf3EXz13xMstyM5F9fC9SQJdg2QvXeg+X+U2i42yqr8FHAmcBy+T3Yfd5fX59Kpd6Hs7nKzQk+A0cnYxmeDv4/n0w0XgajqZTiZXk/PL6+mYs0wDzY3lORwc3O/XY46WfH3CRpuqnd+tVpzBmONCyezqYIcfJ52P6uGtxy4NAmjFxdpdcnlZGlQLJk/PyMu8zz1VBdZbP6liJX9LnMuVTu8FxVe1Io9KP3XRNPNuHBcZl+u0eSDzXWWZROxZ1tkIVmtSlMazCw0GpG2E2Fnc9wbSRQHANrFtDmAxksDstsLS+RaNYwOLNAlmPyCQftHKFeRuRWK1lMPPmI50plQBdbeIN1AZBaGXUPpJCBKIdZCinMrRLCGeNs/oQpvhsrEp6jm9pQJZEU1kShcKQ4c99eh2O2tmkna0eRhWTa0QxnSUnbLzO99hniw30Hd835tN7hhzRVXV7nGsUD7xg2K9X40yWQHRJdQ5TL+5fAnak3y8LrAD5izfjueq8fK44ZijmRKC6lItMNAAU3IFGmSkuVkLpzVPg/S3gxV5gyGP4H7JDLxg03u3FJy1qgySPdTN2CJkRoVow4jiz7hhrqxYEP+fLYw1yHMnORutwtorKrCMNPZuJfBo5jLW9kMNkpmgSM555qrlyajYUSF4kOlQJRWW7mHkQKeK6kwrFTaNG4+SfxBOoyYa2xvHWNwJFxU2aIQGcjzzw3AXFbavSiyoQUi03siw51JtJXI5bFo1uOFF2igtNhTArNNwTIyWiqe4jofSyNJl1FkfPJJ+dlryMpA4h5auVqH4u27zl0NGYNmGZMPjNKt2Hth+beFBBgXeh2DAz68Nmv5rPE0XIM2wIUND27BxNui+EzJe7IDzkannsjuZo9soMqug8uXdI+MbPHeHxSLHjkL2HRlLvA6v4k28Qx7udUXZkfSuynloKWFXiJFeM2/h9KGm8CBHAldaOzhaRk13PVEWpgB6sqZ8PIW/6oVR9y9/5RXPkoXVjo2pDPJCqBeA44XmFzcbFcrssQajG+i+KxOcfGUyMDzRamzAivpqSf5H82/JG1UqIm8npoVi+OFJvlC7QYdIvBle9Jf6J0ccQhqwP0hwId/nvYF+Pc4GeTviUpNBrmT50QxxQ2EbH++t2vqcfcI9b7l9GT1NT8mo/6u/fbY8A/9h9lq/U5dx1fvQ2SpGhe93Fz0jFIYtF33Fz6i3Hz1EYfgREAAA, Business presentation on corporate meeting.Meningers mot: Er det mangel på mot som gjør at få evaluatorer tør å stikke hodet fram overfor oppdragsgiver? Foto: Fotolia

Verktøykassen med ulike evalueringsmetoder er mangfoldig og må tilpasses ulike formål. Metodene og verktøyene kan brukes mye mer nyskapende og mindre styrt av vane enn tilfellet er i dag, for å styrke relevansen av informasjonen som samles inn. Evaluering bør utdype risikostyring og måling på indikatorer. Utforming av evalueringsopplegg hjelper oss også til å tenke grundig gjennom valg av indikatorer. Ved å tenke tidlig gjennom hvordan tiltaket eller virkemiddelvalg skal evalueres, får vi hjelp til det utfordrende arbeidet med å formulere riktig type mål på riktig nivå i styringsdialogen mellom departement og virksomhet.

Staten er pålagt å evaluere

Ifølge økonomiregelverket har alle departementer og statlige virksomheter et selvstendig ansvar for å sørge for at det gjennomføres evalueringer. Departementene har dessuten et ansvar for å påse at underliggende virksomheter gjennomfører evalueringer i tråd med økonomiregelverkets bestemmelser. Det er et lederansvar å sørge for at dette skjer. Men regelverket pålegger ikke strenge, standardiserte kriterier for når og hvordan det gjennomføres evalueringer. Det skal vi som driver med styring i staten vurdere selv.

Regelverket gir oss dermed en god mulighet til å «sette sunn fornuft i system». Det kommer likevel klart frem i regelverket at evaluering vurderes som et viktig styringsverktøy i seg selv, ikke bare som et supplement til annen styringsinformasjon. Evaluering kan gi informasjon som ikke kan skaffes til veie fra andre kilder eller verktøy. Evalueringsmetoder kan blant annet brukes for å hjelpe med utfordringer vi støter på når vi skal praktisere god mål- og resultatstyring. Praktiseringen av mål- og resultatstyring har vært omdiskutert fordi det ofte gir for snevert beslutningsgrunnlag, samtidig som det har blitt oppfattet å føre til unyttig datainnsamling.

Mål- og resultatstyring har vært kritisert for at «det som kan telles måles og det som kan måles teller», altså for ensidig vekt på kvantitative målinger som ikke gir særlig mening. Men det er ikke slik at kravene i økonomiregelverket tilsier at statlige virksomheter skal samle inn unødvendige data for å rapportere på snevre mål. Regelverket tilsier heller ikke at virksomhetene skal bruke stadig mer ressurser på å bevise effektene av alt de gjør. Kravet om evaluering tilsier at målingen skal suppleres med andre typer data og analyseres og vurderes slik at det blir et helhetlig og balansert informasjonsgrunnlag. Slik kan evaluering spille på lag med måling for å bidra til å underbygge virksomhetenes læring som grunnlag for justeringer og bedre styring.

Evalueringer i Norge er lite innrettet mot styring

I Norge er evalueringspraksisen ofte sterkt forankret i en forskningstradisjon. I andre land og internasjonale organisasjoner vi henter gode eksempler fra, er evaluering mer målrettet til bruk sammen med måling på indikatorer for å gi nyttig og relevant styringsinformasjon. Vårt poeng er at ledere og beslutningstakere må gi tidlig og tydelig beskjed om hvorvidt arbeidet som skal gjøres er bredt og utforskende, eller spisset mot konkrete og avgrensede problemstillinger. Det er nyttig å tenke gjennom tidlig hva som skal måles (beskrives) og hva som skal evalueres (vurderes), og om arbeidet skal gjøres innad i virksomheten eller om det er behov for en uavhengig utfører.

På Evalueringsportalen samles alle evalueringer utført av eksterne fagmiljøer på oppdrag fra statlige virksomheter. Det er i dag tilgjengelig over 2500 evalueringsrapporter for perioden 1994–2015. Der ligger rapporter fra 95 ulike oppdragsgivere (av de ca. 240 som finnes), skrevet av godt over 300 ulike utførere. Mange av de som utfører evalueringer er registrert med færre enn tre rapporter, og har dermed sannsynligvis liten erfaring med evalueringsarbeid.

For å si noe om evalueringspraksisen (og eventuelt følge opp med en senere undersøkelse om bruk av evalueringer i styring), har DFØ sett nærmere på de 280 evalueringsrapportene som er registrert på portalen for 2011.1 Vi fikk langt på vei bekreftet hypotesene våre som er utgangspunktet for denne artikkelen, nemlig at evalueringene som gjennomføres er lite innrettet mot styring.

Vi fant nesten ingen rapporter som på en klar og tydelig måte innledes med informasjon om hvem som skal bruke rapporten, hva den skal brukes til og i hvilken sammenheng funn, konklusjoner og eventuelt anbefalinger skal brukes. Informasjonen om målgruppe for evalueringsrapportene er oftest begrenset til at oppdragsgiver er nevnt. Det betyr ikke at oppdragsgiver og utfører ikke har drøftet spørsmålet om videre bruk. Formålet kan være beskrevet bedre i andre dokumenter. Men dette er informasjon som ville bidratt til å gi evalueringsrapporten legitimitet, og til å gi tillit til at den vil bli brukt i etterkant. Åpenhet om forventet bruk ansvarliggjør både oppdragsgiver (bestiller), evaluator og beslutningstakere, noe som er spesielt viktig overfor den eller de som blir evaluert.

«Rapporten skal gi kunnskap om…»

Vanligere enn å oppgi hva rapporten skal brukes til, er det at innledningen utdyper hvilke spørsmål evalueringen skal besvare. Men det er mange rapporter som ikke presenterer konkrete evalueringsspørsmål eller kriterier. Det er ganske vanlig å innlede rapporten med å si at «den skal gi kunnskap om…», altså en bred problemstilling. De fleste rapportene har større innslag av forskningsspørsmål enn av spørsmål rettet mot strategisk og operativ styring. Dette gjelder evalueringer utført av de typiske forskningsinstitusjonene, men også konsulentfirmaene.

En skjønnsmessig opptelling viser at evalueringsrapportene i 2011 fordeler seg omtrent likt mellom forsknings- og konsulentmiljøer. Det ser ikke ut til å være åpenbare og systematiske skiller mellom de to miljøene i utformingen av evalueringsrapporter.

Det er få evalueringsrapporter som lar seg kategorisere entydig, enten som formative (for læring) eller som summative (for kontroll). De fleste rapportene favner bredt, både med hensyn til evalueringsspørsmål og valg av metode. For eksempel har de aller fleste evalueringsrapportene både et kontroll- og et lærings- og utviklingsformål. Mange rapporter «sier litt om resultater», men dette formålet er ofte sidestilt med en analyse av virkemiddelbruk, hvor det siste ofte vektlegges mer i rapporten.

Bør vi stille strengere krav til en evalueringsrapport?

Dokumentgjennomgangen bekrefter i stor grad det bildet vi har fra tidligere, at evalueringspraksis i Norge er sterkt forankret i en forskningstradisjon. Evaluering som styringsredskap er i mindre grad utviklet, selv om vi også har funnet gode eksempler på «beslutningsorienterte evalueringer».

Vi så også etter om evalueringsrapportene fra 2011 har det vi kan kalle et «handlingsrettet sammendrag». Med det mener vi at det er oppsummert ganske konkret hva som er de viktigste konklusjonene, læringspunktene eller anbefalingene på området, slik at dette er mulig å omsette i handlinger. Omtrent halvparten av rapportene har et slikt sammendrag, men få rapporter identifiserer konkrete viktige aktører eller nivåer i forvaltningen som adressat.

Vi lurer på om det skyldes at oppdragsgiver ikke ønsker at evaluator skal gi så konkrete råd, eller om det er evaluator som ikke tør å «stikke hodet frem.» Videre stiller vi spørsmål ved om oppdragsgiver krever for lite evalueringsfaglig kompetanse fra en del av utførerne. DFØ mener at det ikke nødvendigvis er slik at det å ha god sektorkunnskap gjør at man også leverer en god evaluering. Det er mange sterke miljøer innen ulike faglige disipliner som er representert som utførere på Evalueringsportalen. Men flere av disse utførerne har skrevet færre enn tre evalueringsrapporter.

Etter å ha gått gjennom rapportene fra 2011 ønsker vi å anspore til debatt om hvorvidt det er på tide å stille tydeligere krav til hva evalueringsbegrepet skal romme, slik vi ser er tendensen til i andre land.

Evalueringspraksis vi kan inspireres av

For å få til god bruk av evaluering i styring må evalueringsfunksjonen i seg selv forankres og organiseres godt. Det er noen statlige virksomheter som har utarbeidet egne evalueringsstrategier, instrukser eller retningslinjer for evalueringsarbeidet. Det kan være nyttig for virksomheter som har et visst omfang av evalueringer. For andre vil det være vel så nyttig å innarbeide gode rutiner for å vurdere behovet og grunnlaget for evaluering i forbindelse med politikkutforming og planlegging.

Internasjonalt er evalueringsbegrepet i større grad knyttet til styring og styringsprosesser enn det som er tilfellet i Norge. Spesielt vil vi trekke fram Canada og Nederland som gode eksempler. En måte å sikre mer målrettet bruk av evaluering på, er å presisere hvordan informasjon fra måling og evaluering skal brukes i (forberedelse til) budsjettprosessen. Omtrent halvparten av landene i EU har de siste årene etablert systemer for å koble informasjon om resultater tettere til budsjettutforming gjennom såkalte spending reviews. OECD anbefaler Norge å gjøre det samme.

Nederland: fra måling til analyse

I Nederland er det, som i Norge, et regelverksforankret krav til evaluering. Men Nederland har litt strengere krav. De har blant annet et pålegg om at alle policyområder skal evalueres hvert 4–7. år, og det er konkretisert hvilke spørsmål en slik policygjennomgang skal besvare.

Etter tretti år med resultatbasert budsjettering har Finansdepartementet i Nederland oppsummert sine erfaringer. De har konkludert med at vektleggingen av å måle på indikatorer ikke har gitt tilstrekkelig godt grunnlag for styringen. De har satt i verk tiltak for å redusere antallet indikatorer med opp til 50 prosent, og ønsker å satse mer på de såkalte policygjennomgangene. Dette begrunner de med at informasjonen fra resultatindikatorene ble brukt mer for å legitimere ressursbruken enn for å lære og forbedre resultatene. De har derfor satset mer på å styrke evalueringsarbeidet i departementene gjennom å utarbeide tydeligere retningslinjer og minimumskrav til spørsmål som skal besvares.

Canada: et integrert styringssystem

I Canada er departementene pålagt å etablere en evalueringsfunksjon, og det er departementsråden som står som ansvarlig for evalueringsvirksomheten. Det er også knyttet visse kompetansekrav til ledere som er ansvarlig for evalueringsfunksjonen. Utviklingen går i retning av et integrert «system» som gir fleksibilitet og målretting av informasjonsinnhentingen. Det som fremheves som vellykket i den canadiske tilnærmingen, er at ansvaret for evaluering er lagt til det enkelte departement slik at de kan utarbeide evalueringsplaner basert på egne risikovurderinger.

Samtidig stilles det klare krav til organisering av, og kompetanse for evalueringsarbeid. Den første evalueringspolicyen ble introdusert i 1977, og den har siden vært et sentralt verktøy i resultatstyringen. Riksrevisjonen i Canada er en viktig støttespiller for regjeringens arbeid med å styrke evalueringsfunksjonen. Evaluering knyttes opp mot et expenditure management system der et eget ekspertorgan ved navn Centre of Excellence for Evaluation står ansvarlig for å utarbeide policy for evaluering med direktiver og støtte til departementene. Alle departementene skal dekke sine programmer med evalueringer innen fem år.

Økonomiregelverket gir frihet under ansvar

Økonomiregelverket gir, som sagt, et godt utgangspunkt for å utvikle bedre praksis også i Norge. Regelverket er tydelig på at alle departementer og statlige virksomheter skal sørge for at det gjennomføres evalueringer. Med andre ord er ingen unntatt kravet om å bruke evaluering i sin styring. Ansvaret er tydelig plassert. Regelverket er også tydelig på at det er departementene og virksomhetene selv som skal vurdere behovet for hvor mye og hvor ofte det skal evalueres.

Det kan evalueres innenfor hele eller deler av departementets- eller virksomhetens ansvarsområde eller aktiviteter. Det legges derfor ikke opp til en rutinepreget evalueringsaktivitet som blir gjort rituelt og ukritisk. Frekvens og omfang av evalueringene skal bestemmes ut fra virksomhetens egenart, risiko og vesentlighet. Med andre ord ligger det et selvstendig ansvar hos departementer og statlige virksomheter for å vurdere behov opp mot risiko og kompleksitet innen sine ansvarsområder når de skal ta stilling til hvordan, hvor mye og hvor ofte de har behov for å evaluere. Regelverket sier derimot noe om hvilken type informasjon evalueringene skal gi. De skal gi informasjon om effektivitet, måloppnåelse og resultater.

Økonomiregelverket ber altså ikke om å evaluere alt hele tiden. Alt med måte. Behovet for informasjon skal være styrende. Hva er sannsynligheten for å lykkes? Er det mye penger med i bildet? Betyr dette mye for mange mennesker? Når det gjelder hva som skal evalueres, viser regelverket til at evalueringene skal belyse hensiktsmessigheten av eierskap, organisering og virkemidler, som for eksempel tilskuddsordninger. Når det gjelder hvem som skal gjennomføre evalueringene, gir regelverket også frihet til å vurdere om det skal gjøres internt eller om det helt eller delvis skal settes ut til eksterne fagmiljøer.

Hvor mye og hvor ofte det skal evalueres, gir regelverket altså ikke detaljerte føringer for. Som nevnt, kan evaluering like gjerne utføres som en systematisk og løpende prosess, som et selvstendig og avgrenset prosjekt. At departementer og virksomheter er frie til å vurdere dette selv, gir dem et stort ansvar, men også et betydelig handlingsrom til å bruke sunn fornuft når de forvalter våre felles verdier!

Hvordan få relevant, balansert og god nok informasjon for beslutninger?

DFØs inntrykk er at de aller fleste departementer og statlige virksomheter har mye å hente ved å utvikle en mer målrettet og bedre systematikk i å vurdere behovet for evalueringer og hvordan kunnskap fra evaluering skal passe sammen med informasjon fra løpende målinger og forskning.

Evaluering handler om å identifisere hva som virker i praksis, og hvorfor det virker eller ikke. Men hvor viktig er det å bevise at det vi gjør virker? Holder det å sannsynliggjøre det? I så fall har vi tilgang til mange gode metoder. Utfordringen vår er at informasjonsinnsamlingen ikke er målrettet nok. Løsningen er ikke å bruke mer ressurser på avansert metode og stadig mer datatilfang. Løsningen er bevisste valg av verktøy og kilder for relevant, balansert og god nok informasjon.

DFØ vil bidra til at ressursene som brukes til å måle, rapportere og evaluere gir beslutningstakere akkurat nok informasjon på riktig tidspunkt.

Tips og råd for bedre bruk av evaluering i styringen • Ledere og politikere bør forplikte seg til å formidle hva de mener er god nok informasjon – tidlig og tydelig. Det gjelder også i styringsdialogen mellom departement og virksomhet. • Sørg for åpenhet, samarbeid og eierskap som skaper felles tillit til informasjonsgrunnlaget • Vurder hvordan datainnsamling og analyse skal skje allerede når målene og styringsparameterne blir formulert. Ikke fordi det skal styre prioriteringene, men fordi det er til hjelp i arbeidet med å gi tidlig og tydelig beskjed om hvilken informasjon virksomheten skal skaffe til veie. • Visk ut tidsskillet mellom verktøyene. Måling, analyse og evaluering er ulike tilnærminger som skal gi riktig informasjon til riktig tid. Det er en misforståelse at en først skal måle, deretter skal analysere, så til slutt evaluere. • Utnytt innholdet som ligger på Evalueringsportalen når dere vurderer behov for evalueringer. • Styrk kompetansen på evalueringsfaget.

Kilder:

Finansdepartementet: Reglement for økonomistyring i staten. Fastsatt 12. desember 2003 med endringer, senest 18. september 2013.

World Bank Independent Evaluation Group. ECD Working Paper Series. No 23. The Canadian M&E System: Lessons learned from 30 Years of Development (November 2010).

OECD Journal on Budgeting Volume 2012/3. Introducing accountable budgeting: lessons from a decade of performance-based budgeting in the Netherlands.

OECD Journal on Budgeting. Volume 2012/3. Linking information on policy effectiveness and efficiency to budget decisions in the Netherlands.

1Riksrevisjonens forvaltningsrevisjonsrapporter er holdt utenfor.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon