Evaluering er et honnørord - noe vi i utgangspunktet ønsker mer av. Siktemålet med et evalueringsarbeid i offentlig sektor kan være å plassere ansvar når resultatet ikke ble som forventet, eller å gi innspill til hvordan offentlig forvaltning bør organiseres.

Foto: Bjarne Øymyr.

For å fungere etter intensjonen må evalueringen oppfattes som legitim, troverdig og relevant. Evalueringen kan initieres og gjennomføres internt i organisasjonsenheten, eller ved å engasjere en ekstern evaluator. Evalueringene av politiets arbeid 22. juli - der det er stor spennvidde mellom konklusjonene i den interne evalueringen initiert av Politidirektoratet og den uavhengige evalueringen i regi av 22. juli-kommisjonen, illustrerer utfordringene en står overfor.

Evaluering - i grenseland mellom forskning og politikk

Evaluering inngår som sentrale tema i statsforvaltningens arbeidsform. Finansdepartementet (2006) har utarbeidet en egen veileder til evalueringsarbeidet. Et bilde på omfanget av denne virksomheten får en ved å klikke seg inn på www.evalueringsportalen.no Her finner en over 850 prosjekter som er gjennomført på oppdrag fra departementer og direktorater de senere år. Porteføljen vokser år for år.

Et viktig aspekt ved evalueringsarbeid i forvaltningen er å etterprøve om de tiltak som er satt i gang, virker i forhold til de målsettinger som tiltakene er laget for å realisere. I veilederen legger departementet vekt på at også det som kan karakteriseres som samfunnsøkonomiske analyser, kan inngå i evalueringsarbeidet. I en rekke sammenhenger vil evaluering være rimelig politisk i sin karakter. Tiltakenes legitimitet er forankret i en antakelse om at de virker etter sin hensikt.

En hensikt som ofte har politisk begrunnelse. Forvaltningen - og da først og fremst departementene - er sekretariat for den politiske ledelse. Hvordan arbeidet innrettes og vinkles i et departement, er forankret i politiske prioriteringer. I et direktorat vil arbeidet være forankret i faglige prioriteringer og «sannheter». I begge sammenhenger vil det potensielt være tema og innfallsvinkler som ikke ønskes belyst i en evaluering.

I St.meld.nr. 11- Om forholdet mellom embetsverket, departementenes politiske ledelse og andre samfunnsaktører (2000 - 2001) pekes det på at forvaltningens aktive bistandsrolle i utvikling og utforming av departementenes politikk, må balanseres mot en annen sentral verdi - forvaltningens faglige uavhengighet.

Ideelt sett skal denne fagligheten gjennomsyre alt utredningsarbeid i departementet, også det interne evalueringsarbeidet igangsatt på en intern bestilling. Men når det kommer til evaluering av politikkens effektivitet og virkninger, hvor godt fungerer denne type interne evalueringer? Hva gjør det med den kritiske kjernen i enhver evaluering at det er den samme organisasjonsenhet som «eier» problemet, som også «bestiller» og gjennomfører evalueringen? For å få til en større avstand mellom den som eier problemet og den som får i oppdrag å gjennomføre evalueringen, er det etablert en praksis der en økende andel av evalueringsarbeidet utføres av eksterne forsknings- og utredningsmiljøer. Oppdragene konkretiseres i en bestilling fra departementer og direktorater. Umiddelbart kan det se ut som om dette borger for en mer objektivt evalueringsarbeid. Det er ikke lenger den som «eier problemet» som gjennomfører selve evalueringen. Når statsforvaltningen setter evalueringsoppdrag ut på konkurranse kan dette gi grunnlag for en antakelse om en mer nøytral gjennomgang av det aktuelle sakskomplekset.

Hvilke utfordringer innebærer det å ta i bruk et marked for å få utført utrednings- og evalueringsarbeid i forvaltningen? I markedet etableres det relasjoner mellom bestiller og utfører, det etableres kundeforhold. Hva er det viktigste kjennetegnet ved et kundeforhold? Et svar som mange vil være enig i, er at: «Kunden alltid har rett». Kunden har krav på å få det han har bestilt. Leverandøren vil på generell basis opptre på en måte som sikrer et godt grunnlag for å bli tildelt nye kontrakter.

Avhengighet

Markedet for utrednings- og evalueringstjenester er begrenset. Et begrenset antall aktører etterspør slike tjenester. Kostnadene i leverandørleddet er relativt høye. Alternativ bruk av ressursene mellom oppdragene er begrenset. Dette bidrar til å forsterke avhengigheten mellom bestiller og utfører. En avhengighet som kan være problematisk når et evalueringsarbeid skal gjennomføres.

For det første kan en stille spørsmål ved hvor nøytral evaluator faktisk er i utførelsen av oppgaven - hensyn tatt til hans avhengighet av den som bestiller oppdraget. For det andre må en se nærmere på hvordan oppdraget er utformet. Oppdraget kan være karakterisert ved at en tar et tett eller et løst grep knyttet til hva som skal evalueres.

Dess tettere grep som tas i form av detaljerte spørsmål en vil ha svar på - og ofte avgrenset til kun dette, dess mindre handlingsrom er det for oppdragstaker til å benytte sin generelle kompetanse, til å rådgi oppdragsgiver. Fra forskerhold argumenteres det ofte med at en god evaluering går ut over sitt mandat. Dvs. bidrar til å sette ting i sammenheng for oppdragsgiver ved å ta opp flere problemstillinger enn de som eksplisitt fremgår av oppdraget.

Hvordan et oppgaveområde vinkles i en evalueringsrapport vil bidra til å sette dagsorden. En dagsorden som oppdragsgiver i stor grad vil ønske å styre. Å få svar på/innsikt i andre typer problemstillinger enn det som er spesifisert i oppdraget, kan anses som problematisk og faller ikke alltid i god jord hos oppdragsgiver. Som oppdragsgiver har f eks et departement eller et direktorat i prinsippet en ubetinget rett til å få svar på de utfordringer som er spesifisert i oppdraget - og ikke mer enn det.

Utfordringer knyttet til avhengighet mellom den som bestiller et oppdrag og den/de som utfører evalueringsoppdraget på et saksområde preget av politiske vurderinger, kan være vanskelig å håndtere. Dette gjelder både når evalueringen foretas internt i departementet, og når en setter evalueringsarbeidet ut til eksterne forsknings- og utredningsmiljøer. Spesielt evalueringsoppdrag som er gjennomført med basis i en detaljert bestilling, kan være problematiske i forhold til den arena de skal brukes på. En kan stille spørsmål ved i hvilken grad den studien som utføres, representerer «vitenskapelig basert kunnskap», som bidrar til å opplyse de faglige og politiske forhold som settes under debatt.

For å få til en større avstand mellom den som eier problemet og den som får i oppdrag å gjennomføre evalueringen, er det etablert en praksis der en økende andel av evaluerings-arbeidet utføres av eksterne forsknings- og utredningsmiljøer.

Erfaringer fra Sverige

I Sverige har en forsøkt å løse de utfordringer evaluering av statsforvaltningen representerer, ved å etablere frittstående evalueringsenheter (Statskontoret 2011). Enhetene har i oppdrag å evaluere konkrete deler av den statlige forvaltning med utgangspunkt i et tydelig mandat, og med egne bevilgninger. Noen av de sist etablerte enhetene er Trafkanalys (2010) og Kulturanalys (2011). Sverige har tradisjonelt ligget et hestehode foran Norge når dert gjelder reformer og endringer i offentlig virksomhet.

Med dette som utgangspunkt kan det være interessant å se nærmere på utviklingstrekk som skjer i vårt naboland, for bedre å kunne få øye på og forstå de utfordringer statsforvaltningen i Norge står overfor. Sverige har intet oljefond som smører hjulene i offentlig virksomhet. Sverige er antakeligvis der hvor også vi vil være om 8 - 10 år - dvs. i en situasjon der det er nødvendig å foreta enda tydeligere prioriteringer forankret i systematiske evalueringer av ressursbruk og resultater i offentlig sektor.

Selv om enhetene fremstår som nye, har flertallet av disse evalueringsenhetene i Sverige blitt etablert på en grunnmur av ekspertise fra andre miljøer. Det som i stor grad har skjedd er at en har samlet og spisset ekspertisen på disse områdene. Organiseringen har bidratt til en tydeligere ansvars- og oppgavefordeling mellom den myndighet som er gjennomføringsansvarlig på et oppgaveområde, og den myndighet som får ansvaret for evalueringsarbeidet på det aktuelle oppgaveområdet.

Oppgavene lagt til disse evalueringsenhetene skiller seg fra oppgaveløsningen ordinære tilsynsorgan ivaretar, ved at en i liten grad har fokus på enkeltindividers rettigheter og interesser. Evalueringsenhetene har først og fremst et gjennomgående fokus på å ivareta regjeringens behov for informasjon og styringsdata for å kunne styre de angjeldende oppgaveområder på en mest mulig målrettet måte. Legitimitet, troverdighet og anvendbarhet representerer viktige aspekter ved evalueringsarbeidet. Legitimiteten styrkes om evalueringen utføres av aktører som i størst mulig grad er uavhengige i forhold til den virksomhet som skal vurderes. Troverdigheten påvirkes av faktorer som upartiskhet, kompetanse og hvordan bestillingen er utformet, og ikke minst nødvendig åpenhet rundt det arbeid som finner sted. Evalueringen må også oppfattes som relevant - det vil si at den gir svar på viktige spørsmål som trenger avklaring, og at den kommer på et riktig tidspunkt. I et slikt perspektiv blir det viktig å fjerne det filter som uklare roller og sammenblanding av interesser kan representere.

En sentral begrunnelse for å etablere frittstående evalueringsenheter i Sverige, er ønsket om å etablere evalueringsfunksjonen uavhengig av gjennomføringsapparatet på de ulike politikkområdene. En annen viktig begrunnelse er ønsket om en samlet granskning av oppgaveområder som griper inn i hverandre, samt ivaretakelse av behovet for mer systematisk granskning med nye innfallsvinkler. Også behovet for en kontinuerlig oppfølging og granskning av virksomheten har vært anført som argumenter for å etablere disse enhetene.

Evalueringsfunksjonene kan organiseres på ulike måter. Det vil være stor bredde i hvordan slike evalueringsoppgaver er organisert, og hva som begrunner opprettelsen av dem. I forbindelse med etablering av Trafikanalys i 2010 var det en aktuell problemstilling å knytte evalueringsarbeidet opp mot et eksisterende forskningsmiljø - Statens väg- och transportforskningsinstitut. Når en valgte en frittstående organisering av evalueringsarbeidet, var det bl.a. med en begrunnelse om at dette forskningsinstituttet ikke i tilstrekkelig grad var uavhengig av de myndigheter viss oppgaveløsning skulle granskes. De samme forvaltningsorganene var i stor grad instituttets oppdragsgiver i annen sammenheng. Dette representerer en begrunnelse det også i norsk sammenheng er verdt å reflektere over.

I rapporten fra Statskontoret (2011) pekes det på tre hovedbegrunnelser for å sette i gang et evalueringsarbeid. For det første kan det være en begrunnelse forankret i et ønske om å løse et samfunnsproblem, der det f eks kan være nødvendig å se ulike enkelttiltak i sammenheng - dvs. skape en ny politikk. For det andre kan utgangspunktet for et slikt arbeid være et sterkere behov for kontroll - å følge opp det arbeid som skjer på et sektorområde på en mer systematisk måte både mht ressursbruk og måloppnåelse. En tredje sentral begrunnelse for evalueringsarbeidet er å legge til rette for en åpnere forvaltning, det vil si å legge til rette for allmennhetens og andre berørte aktørers innsyn i ulike offentlige virksomheter. Dette demokratiaspektet ved evalueringsarbeidet er avgjørende for legitimiteten til forvaltningssystemet.

Evaluering er et element i all god ledelse. Evalueringsspørsmålet som er satt på dagsorden i Sverige, innebærer imidlertid en systematisk innsats utover det grunnleggende styringsansvar som tilligger enhver offentlig myndighet å utøve - nemlig ansvaret for en systematisk oppfølging av egen virksomhet. Etablering av frittstående enheter for evaluering av et oppgaveområde, sikrer at en kan få en mest mulig uhildet vurdering av forholdene på et oppgaveområde, uavhengig av de som er ansvarlig for den faktiske tilstanden på området.

Kan de prinsipper som ligger til grunn for Sveriges måte å organisere evalueringsarbeidet i statsforvaltningen, ha overføringsverdi til norsk statsforvaltning? Hvor fri kan en slik evalueringsenhet reelt være, når det er regjeringen som både i hovedsak finansierer virksomheten og fastsetter dens mandat?

av evalueringsarbeidet

Et karakteristisk trekk ved evalueringsoppgaver i norsk forvaltning er at de i stor grad har vært utført i instituttsektoren - det vil si i de ulike forsknings- og utredningsinstituttene som er etablert. I den senere tid har en imidlertid sett en utvikling der kommersielle konsulentselskaper tildeles evalueringsoppdrag fra statlige organer. Under Evalueringskonferansen 2011 i regi av Norsk Evalueringsforening ble det rettet et kritisk søkelys mot måten evalueringsarbeid utføres på. Fokus var på departementer og direktorater. Under konferansen kom det frem at andelen av evalueringsoppdrag som gis til konsulentselskapene synes å være økende. I 2005 ble fordelingsnøkkelen mellom det en kan betegne som forskningsinstitusjoner og konsulentselskaper hva angår evalueringsoppdrag fra departementer og direktorater, anslått til henholdsvis 40 prosent og 25 prosent av totalen. For 2010 er den samme beregnete fordelingsnøkkel mellom disse to miljøene snudd - det vil si til henholdsvis 25 prosent og 40 prosent. Dersom dette gir et riktig bilde av situasjonen, kan en på prinsipiell basis stille spørsmål ved verdien av evalueringsarbeidet. Et evalueringsarbeid skal ivareta mange hensyn og interesser. Evaluering er ingen entydig aktivitet. Det er nærliggende å stille spørsmål om i hvor stor grad evalueringer kan sees på som

  1. en prosess som frembringer «fakta» basert på profesjonelle standarder som for eksempel analytisk integritet og høy grad av metodisk validitet?

  2. politiske virkemidler, dvs. betraktes som strategisk verktøy for politisk ledelse, administrative ledere og/eller andre?

Hvordan en organiserer rammebetingelsene som evaluering av offentlig virksomhet skal skje innenfor, vil legge føringer på hvordan evalueringsoppdragene løses. I så henseende må en se nærmere både på oppdragsgivers interesser og de interesser som kan knyttes til oppdragstaker.

På oppdragstakersiden vil det være en del forhold som det er grunn til å dvele ved. Hvor nøytralt og objektivt kan den som foretar evalueringen forholde seg til oppdraget? Heller ikke forskere har en verdinøytral posisjon når en virksomhet skal evalueres. Alle har en eller annen faglig posisjon som utgangspunkt og dermed et perspektiv på verden og en type faglighet å forsvare. Relasjonen mellom oppdragsgiver og oppdragstaker utfordres ytterligere gjennom økt bruk av markedet. Inngåelse av kommersielle avtaler vil innebære økt oppmerksomhet fra oppdragstakers side hva gjelder å etablere og beholde et kundeforhold til oppdragsgiver. Dette kan bli så viktig at det overstyrer fagligheten, slik at svarene på oppdraget i stor grad blir i samsvar med oppdragsgivers uttalte eller ikke uttalte ønsker.

Når beslutningstakere i departementer og direktorater utformer sin bestilling til oppdragstaker enten dette er en forskningsinstitusjon eller et konsulentselskap, kan oppdraget formuleres ved å ta et tett eller et løst grep i forhold til hva som skal evalueres. Som pekt på ovenfor vil det være slik at dess tettere grep som tas i form av detaljert utforming av oppdraget og det en vil ha svar på - og ofte avgrenset til kun dette, dess mindre handlingsrom er det for oppdragstaker til å benytte sin faglige kompetanse til å rådgi oppdragsgiver på mer generell basis.

Det kan være grunn til bekymring for utvanning av det profesjonelle faglige skjønn i evalueringsarbeidet. Bjørn Stensaker - professor ved Universitet i Oslo presenterte under Evalueringskonferansen 2011 noen utviklingstrekk på evalueringsarbeidet sett fra oppdragstakers side. Det synes å være en økende tendens til stadig mer detaljerte og spesifiserte mandater, samtidig som oppdragsgiver i økende grad eksemplifiserer de metoder, perspektiver og innfallsvinkler som skal tas i bruk. Enda mer urovekkende i forhold til evaluators faglige skjønn, er at det blir kommunisert stadig tydeligere forventninger til resultater. Evaluators uavhengighet reduseres gradvis gjennom sterkere prosessbindinger fra oppdragsgiver.

I Sverige har en forsøkt å løse de utfordringer evaluering av statsforvaltningen representerer, ved å etablere frittstående evalueringsenheter (Statskontoret 2011).

Utfordringer

Den som er i en maktposisjon, vet vanligvis også å utnytte denne. Maktposisjonen kan ha ulik forankring - politisk, faglig etc. Dersom en ønsker en mest mulig uhildet vurdering av et forhold, er det lite heldig å overlate denne vurderingen til den som «eier problemet». Å foreta en egenevaluering er imidlertid legitimt, og kan være viktig for å sette i gang interne prosesser for å ordne opp, men er ikke tilstrekkelig for en mer overordnet styring og utvikling av virksomheten. Den som er i posisjon til å definere evalueringsoppdragets rammer og innhold, vil potensielt ha stor innvirkning også på hvilke konklusjoner som trekkes. Dersom det er den som skal evalueres som også definerer rammene og innholdet i oppdraget, vil evalueringsarbeidet kunne ende opp med å ha begrenset verdi.

Styring av offentlig sektor må forankres i kunnskap og politiske prioriteringer. Systematisk evaluering av et saksområde legger grunnlaget for ny kunnskap, men også for å diskutere de prioriteringer som gjøres. Kunnskapsinnhentingen vil kunne amputeres når det er den enhet som er oppdragsgiver, som også skal gjøres til gjenstand for evalueringen. Gjennom måten oppdraget utformes på, styrer oppdragsgiver langt på vei hvilke svar evalueringen skal gi.

Sverige har tatt noen prinsipielle grep for å sikre økt legitimitet til evalueringsarbeidet i statsforvaltningen. Det sentrale virkemiddel er etablering av frittstående evalueringsenheter med eget mandat og finansiering. Statskontorets gjennomgang (2011) av den svenske ordningen viser imidlertid at det ikke alltid er lett å være prinsipiell, den som har makt ønsker også å bruke den. Dette kommer til uttrykk i at de siste evalueringsenhetene som er etablert, i større grad arbeider på konkrete oppdrag fra regjeringen, fremfor å ta utgangspunkt i et mandat som sikrer uavhengighet ved at enheten selv tar stilling til hvilke evalueringsoppdrag som skal gjennomføres på sektorområdet.

Måten evalueringsarbeidet i statsforvaltningen gjennomføres på gir grunnlag for å reise spørsmål ved arbeidets legitimitet, troverdighet og anvendbarhet. Sett i lys av demokratisk styring av forvaltningen, er det lite heldig at forvaltningen selv styrer evaluering av egen virksomhet og prestasjoner. Den tiltakende bruk av eksterne evaluatorer forankret i kommersielle kontrakter bidrar ikke til å redusere problemet, snarere tvert i mot. Det er i prinsippet ikke noe galt i å bruke eksterne krefter til å forestå evalueringsarbeid. Avgjørende er hvem som er oppdragsgiver og derved den som leverandøren potensielt vil inngå i et avhengighetsforhold til. Ved kjøp av tjenester i markedet er det viktig at oppdraget utformes på en måte som gjør det mulig reelt å ta i bruk den kompetanse leverandør har, samtidig som en ivaretar oppdragsgivers behov for tilstrekkelig styring og oppfølging av arbeidet.

Oppsummering

Der den interne evalueringen av politiets håndtering av utfordringene etaten sto overfor 22. juli - initiert av Politidirektoratet, lang på vei «frikjente» politiet, ble hendelsene og de beslutninger som ble tatt, oppfattet og analysert på en helt annen måte av den uavhengige 22. Julikommisjonen. Forskjell i oppfatning av sakens «fakta» illustrer hvor vanskelig evaluering kan være, og ikke minst viktigheten av at den som skal evaluere står i en uavhengig posisjon til den/de organisasjonsenheter som skal evalueres. Troen «på vitenskapelig basert kunnskap som verdi for statsstyret» slik dette er formulert i St.meld. nr. 11 (2000 - 2001), utfordres av departementer og direktoraters praksis vedr kjøp av evalueringstjenester i markedet.

Evaluering representerer et viktig styringsgrep i demokratisammenheng. En av de sentrale begrunnelser for igangsetting av et evalueringsarbeid (Statskontoret 2011), er å legge til rette for en åpnere forvaltning, dvs. å legge til rette for allmennhetens og andre berørte aktørers innsyn i ulike offentlige virksomheter. Dette innebærer at det evalueringsarbeid som utføres, ikke bare skal være formålstjenlig for det departement som er ansvarlig for oppgaveløsningen, men også kunne bidra til økt innsikt i forvaltningens oppgaveløsning fra Stortingets side, slik at Stortinget kan ivareta sin tilsyns- og kontrollfunksjon med forvaltningen. Åpenhet rundt evalueringsspørsmål er også viktig for at pressen kan utføre sin funksjon som kritisk vaktbikkje i forhold til forvaltningen.

Referanser