Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Reell eller rituell evaluering?

Professor NTNU og programleder ved CONCEPT-programmet

  • Side: 6-9
  • Publisert på Idunn: 2015-09-23
  • Publisert: 2015-09-23

Det viktigste argumentet mot evalueringer er at de fleste av dem gjøres på et altfor sent tidspunkt. Dersom man ønsker å styre, kontrollere eller lære av evaluering, må evaluering skje både før og etter prosjektets levetid.

 

At noen kikker en i kortene er ikke populært. Man kan saktens se nytten av at noe blir evaluert, men vil ikke bli evaluert selv. Evalueringskontoret i en av FN-organisasjonene var derfor vant til protester fra berørte avdelinger når noe skulle evalueres. Begrunnelsene var ofte usaklige, til dels fantasifulle. For å komme klientene i forkjøpet laget man et standardformular med overskriften «Begrunnelser for hvorfor vi mener at prosjektet ikke bør evalueres». Avdelingene kunne nå krysse av på den eller de begrunnelsene de ville påberope seg. Listen var lang, med punkter som «Det blir for dyrt», «Det er unødvendig fordi prosjektet er meget vellykket», «Vi kan ikke se nytten av det», «Prosjektet er for sensitivt», «Det er for tidlig», «Det er for sent i prosessen», etc. Nederst stod det med liten skrift at evalueringskontoret antakelig uansett ikke ville ta hensyn til protesten. Det virket.

Internasjonal bistandsvirksomhet har alltid ligget et hestehode foran når det gjelder evaluering. Det skyldes et standhaftig (og til dels berettiget) rykte om at det meste gikk galt, en sterk opinion som krevet innsyn, og politikere som krevet begrunnelser for nye investeringer. Organisasjoner som FN og Verdensbanken gikk i bresjen med å utvikle metodikken og anvende evaluering som hjelpemiddel. De enkelte landenes bistandsmyndigheter diltet etter.

Hva skal vi med evaluering?

I dag brukes evaluering i utstrakt grad som ledelsesverktøy i alle sektorer og på alle nivåer i samfunnet. Bare i Norge er det per i dag registrert om lag 2500 evalueringer på nettstedet Evalueringsportalen.no, hvor rapportene kan leses og lastes ned. Evaluering blir stadig viktigere i evidensbasert planlegging og beslutning, og er blitt en industri med betydelig omsetning for en rekke konsulentselskaper og forskningsinstitutter. I 2009 fikk vi Norsk Evalueringsforening, og i år feires det internasjonale evalueringsåret.

Da kan det saktens være på sin plass å reflektere tilbake til bistandsevalueringene og tenke litt fremover; hva skal vi bruke evalueringer til i dag?

Forgjeves: Syv ulike utredninger har konkludert med at skipstunnel ved stadtlandet er samfunnsøkonomisk ulønnsomt. Likevel blir den sannsynligvis bygget. Foto: Kystverket

Begrunnelsen for å evaluere er gjerne behovet for læring, styring og kontroll. Men enkelte skeptikere hevder at en evaluering ofte er en rituell handling mer enn en sannhetssøkende prosess. I så fall må man ha med noen nyttige idioter i teamet som ikke stiller vanskelige spørsmål, noe som var nokså vanlig praksis innenfor enkelte av FN-organisasjonene, i alle fall i tidligere tider. Det gikk under betegnelsen «Tripartite»-evaluering. Den skulle ivareta interessene til de tre sentrale partene, det vil si mottakerlandet, giverlandet som finansierte det hele, og FN-organisasjonen som var mellomleddet med ansvar for gjennomføringen. Alle parter fikk velge hver sin deltaker i evalueringsteamet. I prinsippet var dette fornuftig, men i praksis ble det allikevel feil. Det vi så var at FN-representanten, som også ledet teamet, gjerne var en pensjonert tjenestemann som både hadde lojalitet til sin tidligere arbeidsgiver og håp om flere lukrative oppdrag senere. Giverlandets representant ble gjerne valgt fra en liste konsulenter som tidligere hadde vist seg å være vennligsinnete, og mottakerlandet ble oppfordret til å sende med en yngre medarbeider. Det sier seg selv at utfallet av evalueringene ble nokså forutsigbart og at det meste derfor tilsynelatende lot til å være i orden med FN-prosjektene. I dag er uavhengighet og habilitet urokkelige krav til evalueringsteam, så verden går fremover.

Men evalueringen må ikke bare være etterrettelig, den må også bli brukt. Et eksempel på det motsatte så vi i det sørlige Afrika, der giverlandet hadde vært inne over en periode på mer enn 20 år for å borre etter vann til lokalbefolkningen på landsbygda. Prosjektet ble evaluert flere ganger. Allerede den første evalueringen slo fast at dette var et av stedene i Afrika hvor det var minst behov for brønnboring, fordi grunnvannet lå så høyt at folk flest lett kunne grave brønner selv. Man anbefalte å avvikle prosjektet.

Men det skjedde ikke, og neste evaluering 3–4 år senere registrerte at en nå hadde etablert en svær prosjektorganisasjon med avansert og kostbart utstyr, noe landet selv ikke ville ha råd til å videreføre. Anbefalingen var igjen å avvikle. Den tredje evalueringen noen år senere fant at svært mange brønner var ute av drift, de var ødelagt, ikke vedlikeholdt, plassert nær gravsteder, forurenset, osv. Samme anbefaling én gang til: å avvikle. Den fjerde evalueringen fant at de samlete investeringene som nå til sammen var kommet opp i omtrent én milliard kroner var bortkastet. Det ville vært billigere å holde hele befolkningen med flaskevann fra Europa gjennom alle årene, stod det i rapporten. Anbefalingen var på nytt å avvikle. Nå skulle man tro at giverlandet hadde fått nok informasjon til å kunne sette et punktum, men nei, man valgte å evaluere på nytt, men nå med et smalere perspektiv som bare gjaldt selve leveransen, det vil si antall brønner som var produsert. Denne gangen fikk man en evalueringsrapport som konkluderte at alt var i orden, fra et lite firma som bare hadde hatt en kort befaring på stedet. Prosjektet kunne fortsette.

Skipstunnelen som ingen kunne stanse

Kunne noe slikt skjedd i Norge i dag? Lite trolig, vil de fleste si. Men det finnes eksempler. I disse dager har man etter snart 30 år med utredninger, derav åtte samfunnsøkonomiske analyser, satt i gang forprosjekt av Stad skipstunnel for antatt byggestart i 2018. Lokale interessenter med politisk støtte fra berørte fylker og kommuner har greid å holde prosessen i gang til tross for gjentatte avslag fra Staten, som ikke har klart å stoppe prosessen til tross for at alle evalueringene viste at investeringen ikke er lønnsom.

Når politiske krefter slippes, løs kan det meste overstyres. Dette så vi eksempel på i et annet afrikansk land der giverlandet bidro til å bygge opp en teknisk etat på nasjonalt nivå og finansiere en del kostbare anleggsmaskiner. Da programmet ble evaluert, så det hele tilforlatelig ut og godt organisert. Utstyret var ankommet og i bruk. Men så oppdaget vi at det også var andre giverland inne i sektoren. Etter en runde på de forskjellige ambassadene gikk det opp for oss at mottakerlandets myndigheter hadde sendt dokumentasjon for anskaffelsen av det samme utstyret til flere giverland og fått oppgjør fra alle uten at de satt igjen med tilsvarende anskaffelser. Store beløp var med andre ord blitt borte.

Evalueringsrapporten var godt dokumentert og helt klar på hva som hadde skjedd. Saken ble øyeblikkelig løftet opp på øverste nivå hos giveren, og evalueringens teamleder ble innkalt til direktørens kontor hvor spørsmålet var «Hva gjør vi med dette?» Det kom flere forslag: «kreve etterforskning?», «kreve tilbakebetaling?» «kutte bistanden?». Etter en kort diskusjon konkluderte direktøren med et skjevt smil og sa, «nei, jeg tror vi legger den i skuffen, jeg». Og så la han den i skuffen.

Eksemplene ovenfor illustrerer at evalueringer kan brukes rituelt, og uten at de er sannhetssøkende eller at resultatene blir brukt. Dette er antakelig fremdeles mer vanlig enn de fleste vil innrømme. Det er også antakelig mindre vanlig på hjemmefronten enn i bistandsvirksomheten. Men statsforvaltningen i Norge driver en omfattende evalueringsvirksomhet. I perioden 2005–2011 ble det levert omtrent hundre evalueringsrapporter årlig.1 De omfatter de fleste politikkområder, og det er først og fremst underliggende etater og ikke departementene selv som er oppdragsgiver. Evalueringer gjennomføres i økende grad av konsulenter og i mindre grad av forskningsinstitutter, noe man tror kan ha sammenheng med den lave terskelen for anbud på offentlige anskaffelser i Norge (500,000 kroner), dvs. halvparten av terskelen i EU.

Lærer av medvirkning

Det er grunn til å tro at behovet for evaluering her hjemme i de fleste tilfellene er godt begrunnet og at evalueringene gjennomføres av godt kvalifiserte team. Det har skjedd en omfattende profesjonalisering, og kvaliteten på evalueringsrapportene er gjennomgående god. Men en kan ikke på det grunnlaget anta at de også blir lest eller brukt. Det dreier seg om tykke rapporter med tungt tilgjengelig stoff som gjelder komplekse saksforhold, og en målgruppe som nødvendigvis er usedvanlig smal. En metaevaluering om nytten av evalueringer viste dette med all tydelighet.2 Der intervjuet vi blant annet saksbehandlere og beslutningstakere i bistandsforvaltningen om hvilke læringsarenaer som var viktigst. Av en liste på 19 arenaer kom evalueringsrapportene på 15. plass. Ikke overraskende er det slik at folk lærer først og fremst ved medvirkning, og i mindre grad ved kommunikasjon. De viktigste læringsarenaene var befaringer på stedet, kontakt med andre organisasjoner, uformell informasjonsutveksling med kolleger, og den løpende rapporteringen. Ikke evalueringsrapportene.

Selv om situasjonen i dag er at vi er blitt bedre som bestillere og gjennomførere av evalueringer, at kvaliteten er god og at svarene er relevante, er det ikke gitt at resultatene blir brukt. For evalueringene griper inn i en virkelighet hvor det både handler om å gjøre rasjonelle og politiske valg. De er ikke alltid sammenfallende.

Men det viktigste argumentet mot evaluering handler ikke om dette, men om at de fleste evalueringene gjøres på et alt for sent tidspunkt. Ex post-evaluering. Evalueringen blir derfor en post mortem-undersøkelse, fordi prosjektet er avsluttet – pasienten er allerede død. Dersom hensiktene er å styre prosessen, er det for sent fordi denne er avsluttet. Dersom hensikten var kontroll, så måtte det i så fall være for å finne den skyldige. I en drapssak blir det viktig å finne morderen, men det er ikke like sentralt i prosjekter og programmer. Da gjenstår læring som begrunnelse, og her blir evalueringsvirksomheten legitim. Men bare dersom læringen anvendes.

Nå er det bare det at de færreste tiltak og prosjekter blir gjenstand for formell evaluering for å fastslå effekten etter at de har vært i drift noen år. I de fleste tilfellene nøyer man seg med en sluttrapport som oppsummerer det som gjelder gjennomføringen av tiltaket. Muligheten for læring er da begrenset til det som gjelder nettopp gjennomføringen av tiltaket. Man skiller mellom to typer læringssløyfer, som vist i figuren. Den lille læringssløyfen (single loop learning) bidrar til å forbedre en prosess uten å stille spørsmål ved selve prosessen.3

Den store læringssløyfen

Den store læringssløyfen derimot (double loop learning) tar tak i de grunnleggende spørsmålene om hvorfor, og som kan føre til at hele prosessen endres eller erstattes av noe annet. For at slik læring skal være mulig må man inn med evaluering på et senere tidspunkt hvor man kan fastslå effekten og nytten av tiltakene. Men hvis denne innsikten virkelig skal gi en læringseffekt, må man også inn med erfaringene på et tidlig tidspunkt før planleggingen av nye tiltak, der det er mulig å komme inn og korrigere for det mer grunnleggende og prinsipielle.

Kvalitetssikring av konseptvalget for nytt regjeringskvartal førte til en anbefaling om en mer konsentrert utbygging. Foto: Rune Aakvik/Oslo Museum

Et interessant eksperiment med akkurat dette er den såkalte statlige ordningen for kvalitetssikring av store offentlige investeringstiltak i Norge. Der har man innført en formell konseptfase for alle nye prosjekter som innebærer at departementer og etater må gjennomføre en (ex ante) evaluering i forkant for å identifisere og evaluere de mest lovende konseptuelle løsningene på et gitt problem. Resultatet blir deretter kvalitetssikret ved hjelp av eksterne rådgivere, før det eventuelt legges frem for regjeringen som foretar konseptvalget, og deretter Stortinget som fastsetter budsjettet.

Denne ordningen har vært i gang siden år 2000, og til nå er omtrent 270 prosjekter kvalitetssikret. Ettersom det tar mange år med planlegging og gjennomføring før disse store prosjektene kan evalueres, så er bare noen få prosjekter kommet så langt. I skrivende stund er bare ti prosjekter evaluert, men antallet vil øke etter hvert. Rapportene er åpent tilgjengelig for nedlastning fra nettet. Se omtale i en annen artikkel i dette nummeret.

Det vil altså fremdeles ta noen år før man kan vurdere læringseffekten av denne ordningen, men både forvaltningsmessig, men ikke minst evalueringsfaglig, er dette et interessant eksperiment som forsøker å sette evaluering i system: Ganske enkelt ved å trekke ut erfaringer i etterkant og bruke dette i forkant for å forbedre nye tiltak. Logikken er enkel. Det blir spennende å se om det virker.

Om forfatteren

Knut Samset er professor ved NTNU og leder av forskningsprogrammet Concept. Han har arbeidet med evaluering av internasjonal bistand i mange år, som grunnlegger av konsulentselskapet Scanteam AS, og har publisert en rekke bøker om evaluering, planlegging, risikoanalyse og kvalitetssikring av investeringstiltak.

I denne artikkelen har du lest at: • Selv om evalueringer er godt gjennomført, betyr ikke det at de blir lest eller brukt. • Evaluering er ofte en rituell handling, mer enn en sannhetssøkende prosess. • Folk lærer først og fremst av medvirkning, ikke av kommunikasjon. • De fleste evalueringer gjøres på et altfor sent tidspunkt. • De grunnleggende spørsmålene kan bare besvares ved å evaluere både i forkant og etterkant.

 

1Askim J., Døving E. og Johnsen, Å. (2013). Evalueringspraksis i den norske statsforvaltningen 2005–2011, i Halvorsen A., Lier Madsen E. og Jentoft N. (red.) Evaluerinq: Tradisjoner, praksis, mangfold. Fagbokforlaget.
2Samset, K., Forss, K. og Hauglin, O. (1993). Learning from experience. A study of the feedback from evaluations and reviews in Norwegian bilateral aid. The Norwegian Ministry of Foreign Affairs, Evaluation report no. 1.93.
3Argyris C. og Schon, D. (1978). Organizational Learning. San Fransisco: Jossey-Bass.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon