Det investeres hvert år milliardbeløp i store investeringsprosjekter over statlige budsjetter. Eksemplene spenner fra veier og jernbaneanlegg, til signalbygg i kultursektor, nytt forsvarsmateriell og store IKT-prosjekter. Da er det ikke urimelig at samfunnet ønsker å vite hva man får ut av disse prosjektene.

Foto: Jan Erik Grindheim.

Er det en kostnadseffektiv måte å fremskaffe de ønskede resultatene på? Bidrar de til å nå de mål våre politikere har satt? Står nytten i forhold til kostnadene? Kan det oppstå utilsiktede virkninger, positive eller negative, som en bør ta i betraktning? Vil prosjektet være samfunnsnyttig på lang sikt? Med andre ord - er prosjektet vellykket?

Regjeringen har da også hatt stor oppmerksomhet på dette de senere år. I 2000 innførte Finansdepartementet et krav om ekstern kvalitetssikring av beslutningsunderlaget for de største statlige investeringsprosjektene (antatt investeringskostnad over 750 mill. kroner). Ordningen består i dag av to kontrollpunkter; det første er en kvalitetssikring av selve konseptvalget før regjeringen kan beslutte å etablere et forprosjekt (KS1); det andre er en kvalitetssikring av kostnadsestimat og styringsunderlag før Stortinget tar stilling til et investeringsforslag (KS2). Hvert år er 20-30 prosjekter under lupen til de fem konsulentkonstellasjonene som er forhåndsgodkjent av Finansdepartementet som del av denne ordningen.

Det er mange indikasjoner på at ordningen har virket etter sin hensikt og gitt resultater i form av økt vekt på konseptvalget og realistiske kostnadsrammer, usikkerhetsvurdering etc. før vedtak om gjennomføring av prosjektene. Men, etter at prosjektene er gjennomført skjer det i liten grad systematisk evaluering av hvordan det gikk. Forskningsprogrammet Concept ved NTNU er opprettet for å forske på hvor godt statlige investeringsmidler omsettes til samfunnsnytte i Norge. For å trekke lærdom om dette er det nødvendig å følge det enkelte investeringsprosjektet over tid, fra tidligfasen via gjennomføring og videre ut i driftsfasen. Helt sentralt er evalueringen i etterkant for å fastslå i hvilken grad en har oppnådd de tiltenkte effekter for brukere og samfunn. Dermed kan en også forbedre analyseprosessene før beslutning fattes for fremtidige prosjekter. Kun noen få sektorer gjør systematiske etterevalueringer i dag, og da kun med et begrenset fokus på enkelte effekter. Store investeringsprosjekter har mange fellestrekk på tvers av sektor og type, og vi tror det er mye å lære på tvers i staten, både om gjennomføringen og ikke minst om konseptvalget og gevinstrealistering.

Av denne grunn etablerte Concept i 2011 et forskningsprosjekt for å se på hvilket metodisk rammeverk som vil egne seg for etterevaluering av store statlige investeringsprosjekter. En viss standardisering av evalueringsmodell er ønskelig, for å kunne samle inn data som er sammenliknbare på tvers av prosjekter og sektorer. Samtidig er alle store investeringsprosjekter unike, og modellen må derfor være fleksibel nok til å ivareta dette. Å sikte mot et standardisert opplegg basert på utfylling av skjema eller regneark er derfor lite hensiktsmessig og kan føre til at en taper viktige perspektiver.

Vi landet på en kombinasjon av to modeller; OECDs målorienterte evalueringsmodell og en samfunnsøkonomisk analyse ex post. En modell for evaluering av store statlige investeringsprosjekter bør være målorientert fordi prosjekter per definisjon er tidsavgrensede innsatser for å nå bestemte mål. En vil normalt ha satt mål både for prosjektresultatet (hva skal leveres, innen hvilken tidsfrist og med hvilken kostnadsramme), brukereffektene (nytte som skal oppnås for den primært målgruppen) og samfunnseffektene (hvilke samfunnsprosesser skal dette bidra til i et større perspektiv). OECD-modellen, som er internasjonalt anerkjent og anbefalt blant annet av FN og EU, omfatter fem overordnete evalueringskriterier som til sammen skal fange bredden ved prosjektets måloppnåelse (produktivitet, brukereffekter, virkninger, relevans og levedyktighet).

Samfunnsøkonomisk analyse, som innebærer å sammenstille alle samfunnsøkonomiske nytte- og kostnadsvirkninger av prosjektet, fortrinnsvis målt i penger, supplerer bildet. Samfunnsøkonomisk lønnsomhet er nesten alltid et selvstendig mål ved statlige investeringer. Også i tilfeller hvor målet med tiltaket er rent politisk, knyttet til omfordeling eller lignende, bør en gjøre en mer begrenset variant av analysen, hvor resultatet som skal oppnås holdes opp mot kostnaden ved alternative måter å oppnå dette på. Samfunnsøkonomisk analyse skal normalt være en viktig del av beslutningsunderlaget for store investeringsprosjekter, og etterevalueringen kan da ta form av en etterprøving av analysen som ble gjort ex ante.

Disse to modellene har en viss grad av overlapp, samtidig som de i prinsippet svarer på ulike spørsmål. Begge handler om å vurdere store investeringsprosjekters vellykkethet, og i så måte innebærer bruken av begge modellene en form for metodemessig triangulering som i seg selv er hensiktsmessig.

I løpet av 2012 fikk Concept gjennomført fire evalueringer etter dette felles modellrammeverket. Disse er å betrakte som pilotevalueringer, der hensikten har vært å bygge kompetanse og erfaring med evaluering av store investeringsprosjekter. For tre av evalueringene engasjerte vi eksterne forskere og konsulenter fordi vi ønsket å se hvordan ulike analysemiljøer løste oppgaven. De fire prosjektene som ble valgt er med hensikt helt ulike og fra ulike sektorer. Den eneste likheten er at de er store, statlige investeringsprosjekter (mellom 250 mill. kroner og 5 mrd. kroner). De var på evalueringstidspunktet ca. fem år inne i driftsfasen. Prosjektene er:

  1. Svinesund kontrollområde: Byggingen av et nytt felles kontrollområde for Tollvesenet, Statens vegvesen og Politiet ved landets mest trafikkerte grenseovergang mot Sverige. Samlokaliseringen skulle legge til rette for et tettere samarbeid mellom kontrolletatene.

  2. Nytt dobbeltspor Asker-Sandvika: Prosjektet var første byggetrinn i en større utbygging av nye dobbeltspor helt fra Asker til Skøyen. Bakgrunnen var et økende kapasitetsproblem i vestkorridoren.

  3. Veiparsell E 18 Momarken-Sekkelsten: Veien er del av en større utbygging av ny motorvei gjennom hele Østfold. Hensikten var å bedre fremkommeligheten og redusere sikkerhets- og miljøproblemene for de berørte tettstedene.

  4. Bygging av Skjold-klasse MTB-er til Sjøforsvaret: Prosjektet omfatter bygging av fem nye missiltorpedobåter, til gjennomføring av overflateoperasjoner til sjøs. Båtene skulle etterfølge tidligere serie som hadde nådd sin tekniske og operative levealder.

Et generelt funn var at alle de fire utbyggingsprosjektene fremstod som relativt godt og effektivt gjennomført. Resultatene knyttet til sektormålene var også i de fleste tilfellene nokså gode. Derimot hadde prosjektene hatt mindre fokus på å unngå uønskede sidevirkninger og ikke minst hadde en i liten grad sett prosjektene i en større sammenheng og relatert til hva samfunnet har behov for. Kanskje trenger vi ikke nye missiltorpedobåter i tillegg til milliardinvesteringen i fregatter, når det viser seg at kostnaden av å drifte begge vil bli uforholdsmessig stor over tid. Kanskje ville man ikke bygget ny motorvei gjennom Østfold, dersom man hadde sett vei og bane i sammenheng (veiutbyggingen gir økt biltrafikk på bekostning av toget). Og kanskje skulle en ikke startet å bygge dobbeltspor «ytterst» i Asker før man hadde gjort noe med flaskehalsen inn mot Oslo.

Resultatene for disse fire prosjektene er imidlertid ikke det viktigste i denne sammenheng. Intensjonen for Concept-programmet var først og fremst å trekke ut viktige erfaringer vedrørende selve evalueringsarbeidet. Evalueringteamene møtte en rekke utfordringer, både knyttet til manglende sammenlikningsgrunnlag, men også uklar avgrensning, problemer med tilgang på data, metodiske utfordringer og uklarheter etc. Vi så også at de deltakende evalueringsmiljøene, som hadde til dels ulik faglig bakgrunn, tolket evalueringsopplegget ulikt, noe som ga variabel kvalitet på et par av evalueringene. Men også dette ga mange nyttige erfaringer og lærdommer som i sin tur kan brukes til å forbedre opplegget for nye prosjektevalueringer.

Basert på pilotevalueringene har Concept utarbeidet en samlerapport hvor vi gir noen anbefalinger til gjennomføring av prosjektevalueringer. De viktigste av disse er oppsummert under:

  • Målorientert evaluering med fem evalueringskriterier, i kombinasjon med samfunnsøkonomisk analyse, er et hensiktsmessig rammeverk for prosjektevaluering. Men opplæring og veiledning er nødvendig for å hindre sorteringsproblemer og dobbeltarbeid. En bør ikke ha for store ambisjoner om kvantifisering og verdsetting av de samfunnsøkonomiske effektene, da dette kan være enda vanskeligere ex post enn ex ante.

  • Evalueringen må gjennomføres av personer med erfaring og balansert kompetanse. En må sikre tverrfaglighet i evalueringsteamet, og samfunnsfaglig kompetanse bør alltid være representert. Ved for stor overvekt av sektorkompetanse øker risikoen for at fokuset blir for snevert og at en glemmer de strategiske spørsmålene.

  • De fleste investeringsprosjekter har større eller mindre avhengighet til andre tiltak. Ikke minst gjelder dette et prosjekt som kun er en parsell i en større utbygging. Avgrensningen av evalueringsobjektet, og valg av tidspunkt for evalueringen, blir derfor en skjønnsmessig vurdering. En relativt smal avgrensning knyttet til selve prosjektet er mest overkommelig og ofte hensiktsmessig, men en må likevel se prosjektet i en større helhet der det er naturlig. Evaluering 3-5 år ut i driftsfase er normalt et egnet tidspunkt.

  • I noen av pilotevalueringene opplevde en stor frustrasjon over å ikke få tilgang til ønskede data og over å måtte bruke en stor del av ressursinnsatsen på dette. Noen av dataene var slike som åpenbart finnes. I tillegg hadde en utfordringer med å få dokumentert hvilke prognoser og forutsetninger som var lagt til grunn ex ante. Denne type utfordringer bør løses ved krav om større åpenhet fra de offentlige etatenes side.

  • Samtidig må en ikke være for ambisiøs hva gjelder krav til data. Evaluering er ikke forskning og en finner sjelden statistisk signifkante resultater. Derimot må en ha fokus på indikatorenes validitet, på triangulering av informasjon og på evaluators kompetanse og habilitet. Ikke minst er triangulering mellom kvalitativ og kvantitativ tilnærming viktig. Faktabaserte data, statistikk etc. bør ligge i bunn der slike kan innhentes med rimelig ressursbruk, men intervju med sentrale informanter samt egen observasjon og befaring er også kritisk viktig for en god evaluering.

Det vises til Concept-rapport nr. 30 for flere detaljer. www.concept. ntnu.no/publikasjoner/rapportserie

Hver etat og hvert departement må selvsagt finne et opplegg som passer inn i den eksisterende monitorerings- og evalueringsvirksomheten disse bedriver. Samtidig mener vi at systematisk evaluering av alle større investeringsprosjekter vil være nyttig og fornuftig, både i et lærings- og et kontrollperspektiv. Et naturlig utgangspunkt kan da være gruppen av store investeringer som allerede gjennomgår grundig utredning og kvalitetssikring ex ante. KS-ordningen er fortsatt relativt ung, men over tid vil prosjekter som har vært igjennom både KS1 og KS2 komme i driftsfase, og hypotesen om at disse i større grad enn andre prosjekter lykkes i å realisere forventet nytte kan da testes ut.