Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Vanskelig å finne målet

Forskningssjef ved Concept-programmet, NTNU

  • Side: 14-17
  • Publisert på Idunn: 2015-09-23
  • Publisert: 2015-09-23

Etterevaluering av elleve statlige investeringsprosjekter viser at det er få som overskrider kostnadsrammen, men også få som har realistiske samfunnsmål. Noen ganger tolkes samfunnsøkonomisk lønnsomhet som samfunnsmål, men dette er vanligvis et for snevert suksesskriterium.

 

Staten gjennomfører investeringsprosjekter for nær 50 milliarder kroner i 2015, når en holder bl.a. petroleumsvirksomheten utenfor.1 Eksemplene spenner fra vei- og jernbaneanlegg, til signalbygg i kultursektor, nytt forsvarsmateriell og store IKT-prosjekter. Det er snakk om store og komplekse prosjekter, og de kan potensielt ha betydelig innvirkning på befolkning og velferd. Da er det ikke urimelig at samfunnet i etterkant ønsker å vite om prosjektene lyktes, og hvis nei, hva som kan gjøres bedre neste gang.

Denne artikkelen presenterer en modell for etterevaluering av statlige investeringsprosjekter, som benyttes av forskningsprogrammet Concept ved NTNU. Programmet driver følgeforskning på store statlige investeringsprosjekter på oppdrag fra Finansdepartementet. Vi presenterer og diskuterer noen foreløpige funn etter elleve prosjekter.

Sjelden lære

Staten blir stadig bedre på å utrede sine investeringsprosjekter før beslutning om gjennomføring. Det gjelder ikke minst transportetatene som har lang tradisjon for å vurdere konsekvenser og gjennomføre nytte-/kostnadsanalyser, ved hjelp av stadig mer komplekse modeller og simuleringsverktøy. Siden 2005 har Finansdepartementet stilt krav om at det skal gjøres en såkalt Konseptvalgutredning, og ekstern kvalitetssikring av konseptvalget (KS1) for de største statlige investeringsprosjektene med antatt investeringskostnad over 750 millioner kroner. Her skal minst tre alternative konseptuelle løsninger være utredet (inklusive null-alternativet), hvor en gjør en behovsanalyse, spesifisering av mål og krav, en mulighetsanalyse, og en samfunnsøkonomisk alternativanalyse av alternativene. Senere, etter forprosjektfase, skal det gjøres en ekstern kvalitetssikring for å sikre at kostnadsrammen er realistisk og at styringsmessige utfordringer er identifisert og håndtert (KS2). Etatene er i ferd med å forbedre sin praksis når det gjelder tidligfaseutredning av de største investeringsprosjektene, og den samme metodikken benyttes i økende grad også på mindre prosjekter og prosjekter utenfor KS-ordningen, som helsebygg og nettinvesteringer.

Derimot har en ikke en god praksis for å se i bakspeilet og lære av erfaring fra gjennomførte prosjekter. Evaluering, skjer oftest etter at problemer har oppstått, og er gjerne avgrenset til prosjektets gjennomføringsfase. Langt sjeldnere ser vi systematiske etterevalueringer med et læringsformål, som ser på både prosjektet og effektene av det, og som spør hvordan erfaringene kan bidra til å forbedre plan- og analyseprosessene i fremtidige prosjekter.

Forskningsprogrammet Concept ved NTNU driver følgeforskning på de største prosjektene som har gjennomgått ekstern kvalitetssikring. Vi har laget en modell for etterevaluering av statlige investeringsprosjekter etter at de har kommet i driftsfase. De første prosjektene som ble kvalitetssikret tidlig på 2000-tallet er nå ferdigstilt og kommet i driftsfase, og i tiden fremover vil Concept etterevaluere mange av disse.

Modellen for etterevaluering

Hensikten med etterevaluering er å svare på hvor vellykket prosjektet har vært. Det kan være ulike oppfatninger om hva vellykkethet er, men siden et prosjekt per definisjon er et tiltak for å nå bestemte mål, er det klart at måloppnåelse bør stå sentralt. Ifølge Samset (2014) bør prosjekter evalueres ut fra tre ulike perspektiver som korresponderer med prosjektets tre målnivåer.

Det operasjonelle perspektivet handler om selve leveransen eller resultatmålet (f.eks. bygging av en vei), mens det taktiske og strategiske handler om effekter i et bredere perspektiv, henholdsvis direkte effekter på brukergrupper (f.eks. innkortet reisetid) og indirekte effekter for samfunnet (f.eks. økt verdiskaping). Desto mer langsik-tige og indirekte effektene er, desto vanskeligere er det å definere og måle dem, ikke minst fordi de påvirkes av andre prosesser og tiltak. Prosjektet og dets mål er vist i figur 1. Evalueringen bør alltid starte med å fortolke prosjektlogikken og sammenhengen mellom målene på ulike nivå, for å sikre at de er konsistente, at de er på et rimelig ambisjonsnivå og at de er egnet som referanseverdier i en evaluering.

Figur 1 Prosjektet og dets tre nivåer av måloppnåelse

Evalueringen bør ikke avgrenses til tilsiktede og målsatte effekter, men også undersøke såkalte sidevirkninger. En ny motorvei kan ha som mål å spare tid og øke verdiskapingen, men kan samtidig ha negative virkninger på natur og miljø. Statlige tiltak og prosjekter må utformes med tanke på å finne en god balanse mellom ulike mål og optimalisering av sidevirkninger.

I tillegg er det alltid et selvstendig mål ved statlige investeringer å forsikre seg om at ressursbruken er effektiv og at målene er nådd uten sløsing. På samme måte som måloppnåelsen har flere nivåer, kan og bør også effektiviteten vurderes på ulike nivåer – en bør forsikre seg om at prosjektleveransen er produsert på tids- og kostnadseffektivt vis (indre effektivitet) og også at effektene på bruker- og samfunnsnivå er produsert med lavest mulig ressursbruk (ytre effektivitet).

Concept-programmet har valgt en evalueringsmodell som kan ivareta alt dette (Volden og Samset, 2013). For det første en målorientert modell som er internasjonalt anerkjent og særlig benyttet på bistandsprosjekter, og som legger til grunn fem evalueringskriterier: produktivitet, måloppnåelse, virkninger, relevans og levedyktighet. I tillegg en vurdering av samfunnsøkonomisk effektivitet som et sjette evalueringskriterium i modellen.

Evaluator må operasjonalisere de seks kriteriene, det vil si å velge ut mer konkrete forhold som skal undersøkes for det enkelte prosjektet, såkalte indikatorer. Deretter må relevante data samles inn og analyseres. Vurderingen per kriterium oppsummeres på en skala fra 1 til 6, der 1 er laveste score (helt mislykket), og 6 er høyeste score (svært vellykket).

Status etter elleve gjennomførte evalueringer

Modellen ble testet i pilotevalueringer på fire ferdigstilte prosjekter i 2012. Erfaringene med modellen var i hovedsak positive. En fant det nyttig med en generisk og standardisert evalueringsmodell som kan tilrettelegge for læring på tvers av sektorer, samtidig som den er overordnet og fleksibel nok til å ivareta det forhold at alle prosjekter er unike. Videre erfarte en noe overlapp mellom de målorienterte kriteriene og samfunnsøkonomisk effektivitet, men prinsipielt sett måler kriteriene ulike ting og fungerer metodemessig som triangulering. Erfaringene og anbefalingene etter de fire pilotevalueringene er beskrevet i Volden og Samset (2013).

Senere har Concept evaluert flere prosjekter, delvis ved bruk av egne forskere, men også ved hjelp av andre evalueringsfaglige miljøer i Norge. Vi har i senere tid publisert retningslinjer som angir nærmere hvordan kriteriene skal tolkes og hvordan score bør fastsettes (Concept, 2015). Dette for å sikre at ulike evaluatorer vurderer kriteriene på samme måte og at like prosjekter vurderes likt.

Per juli 2015 er elleve prosjekter evaluert. Seks av disse er innenfor samferdselssektor (fire vei- og to jernbaneprosjekter), tre er statlige bygg, det er ett forsvarsprosjekt og ett IKT-prosjekt. Størrelsen varierer fra byggeprosjektene på noen hundre millioner, til jernbane- og forsvarsprosjekter med en investeringskostnad på flere milliarder kroner. Det sentrale kriteriet for utvelgelse til evaluering var at prosjektene var ferdigstilt og hadde vært minst 3–5 år i driftsfase. I det følgende vil vi presentere og diskutere noen generelle funn.

Full kontroll. Kontrollstasjonen på Svinesund er et av de statlige investeringsprosjektene som Concept har evaluert og som har fått gode karakterer. Foto: LPO Arkitekter.

Operasjonelle og strategiske resultater

Vellykkete prosjekter operasjonelt – noe svakere i taktisk og strategisk perspektiv.

Evalueringene viser at de fleste prosjektene kommer godt ut i et operasjonelt perspektiv. Av elleve prosjekter var det kun to som overskred kostnadsrammen, to hadde forsinkelser (det ene helt marginalt) og fire fikk mindre trekk på grunn av kvalitet eller funksjonalitet. Kostnadsrammen var som hovedregel satt nær P85 basert på grundig usikkerhetsanalyse. P85 betyr at rammen bør holde i 85 av 100 tilfeller, noe som samsvarer godt med resultatene for de 11 prosjektene. I tillegg settes det gjerne en styringsramme nær P50 som halvparten av prosjektene ventes å overholde. I dette tilfellet kom seks av elleve prosjekter innenfor styringsrammen. Samlet fikk syv av elleve prosjekter «grønt lys» ref. tabell 1.2 På grunn av KS2-prosessen og de krav som stilles til etatene om å utarbeide et godt underlag for kvalitetssikringen, var dokumentasjonen svært god, når det gjelder planer, estimater og styringsmessige utfordringer i prosjektene.

Når det gjelder det taktiske og strategiske perspektivet, er resultatene litt mer blandet. Alle prosjektene hadde etablert effektmål og mange hadde samfunnsmål, men målene var ikke alltid gode eller realistiske, og ansvaret for å realisere dem syntes i liten grad å være plassert. Relevansen i forhold til samfunnets behov var i flere tilfeller lav og/eller kunne vært høyere med et annet konseptvalg. Flere av prosjektene hadde uheldige sidevirkninger som trolig kunne vært unngått eller begrenset dersom en hadde hatt fokus på dette i tidligfase. I den grad en kunne anslå lønnsomheten, var denne lav eller svært usikker i åtte av elleve prosjekter. Samlet fikk syv av elleve prosjekter «gult lys», se tabell 1.

Det må presiseres at flere av evaluatorene møtte på utfordringer i form av manglende referanseverdier og før-data, slik at vurderingen av prosjektene i et taktisk og strategisk perspektiv ble noe usikker. Blant annet måtte evaluator endre målstrukturen i flere tilfeller, fordi de opprinnelige målene rett og slett ikke kunne brukes som realistisk referanse for evaluering. En antar at underlaget for å vurdere prosjektene i et taktisk og strategisk perspektiv er bedre for prosjektene som har gjennomgått konseptvalgutredning og KS1. Ingen av de elleve prosjektene hadde det.

Tabell 1. Nøkkelresultater fra elleve evalueringer. Score fra 1 til 6 hvor 1 er dårligst og 6 er best. Dette illustreres også ved trafikklyssignal, slik at 1,0–2,6 gir rødt lys, 2,7–4,3 gir gult lys og 4,4–6,0 gir grønt lys.

Sektorforskjeller når det gjelder måloppnåelse

Et utvalg på kun elleve prosjekter er åpenbart for lite til å vurdere sektorforskjeller. Det er kun ett forsvarsprosjekt og ett IKT-prosjekt i utvalget, det siste er i noen grad utypisk. Disse omtales ikke nærmere. Når det gjelder byggeprosjektene, samt vei- og jernbaneprosjektene, drister vi oss imidlertid til å trekke frem noen felles funn.

Den klareste sektorforskjellen gjelder kriteriet måloppfyllelse, hvor veiprosjektene kom klart bedre ut enn jernbaneprosjektene og byggeprosjektene. Samtidig merker vi oss at veiprosjektene var mer avgrensede og hadde mindre ambisiøse effektmål. Målformuleringene gjaldt gjerne tidsbesparelser og færre ulykker – effekter som vanligvis vil realiseres nærmest «av seg selv» så snart den nye veistandarden er på plass. Bygge- og jernbaneprosjektene hadde mer ambisiøse effektmål som krever en større og mer integrert innsats. De to jernbaneprosjektene skulle for eksempel gi økt kollektivandel, noe som forutsetter at operatørene bedrer tilbudet, og som også er avhengig av blant annet kvaliteten på konkurrerende tilbud av vei, parkeringsplasser osv. De tre byggeprosjektene skulle alle gi faglige og/eller økonomiske synergier for brukerne av bygget, noe som antas å kreve mye mer enn kun et nytt bygg, herunder endringer i organisasjon og arbeidsprosesser.

Begge jernbaneprosjektene gjorde det imidlertid godt – bedre enn veiprosjektene – på kriteriene relevans og levedyktighet. Det betyr at etter evaluators vurdering er disse jernbaneinvesteringene i tråd med samfunnets behov, i dette tilfellet for miljøvennlig bytransport, og at en har tro på at effektene vil realiseres på noe lengre sikt, når andre tiltak innføres som trekker i samme retning.

Målkonflikter må på bordet

En utfordring som spesielt gjaldt i samferdselsprosjektene, som både må ha gjort det vanskelig å velge riktig prosjekt i utgangspunktet, og som også gjør det krevende å vurdere dem i etterkant, er målkonflikter. De overordnede målene for transportpolitikken er flere og motstridende, det gjelder bl.a. målet om bedre fremkommelighet versus målet om reduserte klimagassutslipp. Det finnes ingen sentrale føringer om rangeringen eller vektleggingen av disse, utover i byer hvor det heter at tra-fikkveksten skal tas med gange, sykkel og kollektivt. Relevans, som kanskje er det aller viktigste strategiske evalueringskriteriet, handler om å vurdere om et prosjekt er i samsvar med samfunnets behov og overordnede strategier. Dette er umulig for en evaluator å skulle vurdere uten å være normativ dersom overordnede mål er i konflikt med hverandre og det ikke finnes noen strategi for hvordan de skal balanseres.

Et annet eksempel på målkonflikt er når ulike geografiske regioner har ulike behov. Vi ser dette blant annet i prosjektet LOFAST, hvor den valgte traseen var best for Lofoten, men ikke for Vesterålen og heller ikke for et regionalt mål om å integrere Lofoten og Vesterålen til én region. Det sistnevnte var ikke formulert eksplisitt som mål for prosjektet, men var like fullt erkjent som et viktig hensyn i prosjektets tidligfase. I dette tilfellet valgte evaluator å vektlegge målet om en integrert region ved relevansvurderingen. Effektmålene handlet derimot om reduserte transportkostnader og bedre forutsigbarhet (slippe ferge) på den aktuelle strekningen.

Dette viser hvor viktig det er å på forhånd formulere både effekt- og samfunnsmål som får frem hva som er selve hensikten med prosjektet, og at ved målkonflikter må en presisere hvordan de skal avveies.

Samfunnsøkonomisk lønnsomhet er for snevert

Én metode for sammenveiing av ulike effekter, som er mye brukt i transportsektorentransportsektoren, er å beregne samfunnsøkonomisk lønnsomhet. Ulike effekter vektes da med individenes betalingsvillighet for å oppnå dem. Dette er ofte et nyttig og interessant mål på effektivitet. Men det er ikke en nøytral og apolitisk måte å vekte ulike mål på, og bør derfor ikke være eneste indikator på taktisk og strategisk vellykkethet. Det innebærer for eksempel at interessene til rike grupper teller mer enn fattige. Videre innebærer bruken av en diskonteringsrente at interessene til nålevende generasjoner teller mer enn fremtidige generasjoner. I praksis vil for eksempel tidsbesparelser nesten alltid overskygge andre effekter, og da spesielt miljøeffekter.

Begrunnelsen for investeringer i transportkapasitet kan tenkes å være nært knyttet til det som nytte-kostnadsanalysen primært måler, nemlig økonomisk utvikling og verdiskaping. Men flere studier har vist at det slett ikke alltid er slik, verken i Norge eller andre land. En finner tvert imot at lønnsomhet har liten innvirkning på prosjektprioriteringen. Blant våre elleve prosjekter var det kun ett prosjekt som hadde en målformulering direkte knyttet til prosjektets nytte-kostnadsbrøk. Generelt var det flere tilfeller hvor resultatet for lønnsomhet samsvarte dårlig med resultatet for andre strategiske kriterier som måloppnåelse, relevans og levedyktighet.

Et annet moment er at samfunnsøkonomisk lønnsomhet har vist seg svært vanskelig å beregne. Datatilgang var en seriøs utfordring i alle våre etterevalueringer. I de fem samferdselsprosjektene forelå det riktignok nyttekostnadsanalyser beregnet ex ante, men disse var som regel lite transparente og derfor lite nyttige som referanse. Resultatet ble at evaluator gjennomførte enkle beregninger eller drøftinger på usikkert grunnlag av hvordan lønnsomheten var antatt å avvike fra det som var beregnet i forkant. I de andre seks prosjektene hadde evaluator ingen referanseanalyse å vise til. Her valgte man gjerne å ikke fokusere på lønnsomhet, men heller på om den valgte løsningen var effektiv opp mot andre tenkte måter å nå samme mål på, dvs. indre effektivitet.

Hva kan vi lære av dette?

De fleste av de elleve prosjektene vi evaluerte var godt planlagt, spesielt i et operasjonelt perspektiv. Likevel er vi overbeviste om at en gjennom etterevaluering kan trekke lærdom tilbake til tidligfasen som kan gjøre fremtidige prosjekter enda mer vellykkede. En viktig anbefaling er å gjennomføre grundige behovsutredninger i tidligfase, og etablere en prosjektlogikk med både resultat-, effekt- og samfunnsmål, og med en tydelig prioritering mellom ulike mål og grupper der det er nødvendig. Med dette etablerer man referansepunktet for kriteriet relevans, som kanskje er det viktigste strategiske evalueringskriteriet. Også de andre evalueringskriteriene vil bli enklere å benytte om en har referanseverdier fra tidligfasen. Før-data bør alltid etableres før prosjektet igangsettes. Et minimumskrav er at gjennomførte analyser må være tilgjengelige og transparente, herunder at sentrale forutsetninger er kjent.

I tillegg bør en plassere ansvaret for å ta ut de ulike effektene. I alle de tre byggeprosjektene ble det formulert mål om synergier av samlokalisering, men på evalueringstidspunktet hadde aktørene i liten grad fokus på synergieffektene, de syntes å være «glemt» idet staten bevilget penger til nytt bygg. Kanskje var nytt, flott bygg finansiert av staten et mål i seg selv for de involverte aktørene? Concept har tidligere skrevet om perverse incentiver i tidligfasen av statlige prosjekter, i dette tilfellet ved at staten står for finansieringen mens en begrenset gruppe får nytten, uten at det medfører noen forpliktelser for dem. Resultatet kan i slike tilfeller bli dyre prosjekter med små gevinster. Ved tydelig plassering av ansvar for å ta ut gevinstene, og oppfølging av dette ut gjennom driftsfasen, kan en motvirke disse problemene.

Som nevnt er det ikke alle prosjekter som kan ses isolert og hvor gevinstrealisering avhenger av prosjektet alene. Ofte kreves supplerende tiltak, i regi av den aktuelle statlige virksomheten eller andre myndigheter. Det gjelder bl.a. prosjekter som er ment å øke én transportforms andel av trafikken, det gjelder videre såkalte transportpakker, men også mange byggeprosjekter, IKT-prosjekter og forsvarsprosjekter. En bør følgelig ikke bare tenke styring av enkeltprosjekter, men porteføljer av prosjekter og tiltak, og staten bør styrke kompetansen om hvordan økonomiske, juridiske, informative og andre virkemidler og tiltak fungerer sammen med fysiske investeringsprosjekter.

Referanser

Concept, 2015: Etterevaluering av statlige investeringsprosjekter i regi av Concept-programmet. Retningslinjer for evaluator, notat, versjon 2, 08.03.2015. http://concept-eval.ivt.ntnu.no/assets/Template_%20for_etterevaluering_av_KS_-_prosjekter_v2.pdf

Samset, Knut, 2014: Evaluering av prosjekter: Vurdering av suksess, Fagbokforlaget

Volden, Gro Holst, og Samset, Knut, 2013: Etterevaluering av statlige investeringsprosjekter. Konklusjoner, erfaringer og råd basert på pilotevaluering av fire prosjekter, Concept-rapport nr. 30

146 milliarder kroner ifølge Statsbudsjettet for 2015, tabell 3.10 som summerer postene 30–49. Tallet gir imidlertid ikke et fullstendig uttrykk for statens samlede investeringsaktivitet, ettersom blant annet investeringer i helseforetakene finansieres med tilskudd i statsbudsjettet, og store deler av veiutbyggingene finansieres med bompenger som ikke budsjetteres på statsbudsjettet.
2Dette stemmer bra med en tidligere studie av de 40 første KS-prosjektene der sluttkostnad forelå, hvor 80 prosent holdt seg innenfor Stortingets vedtatte kostnadsramme. (Volden og Samset, 2013)

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon