Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Teste løsninger, finne feil

  • Side: 2-5
  • Publisert på Idunn: 2015-03-25
  • Publisert: 2015-03-25

Kontrollerte eksperimenter for testing av politiske og sosiale tiltak blir stadig hyppigere brukt i norsk forvaltning. Fordelene ved en eksperimenterende forvaltning kan blant annet være at feil oppdages før tiltakene gjennomføres i full skala.

 

Bruken av eksperimenter for å teste politiske og sosiale tiltak er en tendens som vokser seg stadig sterkere internasjonalt, i takt med et større fokus på evidensbasert politikk.

Trenden sees blant annet i etableringen av flere policy-laboratorier som bruker atferdsøkonomisk tilnærminger på utvikling av politikk, både i EU kommisjonen og i amerikansk og britisk sentraladministrasjon. Og den kan ses tydelig i stadig sterkere utbredelse av eksperimentelle metoder for politikk-utvikling. Randomiserte kontrollerte eksperimenter (RCT) med tilfeldig utvalgte forsøkspersoner og kontrollgrupper, er regnet som en «gullstandard» i deler av akademia. Styrken i denne bølgen kan også spores i våre naboland. I en rapport for det svenske finansdepartementet anbefales RCT som hovedmetoden ved f.eks. utvikling av nye tiltak i det svenske politiet.1

Slike metoder er spesielt utbredt i med-nat-fagene, og ikke så sterkt representert i samfunnsfag og humaniora, hvor det lenge har vært en betydelig skepsis til verdien av den type bevis som man hevder at slike metoder produserer. Det har vært et tradisjonelt skille mellom samfunnsfagene og med-nat-fagene på dette punktet i hvert fall siden 60-tallet.

Dette er nå kanskje i ferd med å forandre seg, delvis som et resultat av at mange illusjoner omkring tradisjonell dokumentasjon av virkningen av offentlige løsninger ved hjelp av evalueringer er i ferd med å svekkes. I Danmark mener fremtredende akademikere at samfunnsvitenskapen har neglisjert fordelene ved eksperimenter. De mener at det er vanskelig å finne gode argumenter for å bremse utbredelsen av eksperimentell statsvitenskap.2

Sikrere resultater

Silje Endresen Reme, som er forsker ved UNI Research Helse i Bergen, Harvard University Environmental Health og Universitetssykehuset i Oslo, er en av de samfunnsforskerne i Norge som har drevet mest med kontrollerte forsøk innenfor samfunnsfagene. Hun har deltatt i seks slike forsøk, hvorav de siste tre som prosjektleder. Hun mener at omfanget av slike undersøkelser tiltar, blant annet fordi offentlige etater etterspør slike metoder i større grad når forskningsmidler utlyses. Dette gjelder spesielt innenfor arbeids- og velferdssektoren hvor hun arbeider.

Styrken ved slike metoder er mange mener Reme, blant annet er de godt egnet til å finne feil:

– Fordelen er at man med mye større sikkerhet kan si om en behandling eller et tiltak er effektivt eller ikke, sier Reme til Stat & Styring. – Fordi man ved et randomisert og kontrollert design unngår en rekke feilkilder og skjevheter (for eksempel seleksjonsbias, konfunderende faktorer og attribusjonsfeil), gir det et sikrere resultat og et mye bedre beslutningsgrunnlag enn andre utprøvings- og evalueringsmetoder.

Reme forteller at det nå er utviklet en ny gullstandard: mixed-methods design.

Randomized controlled trials (RCT) eller randomiserte kontrollerte forsøk, er en vitenskapelig metode som først ble utbredt i medisinsk forskning, men som har blitt tatt i bruk i stadig flere akademiske fag.Kjernen i metoden er at man prøver ut behandlingstyper på en gruppe deltakere, mens en eller flere kontrollgrupper ikke får behandlingen, eller får en annen type behandling. Forsøkene gjennomføres på tilfeldig utvalgte deltakere, som har bestemte felles trekk for å kvalifisere for deltakelse.

– Denne metoden kombinerer effektevaluering (altså RCT) med en prosessevaluering som gjøres parallelt. Da får man svar på andre og mer utfyllende spørsmål om hvorvidt man traff den målgruppen som var tiltenkt, om deltakerne fikk riktig «dose» av behandling/oppfølging, hvorvidt lokale (eksterne) forhold spilte inn osv. En slik tilnærming imøtegår mye av kritikken mot det noe strikte RCT-designet.

Silje Endresen Reme har blant annet ledet et forsøk i årene 2009–2013 som undersøkte effekten av tiltak rettet mot mennesker med psykiske problemer, og deres vanskeligheter med å finne seg til rette i arbeidslivet. Dette var det første eksperimentelle forsøket av et NAV-tiltak som ble gjort her til lands ved hjelp av RCT-metoder, og det kom fram til et overraskende resultat.

Silje Endresen Reme har gjennomført flere randomiserte kontrollerte forsøk med offentlige tiltak, og mener at metoden er sikrere enn tradisjonelle evalueringer. Foto: Universitetet i Bergen

Avslørte ulønnsomhet

Undersøkelsen studerte effekten av den treningen som arbeidssøkere i Senter for jobbmestring får. Denne treningen består av kognitiv atferdsterapi, sammen med rådgivning i å håndtere og mestre psykiske plager som oppstår i jobbsammenheng. Veiledningen utføres av helsefaglig utdannet personell med spesialkompetanse.

Resultatene var overraskende på flere måter: Tiltaket hadde en viss effekt for gruppen som fikk veiledning, ved at 44 prosent av gruppen var i jobb 12 måneder etter å ha blitt inkludert i tiltaket, mot 37 prosent i kontrollgruppen som ikke hadde fått veiledning. Det kanskje viktigste resultatet var effekten på landtidsledige personer. I en undergruppe av forsøkspersoner som hadde vært spesielt lenge ute av arbeidslivet var effekten enda større; 24 prosent av de langtidsledige som hadde fått veiledning var i jobb etter ett år, mot 12 prosent i kontrollgruppen.

Alt i alt konkluderer forskerne med at tiltaket ikke var samfunnsøkonomiske lønnsomt for gruppen som helhet, men at det var samfunnsøkonomisk lønnsomt i undergruppen av personer som hadde vært lenge ute av arbeidslivet.

– Det er for meg et prakteksempel på hvordan metoden kan brukes for å utvikle offentlige tiltak, sier Reme som var i ledelsen for dette forsøket. – Selve tiltaket var innovativt, samtidig som det bygde på evidensbasert kunnskap fra både psykologien og rehabiliteringsfeltet, men ingen visste om det ville gi gunstige effekter på sykefraværet utover det øvrige NAV-tiltak og helsetilbud kunne gi. Resultatene var til dels overraskende og svært nyttige, og de ville aldri ha fremkommet med et annet studiedesign.

Skattemoral

Skattedirektoratet er en av etatene som har gjort bruk av eksperimentell design i omfattende grad. Inspirert av lignende forsøk blant annet i Storbritannia, gjennomførte direktoratet sammen med Handelshøyskolen i Bergen i 2013 en undersøkelse blant 18000 skattebetalere som sannsynligvis hadde inntekter i utlandet, inntekter som ikke var blitt rapportert inn i selvangivelsen.

Disse skattebetalerne ble inndelt i to grupper hvorav den ene fikk et nøytralt brev med informasjon om hvordan man rapporterer inntekt opptjent i utlandet. Den andre gruppen fikk et brev med formuleringer om at «det store flertallet rapporterer korrekt» og at det er viktig «at inntekt og formue i utlandet rapporteres på samme måte».

For gruppen som fikk påminnelsen om sosiale konvensjoner og regelverk, økte innrapporterte inntekter med i gjennomsnitt 7000 kroner sammenlignet med gruppen som fikk et nøytralt brev.

Skattebetalerforeningen reagerte på eksperimentet da det ble kjent i Dagens Næringsliv og mente at borgere hadde fått ulik informasjon.3 Dette avviste Skattedirektoratet, og Nasjonal Etisk komite for samfunnsfag og humaniora (NESH) ga dem støtte, med henvisning til at det neppe var noen som hadde lidd noen overlast.

Bertil Tungodden og hans kolleger fant ut at en enkel tekstendring gjorde folk langt villigere til å opplyse om skattbar inntekt. Foto: Chr. Michelsen Institute

En annen kritiker var dekanen ved Forsvarets etterretningsskole Tore Pedersen, som påpekte at det ikke var forskningen i seg selv som var problemet, men sammenblandingen av forskning og forvaltning. Han hevdet at data som er innsamlet til forvaltningsformål ikke kan brukes til forskningsformål, for så igjen å brukes til forvaltningsformål.4 Men dekanen mente også at det hadde foregått en reell forskjellsbehandling av skattebetalere, ved at noen hadde fått mer informasjon enn andre.

«En utilsiktet sammenblanding av forskning og forvaltning – uten at formålet er tilstrekkelig opplyst og vurdert – er egnet til å svekke tilliten til både forskning og forvaltning», skrev Pedersen i et debattinnlegg.

Professor Bertil Tungodden ved NHH, som ledet prosjektet, sier til Stat & Styring at han ikke forstår kritikken:

– Jeg skjønner ikke at dette er en sammenblanding av forvaltning og forskning. Det ville være svært underlig om forvaltning ikke skulle få lov til å teste ut opplegg. Dette har blitt gjort til alle tider, det eneste nye er at man nå gjør det på en systematisk måte. Man må i alle typer forskningsprosjekter gjøre etiske vurderinger, men jeg finner det vanskelig å forstå at uttesting av for eksempel et informasjonsskriv skal være etisk problematisk.

Tungodden tror for øvrig at RCT metodene har en stor fremtid:

– Jeg har generelt stor tro på denne metoden (og denne måten å tenke på), og tror den har en stor framtid i alle deler av samfunnet, inkludert offentlig, privat og frivillig sektor.

(Skattedirektoratets forsøk er nærmere omtalt i artikkelen til Audun Solli på de neste sidene i tidsskriftet.)

Systematiske analyser

En av organisasjonene som mest systematisk og lenge har drevet med randomiserte kontrollerte forsøk med politikkutvikling er The Campbell Collaboration, som er et nettverk av forskere som blir støttet og huset av det norske Kunnskapssenter for helsetjenesten i Oslo. C2 som organisasjonen også kaller seg, gjennomfører ikke selv eksperimenter, men har som hovedoppgave å gjøre systematiske vurderinger av andres forskning på effektene av offentlige tiltak på felt som kriminalitet, utdanning, internasjonal utvikling og sosialhjelp.

Noen kontrollerte eksperimenter i norsk offentlig sektor

Senter for jobbmestring: Senter for jobbmestring ble etablert for å hjelpe personer med milde til moderate former for angst og depresjonslidelser til å opprettholde eller oppnå arbeidsdeltakelse.

Tiltaket er et samarbeid mellom Arbeids- og velferdsdirektoratet og Helsedirektoratet, og forskningen gjennomføres av Uni Helse og Uni Rokkan.

Skattemoral: Forskningsforsøk i samarbeid mellom Skattedirektoratet og Handelshøyskolen i Bergen som undersøkte skattemoralen blant folk som hadde midler i utlandet.

Individuell jobbstøtte: Forsøkene er et pågående prosjekt som blir effektevaluert av Uni Helse, og er et samarbeid mellom Arbeids- og velfersdirektoratet og Helsedirektoratet. Det studerer hva som er gode metoder for at mennesker med psykiske lidelser kan skaffe seg arbeid i det ordinære arbeidsmarkedet.

Familiekonsulent: Prosjektet er designet for å støtte ungdommer som flytter ut av omsorgstiltak og tilbake til hjemstedet. Tiltaket består av en spesialutdannet familiekonsulent som skal være koordinator mellom skole og hjem, og som gjennom tett oppfølging skal bistå familiene og skolen i reintegreringsprosessen. Barne, ungdoms og familiedepartementet.

Redusert ventetid på arbeidsrettede tiltak:Formålet med forsøket er å få mer kunnskap om hvilken betydning ventetid på arbeidsrettede tiltak har for at personer med nedsatt arbeidsevne kommer i eller beholder arbeid. Gjennomføres som en RCT-studie og evalueres av Frisch-senteret.

Den mest leste av deres systematiske analyser gjelder læreres bruk av ulike metoder for å hindre bråk og forstyrrelser i undervisningen. Et hovedresultat var at læreres anstrengelser for å hindre bråk hadde en effekt uansett hvilken metode som ble valgt i disse anstrengelsene, i motsetning til å ikke forsøke å hindre bråket. De klarte ikke å finne noen forskjell mellom ulike metoder. De delte inn metodene i to kategorier, forkortet GBG og COMP. COMP er sammensatt av flere tiltak som inkluderer organisering av klasserommet, regler og rutiner for planlegging og undervisning. Slike rutiner kan være å vedlikeholde god elevoppførsel, gjennomføre instruksjoner og opprettholde framdrift.

Den andre gruppen metoder er Good Behavior Game (GBG) hvor et spillsystem ble brukt for å premiere god oppførsel blant elevene. 5

Andre undersøkelser fra Campbell Collaboration viser at kognitiv behandlingsterapi blant innsatte i fengsler har god effekt. Mens 4 av 10 som ikke mottar slik behandling gjenopptar kriminalitet etter fengselsopphold, blir dette redusert til 3 av 10 blant de som mottar slik behandling. Dette er en betydelig reduksjon som går på tvers av behandlingstyper, men er avhengig av kvalitet og kompetanse hos behandleren.

Ingressfoto: Fotolia

Referanser

Baldersheim, Harald og Lawrence Rose: Det kommunale laboratorium, Fagbokforlaget 2014

Blom-Hansen, Jens og Søren Serritzlew: Endogenitet og eksperimenter – forskningsdesignet som løsning. Politica, 1/2014

Haynes, Laura m.fl. Test, Learn, Adapt: Developing Public Policy with Randomised Controlled Trials. Behavioral Insights Team 2014

Ludwig, Jens m.fl. Mechanism Experiments and Policy Evaluations, Journal of Economic Perspectives, nr. 3 2011

Oliver, Regina M., Joseph H. Wehby, Daniel J. Reschly: Teacher classroom management practices: effects on disruptive or aggressive student behavior. Campbell Collaboration, 2011

Richburg-Hayes, Lashawn m.fl.: Behavioral Economics and Social Policy: Designing Innovative Solutions to Programs Supported by the Administration for Children and Families. OPRE Report No. 2014 16a, Office of Planning, Research, and Evaluation (OPRE), U.S. Department of Health and Human Services, Washington, DC

Reme, Silje Endresen m.fl.: Effektevaluering av Senter for Jobbmestring: Sluttrapport Uni Helse 2013

World Bank: World Development Report 2015: Mind, Society, and Behavior

Haskins, Ron og Margolis, Greg: Show Me the Evidence: Obama's Fight for Rigor and Results in Social Policy, Brookings Institution Press, 2014

Willumsen, Tord: Lokalt politisk lederskap. I Baldersheim, Harald og Lawrence Rose 2014

Sarnecki, Jerzy: Polisens prestationer – en ESO-rapport om resultatstyrning och effektivitet

1Sarnecki, 2010.
2Blom-Hansen, 2014.
3Dagens Næringsliv, 05.06.2014.
4Tore Pedersen: Eksperimentell forvaltning. Dagens Næringsliv, 11.06.2014.
5Oliver 2011.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon