Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Systematisk måling av brukererfaringer blant medlemmer på klubbhus for psykososial rehabilitering

En psykometrisk vurdering
Measuring user experiences among members of a clubhouse for psychosocial rehabilitation
A psychometric evaluation
Dosent ved OsloMet – storbyuniversitetet, Institutt for ergoterapi og ortopediingeniørfag
Konstituert daglig leder, Fontenehuset i Oslo
Stipendiat, OsloMet – storbyuniversitetet, Institutt for ergoterapi og ortopediingeniørfag
Medlem, Fontenehuset i Oslo og stipendiat ved Høgskulen på Vestlandet, Institutt for sosialfag og vernepleie

Brukerundersøkelser kan være et godt verktøy for instrumentell brukermedvirkning på systemnivå, forutsatt at de er valide og reliable. Formålet med denne studien var å undersøke psykometriske egenskaper ved Fontenehusets spørreundersøkelse av medlemserfaringer (FUME). Studien fant, ved hjelp av intern konsistensanalyse og faktoranalyse, at det opprinnelige spørreskjemaet, bestående av ti påstander, ikke har tilfredsstillende psykometriske egenskaper, men kan fungere i revidert versjon (FUME-R) dersom to av påstandene fjernes. Studien konkluderer med at det reviderte skjemaet kan anvendes i arbeidet med å evaluere og videreutvikle tjenestetilbudet ved klubbhus for psykososial rehabilitering.

Nøkkelord: Brukerundersøkelse, Brukermedvirkning, Validitet, Reliabilitet, Fontenehus

Valid and reliable surveys measuring user experiences may be serviceable tools in ensuring user participation as well as improving the quality of health care services. The purpose of the present study was to explore the psychometric properties of a Norwegian Clubhouse instrument (FUME) designed to measure the level of satisfaction among Clubhouse members. By employing analysis of internal consistency and factor analysis, the study found that the instrument, consisting of ten items, did not demonstrate satisfactory psychometric properties. However, a revised version of the instrument (FUME-R), where two items are excluded, may be applicable in evaluation and further service development.

Keywords: User participation, User surveys, Validity, Reliability

Hva vet vi allerede om dette emnet?

  • Brukermedvirkning står sentralt i tjenesteutøvelse og det finnes et bredt spekter av instrumenter utviklet for å måle pasient- og bruker-erfaringer, men ingen «gullstandard» for måling på tvers av behandlingskontekster.

  • Klubbhus for psykososial rehabilitering skiller seg begrepsmessig, organisatorisk og behandlingsideologisk fra tradisjonelle helsetjenester.

  • Bruk av eksisterende måleverktøy for pasient- og brukererfaringer er dermed lite hensiktsmessig ved et klubbhus.

Hva nytt tilføyer denne studien?

  • Den psykometriske vurderingen av Fontenehusets undersøkelse av medlemserfaringer (FUME) viser at verktøyet mangler tilfredsstillende intern konsistens og en klar faktorstruktur.

  • En revidert versjon av instrumentet (FUME-R) demonstrerer bedre psykometriske egenskaper, måler både medlemserfaringer og medlemsrapporterte utfall, og kan være et viktig verktøy i arbeidet med å evaluere og videreutvikle tjenestetilbudet.

Introduksjon

Pasientsentrert behandling er nå internasjonalt anerkjent som en av grunnpilarene i helsetjenesten (Almeida, Bourliataux-Lajoinie & Martins, 2015). Det er brukerne av et tjenestetilbud som erfarer tilbudet i sin helhet, og brukere er – som alle andre mennesker – motivert til å øve innflytelse på egen livssituasjon og ivareta sin autonomi. Brukermedvirkning er et sentralt prinsipp i tjenesteutøvelse, både av hensyn til forbedring av tjenestene og av hensyn til brukerne selv. Ifølge Larsen, Aasheim og Nordal (2006) handler brukermedvirkning om brukernes innflytelse på utformingen av tjenester, om at tjenesteapparatet aktivt benytter brukernes erfaringskunnskap, og om at brukernes aktive deltakelse og erfaringskunnskap skal bidra til kvalitet på tjenestene og samtidig øke brukernes egen livskvalitet. Larsen et al. (2006) skiller mellom brukermedvirkning på tre nivåer. På individnivå handler brukermedvirkning om at brukerne gis anledning til å påvirke utformingen og anvendelsen av de tjenestene de mottar. Brukermedvirkning på systemnivå innebærer at brukerne inngår i et samarbeid med tjenesteapparatet og deltar aktivt i planleggings- og beslutningsprosesser, samt at det etableres systemer for innhenting av brukererfaringer (eksempelvis i form av brukerundersøkelser). Politisk brukermedvirkning er knyttet til at brukerorganisasjoner involveres i politiske prosesser før beslutninger fattes. Ifølge Sverdrup, Kristofersen og Myrvold (2005) kan man også trekke opp et skille mellom instrumentell og terapeutisk brukermedvirkning. Den instrumentelle formen tar sikte på å forbedre tjenesteapparatet, mens terapeutisk brukermedvirkning er mer orientert mot å gi brukeren et aktivt forhold til egen situasjon, lidelse/sykdom og behandling.

Brukerundersøkelser

Det er utviklet et bredt spekter av verktøy for å måle brukererfaringer, og slike instrumenter tar gjerne sikte på å måle ulike aspekter ved disse. Det er viktig å kartlegge brukernes opplevelser av behandlingseffekter og andre relevante utfallsmål (såkalte PROMs; Patient Reported Outcome Measures) så vel som brukernes opplevelse av tilfredshet med selve tjenestetilbudet (såkalte PREMs; Patient Reported Experience Measures) (Weldring & Smith, 2013). Der PROMs søker å kartlegge hvorvidt og i hvilken grad brukerne opplever tilsiktet personlig utbytte av tilbudet, tar PREMs sikte på å undersøke brukernes mer generelle erfaringer med tjenesten, eksempelvis med fokus på deres tilfredshet med brukermedvirkning. Studier har vist at det er en viss sammenheng mellom brukernes opplevelser av behandlingsutfall og erfaringer med tjenestetilbudene (f.eks. Black, Varaganum & Hutchings, 2014).

Pasienttilfredshetsundersøkelser er en metode for systematisk innhenting av brukererfaringer og kan dermed karakteriseres som instrumentell brukermedvirkning på systemnivå. Fournier og Mick (1999) betegner pasienttilfredshet som en subjektiv sammenlikning mellom forventninger til tjenesten og den faktiske opplevelsen av tjenesten. Det finnes et bredt spekter av instrumenter utviklet for å måle pasienttilfredshet. Tilfredshetsundersøkelser gjennomføres gjerne i form av selvrapportering der brukerne svarer på et spørreskjema og der svarene analyseres kvantitativt for å produsere et tallmessig mål på hvor tilfredse brukerne er med tilbudet. Spørreskjemaet består gjerne av flere spørsmål slik at det blir mulig å kartlegge brukernes opplevelse av ulike aspekter ved tilbudet.

For at det skal kunne gi mening å bruke slike verktøy er det avgjørende at brukerundersøkelsen faktisk måler det den er ment å måle (validitet) på en pålitelig måte (reliabilitet). Undersøkelsen må være valid og reliabel for at den med forsvarlighet skal kunne brukes til å forbedre tjenestetilbudet og/eller anvendes i forskning. Sitzia (1999) undersøkte 195 studier som benyttet pasienttilfredshetsundersøkelser og fant at kun 46 % av disse rapporterte mål på validitet eller reliabilitet. Så få som 6 % av studiene rapporterte mål på både validitet og reliabilitet. Almeida og kollegaer (2015) gjennomførte en systematisk gjennomgang av den vitenskapelige litteraturen og identifiserte 37 studier som omhandlet validering av pasienttilfredshetsinstrumenter. De fleste studiene vurderte psykometriske egenskaper i form av intern konsistensanalyse (Cronbachs α) og strukturell validitet (eksplorerende eller konfirmerende faktoranalyse). For majoriteten av disse instrumentene ble det avdekket at pasienttilfredshet fremstår som et multidimensjonelt konstrukt der inkluderte dimensjoner reflekterer sentrale aspekter ved det konkrete behandlingstilbudet verktøyet er ment å måle tilfredsheten med. Kvaliteten på interaksjon mellom pasient og helsepersonell, fysisk behandlingsmiljø og interne prosesser ved behandlingsstedet var hyppig forekommende faktorer i studiene. Også tidligere litteraturgjennomganger har funnet betydelig variasjon med hensyn til antall dimensjoner og innholdet i disse (f.eks. Boyer et al., 2009). Ulike behandlingstilbud kan være svært forskjellige både hva gjelder utforming, innhold og målsettinger, hvilket gjør det vanskelig å etablere konsensus om bruk av et spesifikt verktøy for måling av pasienttilfredshet. I dag finnes det således ingen «gullstandard» for tilfredshetsmåling på tvers av behandlingskontekster (Almeida et al., 2015).

Klubbhus for mennesker med psykiske lidelser

Klubbhus er en internasjonal terapeutisk modell for mennesker med psykiske lidelser (Clubhouse International, 2015) der kjernevirksomheten er terapeutiske, men ikke-kliniske arbeidsfellesskap (Doyle, Lanoil & Dudek, 2013) med mål om å gi aktiv deltakelse i storsamfunnet i form av arbeidsmuligheter, helsefremmende aktiviteter, økt livskvalitet, bedre sosiale relasjoner, redusert behov for behandlingsinnleggelser og redusert kontakt med straffeapparatet (McKay, Nugent, Johnsen, Eaton & Lidz, 2016).

I motsetning til behandlingstilbud der opplegget gjerne baseres på en medisinsk modell og brukerne betraktes som behandlingstrengende pasienter, anser tilbud basert på klubbhusmodellen brukerne sine som medlemmer som er produktive og ressurssterke individer som er i stand til å bidra i samfunnet (Bonsaksen et al., 2016; Stimo et al., 2015). I arbeidsfellesskapet jobber ansatte og medlemmer sammen som likeverdige, og arbeidet anvendes som metode for at mennesker med psykiske lidelser skal få større muligheter til å skape et bedre liv. Internasjonalt finnes det ca. 300 klubbhus, hvorav 24 er etablert i Norge (Fontenehus Norge, u.å.; Garbo & Jackbo, 2012).

McKay og kollegaer (2016) gjennomførte en litteraturgjennomgang for å undersøke om tilbud basert på klubbhusmodellen har effekt på medlemmenes arbeidsinkludering, livskvalitet, innleggelsesreduksjon, sosiale relasjoner, helsefremmende aktiviteter og utdanning. Gjennomgangen viste at randomiserte kontrollerte studier (RCT-studier) har demonstrert en positiv effekt på arbeidsinkludering (overgang til ordinært arbeid), reduserte innleggelser og økt livskvalitet. Videre antydet kvasieksperimentelle og observasjonelle studier positive sammenhenger mellom klubbhusdeltakelse, utdanning og sosiale relasjoner. Forfatterne konkluderte med at klubbhusene fremstår som en lovende behandlingsmodell, men at ytterligere forskning er nødvendig.

Brukerundersøkelser på norsk

I Norge har Kunnskapssenteret for helsetjenesten i Folkehelseinstituttet utviklet og validert pasienttilfredshetsundersøkelser for et bredt spekter av målgrupper, tjenesteområder og tjenestenivåer (Kunnskapssenteret, 2017). Kunnskapssenterets nasjonale og systematiske målinger av pasientopplevelser (PasOpp) retter seg primært mot spesialisthelsetjenesten (både somatisk og psykisk helsevern), men også mot andre tjenesteområder som legevakt, fastlegeordningen, svangerskaps-, fødsels- og barselomsorg så vel som rehabiliteringsinstitusjoner.

PasOpp-verktøyene kan imidlertid hevdes å ha begrenset anvendbarhet med hensyn til å måle brukertilfredshet ved et klubbhus. Klubbhusene vektlegger et annet begrepsapparat enn hva som er vanlig innen tradisjonelle helsetjenester. PasOpp-instrumentene bruker gjennomgående begreper som «pasienter», «institusjon», «psykisk helsevern», «innleggelse» og «behandler», mens klubbhusene er opptatt av «medlemmer» og «ansatte» som deltar likeverdig innenfor et frivillig arbeidsfellesskap. PasOpp-verktøyene fokuserer også betydelig på strukturelle og administrative forhold som ikke gjør seg gjeldende for et klubbhus (f.eks. innleggelses- og henvisningsrutiner samt ventetid for behandling), og opererer også med mer rendyrkede kliniske mål som er mindre sentrale i et arbeidsfellesskap som fokuserer på arbeidsinkludering, sosial inkludering, autonomi og personlige ressurser.

Fontenehusets undersøkelse av medlemserfaringer (FUME)

Det finnes per i dag ingen gullstandard for måling av pasienttilfredshet på tvers av behandlingskontekster, mye på grunn av betydelige forskjeller ulike behandlingstilbud imellom (Almeida et al., 2015). Som følge av begrepsmessige, organisatoriske og behandlingsideologiske forskjeller mellom tradisjonelle medisinske behandlingsopplegg og Fontenehus drevet etter klubbhusmodellen (Bonsaksen et al., 2016; Garbo & Jackbo, 2012; Stimo et al., 2015), har det vært et behov for å utvikle et verktøy for måling av medlemstilfredshet som i større grad enn PasOpp-verktøyene reflekterer virksomheten og målsettinger ved klubbhusene.

Deltakelse i arbeid og meningsfulle aktiviteter i et sosialt fellesskap og medlemmenes aktive medbestemmelse utgjør bærebjelker i klubbhusmodellen. En rekke studier har vist at meningsfull aktivitetsdeltakelse er forbundet med raskere og bedre rehabilitering så vel som økt tilfredshet i livet for mennesker med psykiske utfordringer (Davidson, O'Connell, Tondora, Lawless & Evans, 2005; Goldberg, Brintnell & Goldberg, 2002; Nordh, Grahn & Währborg, 2009; Strong, 1998). Deltakelse i meningsfulle aktiviteter er særlig viktig for personer som opplever lite sosial støtte (Hendryx, Green & Perrin, 2009). Forskning har også vist at medbestemmelse i behandlingsopplegget er viktig for mennesker med psykiske lidelser (Adams, Drake & Wolford, 2007). Medbestemmelse og aktiv deltakelse bidrar til at pasienter opplever bedre behandlingsresultater (Adams & Drake, 2006) så vel som redusert symptomtrykk, økt brukertilfredshet og lojalitet til behandlingsopplegget (O'Connor et al., 2009).

I 2011 fikk Nasjonalt kompetansesenter for psykisk helsearbeid (NAPHA) i oppdrag fra Helsedirektoratet å gjøre en evaluering av Fontenehusene i Norge. Det ble da, i samarbeid med et Fontenehus, utarbeidet ti påstander med sikte på å måle medlemmers erfaringer med Fontenehuset, deres mulighet for medbestemmelse og deres syn på å komme ut i arbeid (Mo, Hatling & Heggen, 2012). Disse ti påstandene utgjør Fontenehusets undersøkelse av medlemserfaringer (FUME). Det tematiske innholdet i påstandene i FUME er orientert omkring Fontenehusets behandlingsideologi, basert på de internasjonale standardene for klubbhusprogram (Fontenehus Norge, u.å.) som danner grunnlaget for kvalitetsvurderingen av klubbhus. Standardene er utformet og blir regelmessig revidert gjennom en internasjonal komité som består av både medlemmer og medarbeidere. FUME, med sine ti påstander, er vist i Tabell 1.

Tabell 1

Fontenehusets undersøkelse av medlemserfaringer (FUME)

Hvor enig eller uenig er du i de følgende påstandene?1
Helt enig
2
Delvis enig
3
Vet ikke
4
Delvis uenig
5
Helt uenig
1På Fontenehuset gjør jeg meningsfullt arbeid12345
2På Fontenehuset får jeg brukt mine ressurser12345
3På Fontenehuset føler jeg meg til nytte12345
4Jeg har mange ressurser som jeg ikke får brukt på Fontenehuset12345
5Deltakelse på Fontenehuset har gitt meg tro på at jeg kan komme ut i jobb igjen12345
6Jeg skulle ønske at jeg fikk mer støtte fra Fontenehuset til å komme i arbeid12345
7Deltakelse på Fontenehuset har gjort meg mindre avhengig av andre behandlingstilbud12345
8På Fontenehuset får jeg være med og bestemme i saker som angår huset12345
9På Fontenehuset får jeg delta i alle møter hvor viktige saker diskuteres12345
10Jeg føler at jeg har innflytelse på min arbeidshverdag på Fontenehuset12345

Påstandsformuleringene er utarbeidet i samarbeid mellom medlemmer og medarbeidere innenfor rammen av behandlingsideologien og standardene. Påstandene 1, 3 og 5 ber medlemmene ta stilling til i hvilken grad de opplever å gjøre meningsfullt arbeid og være til nytte, hvilket gjenspeiler målet om at «alt arbeid i Klubbhuset er utformet for å hjelpe medlemmer til å gjenvinne egenverd, mål og mening og selvtillit» (Fontenehus Norge, u.å., standard 19). Klubbhusene skal fokusere på «ressurser, evner og ferdigheter» (standard 15), hvilket reflekteres i påstandene 2 og 4 som søker å kartlegge i hvilken grad medlemmene opplever å få brukt sine ressurser. Å gjøre det mulig for medlemmene å vende tilbake til lønnet arbeid er et viktig mål for klubbhusene (standard 21), hvilket utgjør bakteppet for påstand 6 som tar sikte på å måle hvorvidt medlemmene skulle ønske de fikk mer støtte til å komme i arbeid. Standardene presiserer at alle møter skal være åpne for medlemmer og medarbeidere (standard 8), og at ansvaret for driften av klubbhuset skal ligge hos medlemmer så vel som medarbeidere og daglig leder (standard 11). Dette fokuset på brukermedvirkning gjenspeiles i påstandene 8, 9 og 10 («På Fontenehuset får jeg være med og bestemme i saker som angår huset», «På Fontenehuset får jeg delta i alle møter hvor viktige saker diskuteres», og «Jeg føler at jeg har innflytelse på min arbeidshverdag på Fontenehuset»).

FUME brukes som en del av årlige medlemsundersøkelser, men samlingen av påstander er til nå ikke blitt vurdert med henblikk på psykometriske egenskaper.

Studiens formål

Formålet med denne eksplorerende studien var å gjennomføre en psykometrisk vurdering av FUMEs interne konsistens og strukturelle validitet som et første steg i en validering av verktøyet.

Metode

Design

Studien er en psykometrisk vurdering av Fontenehusets undersøkelse av medlemserfaringer (FUME), basert på tverrsnittsdata.

Utvalg og datainnsamling

Medlemmer ved et Fontenehus ble invitert til å svare på et spørreskjema som inneholdt de ti påstandene i FUME og demografiske spørsmål om kjønn og alder som en del av husets årlige medlemsundersøkelse i 2015. Medlemmene ble informert om undersøkelsen og dens formål ved et fellesmøte. Undersøkelsen var åpen for medlemmene i én måned. 160 medlemmer var innom Fontenehuset i løpet av den aktuelle måneden og var dermed i målgruppen for å delta i denne studien, og til sammen 89 av disse svarte på spørreskjemaet. 79 besvarte samtlige ti påstander i FUME og utgjør dermed studiens utvalg, hvilket gir en svarprosent på 49,4. Til sammen 591 personer var registrert som medlemmer ved utgangen av hele 2015. Tabell 2 viser kjønns- og aldersfordeling for studieutvalget og alle medlemmer i 2015.

Tabell 2

Kjønns- og aldersfordeling i studieutvalget og blant alle medlemmer ved Fontenehuset

Studieutvalget (N=79) Alle medlemmer (N=591) a
Karakteristikan%n%
Kjønn
   Mann4050,629850,4
   Kvinne3746,829149,2
   Annet22,520,3
Alder
    26–3056,3193,0
   31–4056,312020,0
    41–501721,518231,0
   51–603038,014224,0
   61–701822,88014,0
    > 7045,1173,0
  Ukjent275,0

Note. a Data for alle medlemmer i 2015 ved det aktuelle Fontenehuset

Måleverktøy

FUME består av ti påstander medlemmene ble bedt om å ta stilling til ved å angi hvorvidt man er «helt enig», «delvis enig», «vet ikke», «delvis uenig» eller «helt uenig». Variablene ble rekodet til en ordinal skala der en høy skåre (5) tilsvarte «helt enig» og en lav skåre (1) tilsvarte «helt uenig». Svarkategorien «vet ikke» ble kodet med verdien 3 for å representere et nøytralt midtpunkt på skalaen.

Dataanalyse

Studiens analytiske prosedyre ble utarbeidet i henhold til COSMIN-retningslinjene for evaluering av intern konsistens og strukturell validitet ved måleverktøy (se Terwee et al., 2012). FUMEs egenskaper ble følgelig vurdert ved hjelp av intern konsistensanalyse og eksplorerende faktoranalyse. Intern konsistensanalyse ble benyttet for å undersøke verktøyets reliabilitet og hvorvidt verktøyet vil være mer konsistent dersom én eller flere påstander ekskluderes. Det ble lagt til grunn at tilfredsstillende intern konsistens forutsetter en alphakoeffisient (Cronbachs α) på minst 0,70 (DeVellis, 2003) og en gjennomsnittlig korrelasjon mellom variablene på minst 0,20 (Briggs & Cheek, 1986).

Verktøyets underliggende struktur ble undersøkt ved hjelp av eksplorerende faktoranalyse med oblik rotasjon (prosedyre som bidrar til å forenkle og gjøre faktorløsningen lettere å tolke, basert på en antakelse om at faktorene er korrelerte). Det ble lagt til grunn at en tilfredsstillende faktorløsning måtte oppfylle fire kriterier: (a) løsningen måtte forklare minst 50 % av variasjonen i datamaterialet, (b) hver inkluderte faktor måtte forklare minst 10 % av variasjonen, (c) hver inkluderte faktor måtte ha en estimert eigenvalue (mål på andelen variasjon som forklares av en faktor) på minst 1,0, og (d) løsningen måtte ha en enkel struktur ved at samtlige faktorer har sterke ladninger samtidig som alle variablene lader substansielt (>0,30) til kun én faktor (Thurstone, 1947). Datasettets egnethet for faktoranalyse ble testet ved hjelp av Kaiser-Meyer-Olkin Measure of Sampling Adequacy (Kaiser, 1974) og Bartletts Test of Sphericity (Bartlett, 1954). Prinsipal komponentanalyse ble valgt som datareduksjonsmetode. Screeplotanalyse ble anvendt for å bistå i uttrekket av antall faktorer. Alle analyser ble utført ved hjelp av IBM SPSS versjon 24.

Forskningsetikk

Deltakerne ble informert om undersøkelsen og dens formål av ansatte og medlemmer ved det aktuelle Fontenehuset. De ble forsikret om at deltakelse var frivillig, at undersøkelsen var anonym og at innlevering av utfylt spørreskjema ble betraktet som informert samtykke. Spørreskjemaet kartla ikke helseopplysninger eller andre sensitive eller personidentifiserende opplysninger. Norsk senter for forskningsdata (NSD) sin meldeplikttest er rutinemessig gjennomgått. Ettersom studien kun skulle omhandle innsamling av anonym informasjon uten bruk av elektroniske verktøy, ble det vurdert at prosjektet ikke var meldepliktig til NSD.

Resultater

Intern konsistens

Den interne konsistensen for de ti påstandene i Fontenehusets undersøkelse av medlemserfaringer (FUME) ble estimert til α = 0,60, og den gjennomsnittlige korrelasjonen mellom variablene ble beregnet til 0,17. Analysen viste at verktøyets interne konsistens ville øke dersom påstand 4 (ubrukte ressurser) og påstand 7 (mindre avhengig) ble ekskludert. Etter å ha ekskludert påstand 4 og 7, demonstrerte verktøyet en intern konsistens på α = 0,74 med en gjennomsnittlig variabelkorrelasjon på 0,28. Tabell 3 viser estimert intern konsistens for FUME og en revidert versjon (FUME-R) der påstand 4 og 7 er ekskludert.

Tabell 3

Intern konsistens for Fontenehusets undersøkelse av medlemserfaringer, opprinnelig versjon (FUME) og revidert versjon (FUME-R)

Mål FUME a FUME-R b
Cronbachs α0,600,74
Gjennomsnittlig variabelkorrelasjon0,170,28

Note. a Opprinnelig versjon med 10 påstander; b Revidert versjon med 8 påstander

Faktorstruktur FUME

Både Kaier-Meyer-Olkin Measure of Sampling Adequacy (KMO = 0,68) og Bartletts Test of Sphericity (p < .001) viste at de ti påstandene i FUME var egnet for faktoranalyse. Tre faktorer hadde eigenvalue >1.0 (F1 = 3.00, F2 = 1.52, F3 = 1.28). Disse tre faktorene forklarte til sammen 57,90 % av variasjonen i datamaterialet, og hver av faktorene forklarte mer enn 10 % (F1 = 29,98%, F2 = 15,16%, F3 = 12,76%). Screeplottet viste en tydelig infleksjon mellom første og andre faktor, men også et knekkpunkt mellom tredje og fjerde faktor (se Figur 1).

Figur 1. Screeplotanalyse av Fontenehusets undersøkelse av medlemserfaringer, opprinnelig versjon (FUME). Stiplet linje indikerer uttrekk av tre faktorer

Trefaktorløsningen oppfylte imidlertid ikke forutsetningen om en enkel struktur. Samtlige faktorer hadde sterke ladninger, men fire variabler ladet substansielt til flere faktorer samtidig. Tabell 4 viser resultatene fra faktoranalysen av FUME.

Tabell 4

Faktorstruktur for Fontenehusets undersøkelse av medlemserfaringer, opprinnelig versjon (FUME)

Variabel (påstand)Faktor 1Faktor 2Faktor 3Kommunalitet
2(ressurser) 0,75 –0,190,130,58
1(meningsfullt arbeid) 0,72 –0,04–0,120,58
3(nytte) 0,64 0,04–0,230,54
5(tro på jobb) 0,60 0,17–0,060,40
4(ubrukte ressurser)0,24 –0,75 0,33 0,67
7(mindre avhengig) 0,34 0,71 0,190,62
6(ønske om mer støtte)0,26 –0,48 –0,33 0,49
8(medbestemmelse)0,110,23 –0,76 0,67
9(møtedeltakelse)0,240,03 –0,71 0,65
10(innflytelse)–0,07 –0,34 –0,70 0,61
Eigenvalue (λ)3,001,521,28
Forklart varians29,98%15,16%12,76%
Samlet forklart varians 57,90%

Note. Faktorstruktur generert med eksplorerende prinsipal komponentanalyse med oblik rotasjon

Faktorstruktur FUME-R

De åtte påstandene i FUME-R var egnet for faktoranalyse (KMO = 0,71, Bartletts p < .001). To faktorer hadde eigenvalue >1,0 (F1 = 2,99, F2 = 1,18). De to faktorene forklarte til sammen 52,17 % av variasjonen i datamaterialet. Faktorene forklarte henholdsvis 37,41 % og 14,76 % av variasjonen. Screeplottet viste en tydelig infleksjon mellom første og andre faktor, men også et mindre knekkpunkt mellom andre og tredje faktor (se Figur 2).

Figur 2. Screeplotanalyse av Fontenehusets undersøkelse av medlemserfaringer, revidert versjon (FUME-R). Stiplet linje indikerer uttrekk av to faktorer

Tofaktorløsningen viste også en enkel struktur ved at ingen variabler ladet substansielt til mer enn én faktor samtidig som begge faktorene hadde flere sterke ladninger. En trefaktorstruktur ville innebåret inklusjon av en faktor med eigenvalue <1,0 mens en énfaktorløsning ville innebåret en løsning som forklarer betydelig mindre enn 50 % av variasjonen (37,41%). Det var tilfredsstillende intern konsistens blant variablene under de to faktorene (gjennomsnittlig variabelkorrelasjon: F1=0,34, F2=0,35). Tabell 5 viser resultatene fra faktoranalysen av FUME-R.

Tabell 5

Faktorstruktur for revidert versjon av Fontenehusets undersøkelse av medlemserfaringer (FUME-R)

Variabel (påstand)Faktor 1Faktor 2Kommunalitet
1(ny mening) 0,75 0,070,60
2(ressurser) 0,72 –0,070,49
3(nytte) 0,69 0,140,57
5(tro på jobb) 0,65 –0,040,40
10(innflytelse)–0,17 0,80 0,57
9(møtedeltakelse)0,13 0,75 0,65
8(medbestemmelse)0,01 0,74 0,56
6(ønske om mer støtte)0,18 0,48 0,33
Gjennomsnittlig variabelkorrelasjon0,340,35
Eigenvalue (λ)2,991,18
Forklart varians37,41%14,76%
Samlet forklart varians 52,17 %

Note. Faktorstruktur etablert med eksplorerende prinsipal komponentanalyse med oblik rotasjon

Diskusjon

Formålet med denne studien var å gjennomføre en psykometrisk vurdering av Fontenehusets undersøkelse av medlemserfaringer (FUME), opprinnelig utviklet av Nasjonalt kompetansesenter for psykisk helsearbeid (NAPHA) i samarbeid med et Fontenehus.

Studien fant at FUME med sine ti påstander har manglende intern konsistens og preges av en uklar faktorstruktur. Studien viste videre at FUME demonstrerer tilfredsstillende psykometriske egenskaper dersom to påstander (påstand 4 og 7) ekskluderes.

Påstandene 4 og 7

Det er på bakgrunn av foreliggende studie ikke mulig å fastslå nøyaktig hvorfor de to påstandene skiller seg ut fra de øvrige i FUME. Påstand 4 (ubrukte ressurser) lyder: «Jeg har mange ressurser som jeg ikke får brukt på Fontenehuset». Påstanden er ulik de øvrige i FUME ved at den er negativt formulert. Studier har vist at negativt formulerte påstander kan skape kognitiv støy for respondentene og oppleves som forvirrende i et spørreskjema som ellers preges av positivt formulerte påstander (Colosi, 2005; Roszkowski & Soven, 2010). Det kan også argumenteres for at et Fontenehus er et arbeidsfellesskap og således ikke ment å skulle være et sted hvor medlemmer får brukt alle sine ressurser. Eksempelvis kan det tenkes at medlemmene har kreative ressurser som det ikke passer å bruke ved et Fontenehus. Å si seg enig i denne påstanden betyr ikke nødvendigvis at man er utilfreds med tilbudet.

Påstand 7 (mindre avhengig) ber medlemmene om å ta stilling til i hvilken grad «Deltakelse på Fontenehuset har gjort meg mindre avhengig av andre behandlingstilbud». Det er noe uklart hva som menes med «andre behandlingstilbud», og det er heller ikke gitt at samtlige medlemmer faktisk er i behov av behandlingstilbud utover deltakelsen på et Fontenehus. Det er heller ikke gitt at medlemmene betrakter klubbhuset som et behandlingstilbud, kanskje nettopp fordi et Klubbhus har andre målsettinger enn tradisjonelle helsetjenester (Bonsaksen et al., 2016; Garbo & Jackbo, 2012; Stimo et al., 2015).

At påstandene 4 og 7 rent skalateknisk ikke anbefales anvendt i verktøyet, innebærer imidlertid ikke at de nødvendigvis må fjernes fra fremtidige medlemsundersøkelser. Påstandene berører temaer som kan være viktige i et kvalitetsforbedringsarbeid og vil dermed kunne anvendes som egne spørsmål til medlemmene. Funnene i denne studien antyder imidlertid at disse påstandene ikke bør analyseres i sammenheng med de øvrige åtte påstandene.

FUME-R

Faktoranalysen av de åtte påstandene i den reviderte versjonen av verktøyet (FUME-R) viste en tilfredsstillende og enkel tofaktorstruktur. I likhet med hva man ofte har funnet i internasjonale studier av egenskaper ved pasienttilfredshetsverktøy (Almeida et al., 2015; Boyer et al., 2009), fant også denne studien at pasient- eller medlemstilfredshet best kan forstås som et multidimensjonelt konstrukt.

Påstandene 1 (meningsfullt arbeid), 2 (ressurser), 3 (nytte) og 5 (tro på jobb) ladet på den første faktoren, som teoretisk kan forstås som personlig utbytte, mens påstandene 6 (ønske om mer støtte), 8 (medbestemmelse), 9 (møtedeltakelse) og 10 (innflytelse) ladet på den andre faktoren, som kan knyttes til opplevelse av selve tilbudet, med fokus på brukermedvirkning. Den identifiserte faktorstrukturen består dermed av to distinkte, men samtidig sammenhengende, dimensjoner, som reflekterer både brukerrapporterte erfaringer (PREMs) og effekt av tjenestetilbudet (PROMs).

Implikasjoner og begrensninger

Denne studien antyder at FUME, som et samlet verktøy, ikke bør benyttes med sine ti opprinnelige påstander. Dette fordi de ti påstandene demonstrerte manglende intern konsistens og fordi det ikke var mulig å få et godt bilde av hvor mange og hvilke dimensjoner som ligger til grunn for påstandene. I en revidert versjon (FUME-R, der påstand 4 og 7 er ekskludert) vil verktøyet derimot kunne brukes i arbeidet med å evaluere og videreutvikle tjenestetilbudet basert på medlemmenes erfaringskunnskap. De åtte påstandene hadde tilfredsstillende intern konsistens og kan sies å måle to underliggende dimensjoner (tilfredshet med personlig utbytte og tilfredshet med tilbudet med fokus på brukermedvirkning) som harmonerer godt med klubbhusmodellens behandlingsideologi og målsettinger. FUME-R, med sin tofaktorløsning, kan også antas å gi bedre teoretisk mening enn FUME ettersom FUME-R muliggjør et skille mellom brukerrapporterte utfall (PROMs; påstand 1, 2, 3 og 5) og erfaringer med selve tilbudet (PREMs; påstand 6, 8, 9 og 10), så vel som et samlet mål på brukernes opplevelser (alle de åtte påstandene). Tabell 6 viser verktøyet i revidert versjon, basert på funnene i denne studien.

Tabell 6

Fontenehusets undersøkelse av medlemserfaringer, revidert versjon (FUME-R)

Hvor enig eller uenig er du i de følgende påstandene?Helt uenigDelvis uenigVet ikkeDelvis enigHelt enig
Del 1: Opplevelse av personlig utbytte
På Fontenehuset får jeg brukt mine ressurser
Deltakelse på Fontenehuset har gitt meg tro på at jeg kan komme ut i jobb igjen
På Fontenehuset gjør jeg meningsfullt arbeid
På Fontenehuset føler jeg meg til nytte
Del 2: Opplevelse av tilbudet og brukermedvirkning
Jeg føler at jeg har innflytelse på min arbeidshverdag på Fontenehuset
På Fontenehuset får jeg være med og bestemme i saker som angår huset
På Fontenehuset får jeg delta i alle møter hvor viktige saker diskuteres
Jeg skulle ønske at jeg fikk mer støtte fra Fontenehuset til å komme i arbeid

Denne studien har rapportert funn som belyser aspekter ved både validitet og reliabilitet, men var likevel begrenset til å anvende to statistiske prosedyrer (intern konsistensanalyse og faktoranalyse) basert på innsamling av tverrsnittsdata blant et begrenset utvalg (n = 79). Studiens funn må dermed tolkes med noe varsomhet. Intern konsistensanalyse ble valgt som analysemetode for å kunne vurdere den indre samvariasjonen mellom variablene i verktøyet, og faktoranalyse ble utført for å vurdere verktøyets strukturelle validitet ved å belyse hvor mange og hvilke dimensjoner som ligger til grunn. En slik metodologisk tilnærming er vanlig i studier som vurderer måleinstrumenters psykometriske egenskaper (Almeida et al., 2015). Likevel vil intern konsistens- og faktoranalyse alene ikke kunne utgjøre en tilfredsstillende validering av et instrument (McCrae, Kurtz, Yamagata & Terraciano, 2011). Test-retest reliabilitet har ikke blitt vurdert som følge av at studien bygger på tverrsnittsdata (innsamlet på ett måletidspunkt). Datamaterialet har heller ikke gitt grunnlag for å evaluere verktøyets kriterievaliditet, sammenfallende- eller diskriminantvaliditet. Studien representerer imidlertid et grunnleggende første steg i en validering. Videre forskning bør også inkludere spørsmål som gjør det mulig å sammenlikne resultater fra ulike grupper av medlemmer.

Svarprosenten i foreliggende studie var på 49,4, hvilket betyr at om lag halvparten av medlemmene som var på Fontenehuset i den aktuelle måneden, ikke svarte på undersøkelsen. Lav svarprosent er et problem dersom de som ikke svarer, skiller seg systematisk fra de som svarer. I denne studien hadde vi ingen informasjon om de som ikke svarte, bortsett fra en mulighet for å sammenlikne respondentenes kjønns- og aldersfordeling med tilsvarende fordeling blant alle som var medlemmer ved det aktuelle Fontenehuset i 2015. En slik sammenlikning (se Tabell 2) viser at studieutvalget var tilnærmet likt den samlede medlemsmassen hva gjelder fordelingen mellom menn og kvinner. Aldersmessig var personer under 30 år og personer i 50-årene noe overrepresentert i studieutvalget, mens personer i 30-årene var noe underrepresentert. Manglende informasjon om de som ikke svarte på spørreskjemaet, i kombinasjon med at aldersfordelingen var noe ulik i studieutvalget og medlemsmassen, gjør at det nødvendigvis vil hefte noe usikkerhet ved hvorvidt funnene fra denne studien kan generaliseres.

Konklusjon

Den reviderte versjonen av Fontenehusets medlemstilfredshetsundersøkelse (FUME-R) fremstår som et nyttig verktøy for å måle medlemmers opplevelser av personlig utbytte av tilbudet og opplevelse av brukermedvirkning ved psykososiale rehabiliteringstiltak basert på klubbhusmodellen.

Referanser

Adams, J. R. & Drake, R. E. (2006). Shared decision-making and evidence-based practice. Community Mental Health Journal, 42(1), 87−105. doi: 10.1007/s10597-005-9005-8

Adams, J. R., Drake, R. E. & Wolford, G. L. (2007). Shared decision-making preferences of people with severe mental illness. Psychiatric Services, 58(9), 1219−1221.

Almeida, R. S., Bourliataux-Lajoinie, S. & Martins, M. (2015). Satisfaction measurement instruments for healthcare service users: A systematic review. Cadernos de Saude Publica, 31(1), 11−25. doi: 10.1590/0102-311X00027014

Bartlett, M. S. (1954). A note on multiplying factors for various chi square approximations. Journal of the Royal Statistical Society, 16(2), 296−298.

Black, N., Varaganum, M. & Hutchings, A. (2014). Relationship between patient reported experience (PREMs) and patient reported outcomes (PROMs) in elective surgery. BMJ Quality & Safety. doi: 10.1136/bmjqs-2013-002707

Bonsaksen, T., Fouad, M., Skarpaas, L., Nordli, H., Fekete, O. & Stimo, T. (2016). Characteristics of Norwegian clubhouse members and factors associated with their participation in work and education. British Journal of Occupational Therapy, 79(11), 669−676. doi: 10.1177/0308022616639977

Boyer, L., Baumstarck-Barrau, K., Cano, N., Zendjidjian, X., Belzeaux, R., Limousin, S., … Auquier, P. (2009). Assessment of psychiatric inpatient satisfaction: A systematic review of self-reported instruments. European Psychiatry, 24(8), 540−549. doi: 10.1016/j.eurpsy.2009.05.011

Briggs, S. R. & Cheek, J. M. (1986). The role of factor analysis in the development and evaluation of personality scales. Journal of Personality, 54(1), 106−148. doi: 10.1111/j.1467-6494.1986.tb00391.x

Clubhouse International. (2015). Creating community: Changing the world of mental health. Hentet fra http://www.clubhouse-intl.org/quality. html

Colosi, R. (2005). Negatively worded questions cause respondent confusion. Proceedings of the Survey Research Methods Section, American Statistical Association (2005), 2896−2903.

Davidson, L., O'Connell, M. J., Tondora, J., Lawless, M. & Evans, A. C. (2005). Recovery in serious mental illness: A new wine or just a new bottle? Professional Psychology: Research and Practice, 36(5), 480−487. doi: 10.1037/0735-7028.36.5.480

DeVellis, R. F. (2003). Scale development: Theory and applications (3. utg.). Thousand Oaks, CA: Sage.

Doyle, A., Lanoil, J. & Dudek, K. J. (2013). Fountain House: Creating community in mental health practice. New York, NY: Columbia University Press. Fontenehus Norge. (u.å.). Internasjonale retningslinjer for klubbhusprogram. Hentet fra http://www.fontenehus.no/retningslinjene

Fournier, S. & Mick, D. G. (1999). Rediscovering satisfaction. Journal of Marketing, 63(4), 5−23. doi: 10.2307/1251971

Garbo, G. L. & Jackbo, A. (2012). En kilde til vekst. Fontenehuset – et arbeidsfellesskap for mennesker med psykiske utfordringer. Oslo: Fontenehuset Oslo.

Goldberg, B., Brintnell, E. S. & Goldberg, J. (2002). The relationship between engagement in meaningful activities and quality of life in persons disabled by mental illness. Occupational Therapy in Mental Health, 18(2). doi: 10.1300/J004v18n02_03

Hendryx, M., Green, C. A. & Perrin, N. A. (2009). Social support, activities, and recovery from serious mental illness: STARS study findings. Journal of Behavioral Health Services & Research, 36(3), 320−329. doi: 10.1007/s11414-008-9151-1

Kaiser, H. F. (1974). An index of factorial simplicity. Psychometrika, 39(1), 31−36. doi: 10.1007/BF02291817

Kunnskapssenteret. (2017). PasOpp-rapporter. Hentet fra http://www.kunnskapssenteret.no/serier/passopp-rapporter

Larsen, E., Aasheim, F. & Nordal, A. (2006). Brukermedvirkning – psykisk helsefeltet. Mål, anbefalinger og tiltak i Opptrappingsplanen for psykisk helse. Oslo: Sosial- og helsedirektoratet.

McCrae, R. R., Kurtz, J. E., Yamagata, S. & Terraciano, A. (2011). Internal consistency, retest reliability, and their implications for personality scale validity. Personality and Social Psychology Review, 15(1), 28−50. doi: 10.1177/1088868310366253

McKay, C., Nugent, K. L., Johnsen, M., Eaton, W. W. & Lidz, C. W. (2016). A systematic review of evidence for the Clubhouse model of psychosocial rehabilitation. Administration and Policy in Mental Health Services Research. doi: 10.1007/s10488-016-0760-3

Mo, T. O., Hatling, T. & Heggen, R. (2012). Gjennomgang av Fontenehusene i Norge. Trondheim: Nasjonalt kompetansesenter for psykisk helsearbeid (NAPHA).

Nordh, H., Grahn, P. & Währborg, P. (2009). Meaningful activities in the forest, a way back from exhaustion and long-term sick leave. Urban Forestry & Urban Greening, 8(3), 207−219. doi: 10.1016/j.ufug.2009.02.005

O'Connor, A. M., Bennett, C. L., Stacey, D., Barry, M., Col, N. F., Eden, K. B., … Rovner, D. (2009). Decision aids for people facing health treatment or screening decisions. Cochrane Database of Systematic Reviews. doi: 10.1002/14651858.CD001431.pub2

Roszkowski, M. J. & Soven, M. (2010). Shifting gears: Consequences of including two negatively worded items in the middle of a positively worded questionnaire. Assessment & Evaluation in Higher Education, 35(1), 113−130. doi: 10.1080/02602930802618344

Sitzia, J. (1999). How valid and reliable are patient satisfaction data? An analysis of 195 studies. International Journal for Quality in Health Care, 11(4), 319−328. doi: 10.1093/intqhc/11.4.319

Stimo, T., Jarål, G. B., Ellestad, A. K., Ellingham, B., Skarpaas, L. & Bonsaksen, T. (2015). Fontenehusmodellen i Norge: En metode i harmoni med tenkning i ergoterapifaget? Ergoterapeuten, 58(4), 22−30.

Strong, S. (1998). Meaningful work in supportive environments: Experiences with the recovery process. American Journal of Occupational Therapy, 52(1), 31−38. doi: 10.5014/ajot.52.1.31

Sverdrup, S., Kristofersen, L. B. & Myrvold, T. M. (2005). Brukermedvirkning og psykisk helse. Oslo: Norsk institutt for by- og regionforskning (NIBR).

Terwee, C. B., Mokkink, L. B., Knol, D. L., Ostelo, R. W. J. G., Bouter, L. M. & de Vet, H. C. W. (2012). Rating the methodological quality in systematic reviews of studies on measurement properties: A scoring system for the COSMIN checklist. Quality of Life Research, 21(4), 651−657. doi: 10.1007/s11136-011-9960-1

Thurstone, L. L. (1947). Multiple factor analysis. Chicago, IL: University of Chicago Press.

Weldring, T. & Smith, S. M. S. (2013). Patient-reported outcomes (PROs) and patient-reported outcome measures (PROMs). Health Services Insight, 6, 61−68. doi: 10.4137/HIS.S11093

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon