Synkende villighet til å delta i intervjuundersøkelser er et voksende problem, i Norge så vel som i andre land. Hva betyr lave svarprosenter for representativiteten til funnene i slike undersøkelser? Er den blitt så usikker at resultatene ikke lenger kan brukes til å trekke slutninger om befolkningen utvalget er trukket fra? Noen forskere ser ut til å mene det.

Etter at svarratene i en undersøkelse om rusmiddelbruk blant ungdom hadde holdt seg rundt 70 prosent fra slutten av 1960-tallet til midten av 1990-tallet, sank andelen etter hvert ned mot 30 prosent i 2008. Dette fikk forskerne til å trekke følgende konklusjon: «Den stadig fallende svarprosenten gjør at SIRUS ikke lenger finner det faglig forsvarlig å fortsette rekken av de tradisjonelle undersøkelsene» (Vedøy & Skretting 2009:10). En hører også om forskere som er bekymret for om de vil få publisert sine artikler hvis svarprosenten er lav.

SIRUS er ikke alene om å oppleve fallende svarrater. Dette gjelder også for Valgforskningsprosjektet, der SSB står for utvalgstrekking og datainnsamling. Her hadde en svarrater på 90 prosent på sekstitallet. For valgundersøkelsene i 2005, 2009 og 2013 er tallene kommet ned i 68, 61 og 55 prosent. Fortsatt er dette høye svarprosenter sammenliknet med mange andre undersøkelser. Det gjelder ikke minst i forhold til Norsk Monitor, som i denne artikkelen brukes til å analysere konsekvenser av bortfall. Resultatene av analysen viser at det ikke er grunnlag for den utbredte oppfatningen om at en lav svarprosent er ensbetydende med skjevheter som gjør et datamateriale ubrukelig.

Respondentbortfall i Norsk Monitor

Norsk Monitor (NM) er et stort løpende intervjuprosjekt, gjennomført annet hvert år siden 1985 av Ipsos MMI. Dette er et datamateriale som er mye brukt av samfunnsforskere.1 NM er spesielt utsatt for respondentbortfall, fordi dette kan skje på fire ulike trinn under datainnsamlingen.

I 2013 startet en ut med nærmere 120 000 telefonnumre som ble forsøkt oppringt (tabell 1). Av disse ble etter hvert 18 prosent klassifisert som ikke i bruk, eller som ikke aktuelle fordi den som hadde telefonen ikke skulle (var for ung) eller ikke kunne delta (ikke i stand til å svare på spørsmål pga. språkproblemer, helseproblemer e.l.). Av de resterende «reelle» telefonnumrene oppnådde en kontakt for 58 prosent. Av disse var det 18 prosent som sa ja til å la seg intervjue. Blant dem igjen sa 69 prosent seg villige til å motta spørreskjemaet med hovedtyngden av spørsmålene. Endelig returnerte 55 prosent av disse et utfylt skjema. Antallet fullførte intervjuer tilsvarer 37 prosent av telefonintervjuene.

I forhold til den opprinnelige listen med telefonnumre, utgjør antall fullstendige intervjuer 3 prosent. For de «reelle» telefonnumrene er svarraten 4 prosent. Av personer en oppnådde kontakt med, svarte 7 prosent. Uansett hvordan en regner er svarraten meget lav. Det er i 2013 stort sett nedgang fra tidligere år i andelen som deltar på de ulike stadiene.

Tabell 1. Deltakingsrater for Norsk Monitor (prosent)*

 

 

2001

2003

2005

2007

2009

2011

2013

A

Telefonnummer forsøkt oppringt (antall)

 

 

 

79 757

68 621

90 842

117 951

B

Reelle telefonnummer (% av A)

 

 

 

72

88

79

82

C

Kontakt på telefon av reelle nr. (% av B)

 

 

 

71

66

68

58

D

Sa ja til og gjennomførte intervju (% av C)

 

 

 

24

23

21

18

E

Sa ja til å få skjema (% av D)

70

71

74

65

66

67

69

F

Returnerte utfylt skjema (% av E)

74

72

67

63

56

59

55

G

Fullført i % av telefonintervjuene

52

51

50

40

37

39

37

H

Svarprosent for kontaktede

 

 

 

10

9

8

7

I

Svarprosent for reelle telefonnummer

 

 

 

7

6

6

4

J

Svarprosent for brukte telefonnummer (A)

 

 

 

5

5

4

3

K

Antall respondenter (= Monitor-utvalget)

4 058

3 955

3 849

3 909

3 597

3 980

3 812

* Reelle telefonnummer er A fratrukket nummer som som ifølge CATI har tekniske problemer eller ikke er i bruk, eller der telefoninnehaveren ikke er i målgruppen (er for ung; har språk- eller helseproblemer; e.l.). Kontakt på telefon er B fratrukket nummer som ikke svarte, eller der en til tross for kontakt hverken fikk intervju eller avslag (avtale om å ringe senere e.l., som ikke førte fram).

Disse svarratene kan virke sjokkerende lave sammenliknet med de som offentlige aktører som SSB rapporterer. De er imidlertid ikke spesielt lave når en sammenlikner med andre private meningsmålingsinstitutter, som generelt har høyere bortfall (Groves & Peytcheva 2008). Det kjente meningsmålingsinstituttet PEW Research Center i USA rapporterer sterkt fall i svarrater på telefonundersøkelser (PEW 2012). Deres tall fra 2012 viser et nivå tilsvarende det en har i NM.2

Hva betyr forskjellen mellom svarrater på 50–60 prosent hos SSB og en svarrate på 5 prosent i NM for representativiteten? Når SSB er bekymret for fallende svarrater (Thomsen, Kleven, Wang & Zhang 2006), blir da konklusjonen at NM overhodet ikke kan brukes til forskningsformål?

I artikkelen vil dette spørsmålet bli forsøkt belyst gjennom ulike analyser av Monitor-materialet. Forekomsten av bortfallsskjevhet (nonresponse bias) skal undersøkes ved å sammenlikne resultater i det totale telefonutvalget i NM med utvalget som gjennomførte hele undersøkelsen, som utgjør 37 prosent av telefonutvalget. Videre skal resultater fra NM sammenliknes med andre undersøkelser med høyere svarrater, og med befolkningsstatistikk. Endelig stilles spørsmålet om tiltakende utvalgsskjevheter er en rimelig forklaring på utviklingen for ulike tidsserier og for sammenhenger mellom variabler en finner i NM.

Den internasjonale fagdebatten om bortfall og utvalgsskjevhet

Det foreligger en omfattende litteratur om synkende svarrater og mulige skjevheter som en følge av bortfall. Problemet er behandlet i spesialutgaver av Journal of Official Statistics (vol. 15, nr. 2 i 1999), Journal of the Royal Statistical Society: Series A Statistics and Society (vol. 169, nr. 3 i 2006) og Public Opinion Quarterly (vol. 70, nr. 5 i 2006). I Norge har det vært diskutert av forskere fra Statistisk sentralbyrå (Thomsen et al. 2006).

Bortfall er ikke en ny bekymring (Hansen & Hurwitz 1946). Alt i 1974 ble det i en uttalelse fra The American Statistical Association reist spørsmål om ikke bortfallet hadde fått et omfang og vokste i en fart som utgjorde en trussel mot den fortsatte bruken av survey-undersøkelser i samfunnsvitenskapelig forskning (Smith 2002:28). Siden den gang har svarratene fortsatt å falle (de Leuwe & de Heer 2002). Det er både blitt vanskeligere å komme i kontakt med de som er trukket ut til utvalget, og stadig flere sier nei til å delta når kontakten er etablert.

Problemet er viet stor oppmerksomhet innenfor mange fagmiljøer, og behandlet i en rekke artikler og flere bøker (se oversikt i Singer 2006). En har undersøkt hva som fører til bortfall, og diskutert hvordan deltakelsesvilligheten kan stimuleres. Sammenhengen mellom bortfall og skjevheter er undersøkt ved hjelp av ulike metoder, og det er utviklet teknikker som kan brukes for å korrigere for skjevheter. Problemet har særlig vært diskutert av statistikere og samfunnsforskere som ønsker å dokumentere endringer i nivå for ulike fenomener, mens forskere som studerer hva som påvirker slike fenomener gjennom å analysere sammenhengen mellom variabler, ikke har vært like opptatt av bortfallsproblemet.

Som vi skal se stemmer funnene som rapporteres i denne artikkelen overens med de som gjengis i den internasjonale litteraturen.

Systematisk eller tilfeldig bortfall?

Hvilke konsekvenser bortfallet får, avhenger av i hvilken grad det er tilfeldig eller systematisk. Når bortfallet er systematisk, det vil si har sammenheng med fenomet som undersøkes, kan utvalgsresultatene avvike dramatisk fra den reelle opinionen. Dette illustreres av såkalte innringingsmålinger fra debattprogram på TV. Her er det ikke trukket et tilfeldig utvalg av respondenter. I stedet er det opp til seerne selv å avgjøre om de vil delta. Da skjer det først en seleksjon fordi bare de som ser programmet er aktuelle. Det er grunn til å vente at de avviker systematisk fra befolkningen for øvrig ut fra sin interesse for temaet for debatten. For det andre kan det skape skjevhet at standpunktet i saken påvirker lysten til å ringe inn svar. Resultatet kan bli ganske ekstreme avvik mellom resultatet av innringsmålinger og vanlige meningsmålinger, slik det er påvist i flere tilfeller der dette ble testet (Hellevik 2011b:73–75).

Mens for eksempel 89 prosent av de som ringte inn etter en debatt om innvandring i Holmgang mente vi burde stenge grensene for flyktninger fra fjerne land, var det bare 17 prosent av dem som ble interjuet av Opinion som hadde en slik oppfatning, en forskjell på hele 72 prosentpoeng. Også for de tre andre temaene var avviket stort, fra 32 til 62 prosentpoeng. Utvalgene i innringingsmålingene gir altså et fullstendig misvisende bilde av oppfatningene i befolkningen, om vi skal dømme ut fra vanlige meningsmålinger.

I vanlige intervjuundersøkelser og meningsmålinger er utvalget ikke selvselektert, men tilfeldig trukket fra befolkningen. I utgangspunktet sikrer en slik framgangsmåte at utvalget er representativt og avspeiler befolkningens egenskaper, innenfor feilmarginene som den tilfeldige trekningen gir opphav til. Men når bortfall fører til at bare en mindre del av de uttrukne respondentene blir intervjuet, er spørsmålet hva dette gjør med representativiteten.

Systematisk bortfall vil en ha når interesse for og meninger om temaet for undersøkelsen påvirker svartilbøyeligheten. Som innringingsmålingene illustrerer, kan dette føre til store skjevheter i resultatene. Slikt bortfall kan det ikke være snakk om når noen sier nei til telefonintervjuet i NM eller nei til å motta spørreskjemaet, siden innholdet i undersøkelsen ikke er kjent for dem. Det samme gjelder selvsagt for dem en ikke oppnår kontakt med. Derimot kan det å la være å besvare spørreskjemaet en har mottatt tenkes å være innholdsrelatert. Men så variert innhold som det er snakk om i NM, virker heller ikke dette særlig sannsynlig. Da har nok omfanget av undersøkelsen større betydning. Det er en krevende oppgave å besvare det omfattende skjemaet på over 100 sider, som fort kan ta både tre og fire timer for den samvittighetsfulle.

For NM er derfor faren for systematikk i bortfallet neppe knyttet til innholdet i undersøkelsen, men til interesse for og villighet til å delta i spørreundersøkelser mer generelt. En synkende svarrate kan ha sin forklaring i «slitasje» på grunn av det økende antallet forespørsler om å la seg intervjue. Dette forverres av undersøkelser som tar opp temaer de intervjuede hverken har kunnskaper eller oppfatninger om. Har en deltatt i et intervju en opplever som ganske uinteressant, vil det fort redusere lysten til å si ja neste gang en blir spurt.

Spørsmålet blir da om denne «slitasjen» er jevnt fordelt, eller om det er spesielle grupper i befolkningen som mer enn andre går lei og ikke vil delta i spørreundersøkelser. Når en femtedel av dem som blir oppringt sier ja til intervju, kan vi som én ytterlighet tenke oss at de sier ja omtrent hver femte gang de blir spurt, avhengig av om dette passer akkurat da, om de nettopp har deltatt i en annen undersøkelse e.l. Eller som den motsatte ytterligheten, at omtrent en femtedel er positivt innstilt og sier ja til intervju hver gang de blir spurt, mens resten like konsekvent sier nei.

Hvor mellom disse ytterpunktene virkeligheten ligger, vil ha betydning for hvor representative for befolkningen vi kan regne med at resultatene av en undersøkelse vil være. Jo nærmere det første, det vil si jo mer tilfeldig bortfallet er, desto mindre grunn til å bekymre seg for representativiteten. Vi skal nå prøve ulike framgangsmåter for å belyse bortfallets karakter og hva dette innebærer for representativiteten til resultatene i NM.

Et usikkerhetsmoment når en sammenlikner undersøkelser med ulike svarprosenter, er hvorvidt andre forhold kan ha bidratt til forskjeller i resultatet. Dette kan være ulikheter i utvelgingsopplegg, intervjumetode, spørsmålsformulering, kontekst (andre spørsmål) eller tidspunkt (mulige reelle endringer). Slike problemer med alternative forklaringer har en imidlertid ikke når det gjelder sammenlikning av resultater fra telefonintervjuet, mellom på den ene siden det totale telefonutvalget og på den andre siden det endelige NM-utvalget, det vil si de som i fortsettelsen besvarte det postale spørreskjemaet. Disse to datasettene er nemlig like i alle relevante henseender, bortsett fra bortfallets omfang.

Forskjeller mellom telefonutvalget og Monitor-utvalget

For NM-runden i 2013 foreligger data for alle som ble telefonintervjuet, til sammen litt over 10 000 personer. Av disse sa 31 prosent nei til å motta spørreskjemaet, og en tilsvarende andel sa ja, men lot være å besvare det. De resterende 37 prosentene returnerte et utfylt skjema, og utgjør dermed utvalget for NM i 2013 på 3812 respondenter.

Ved hjelp av spørsmålene i det korte telefonintervjuet kan vi undersøke hvordan villigheten til å svare på spørreskjemaet varierer mellom ulike grupper, hvilke forskjeller dette skaper mellom sammensetningen til det endelige utvalget i NM og telefonutvalget, og hva dette igjen betyr for resultatene en får i de to utvalgene. Sagt på en annen måte, vi får se hva resultatene ville blitt dersom det ikke hadde vært noe bortfall fra utvalget av telefonintervjuede. Siden dette bortfallet er så stort som 63 prosent, skulle resultatene i NM avvike sterkt fra telefonutvalgets dersom bortfallet var klart systematisk.

Alder

Tabell 2 viser at yngre har lavere svartilbøyelighet enn middelaldrende og eldre. De sier oftere nei til å delta videre, og de lar oftere være å besvare skjemaet selv om de har sagt ja til å få det. De har derfor lavere andeler i det endelige NM-utvalget enn i det totale telefonutvalget. Men fordi yngre med hensikt er oversamplet, stemmer NM-utvalgets sammensetning bedre overens med befolkningsstatistikken enn telefonutvalgets. Å kontakte flere unge respondenter enn det som svarer til deres befolkningsandel, representerer en form for disproporsjonal stratifisert utvelging.3 Hensikten er å få et bedre grunnlag for å beregne resultater for de unge. Det bidrar også til at utvalgsvektene for alder i Monitor-utvalget ligger nærmere 1 enn det de ellers ville gjort, noe som reduserer utvalgsusikkerheten.

Tabell 2. Alder: Svarrater for spørreskjemaet og sammensetningen av utvalgene. (Prosent. NM 2013)

 

Respons blant telefonintervjuede

Sammensetning

Befolk-nings-statistikk

Alder

Nei til å delta

Ja – ikke besvart

Besvarte skjemaet

SUM

Besvarte skjemaer

Alle telefonint.

15-19

40

42

18

100

7,3

15,5

7,8

20-24

31

42

27

100

11,6

16,4

8,2

25-39

24

40

36

100

15,6

16,4

24,6

40-59

28

27

45

100

34,0

28,5

33,2

60-

34

15

51

100

31,5

23,2

26,3

 

 

 

 

SUM

100,0

100,0

100,1

Veiing av det endelige utvalget (etter-stratifisering) er standard prosedyre i meningsmålinger. Den utføres for å sikre at utvalget – slik det brukes i analysene – har en sammensetning for alder som samsvarer med befolkningsstatistikken. I NM brukes i tillegg kjønn og geografi som veievariabler. Det veies i forhold til en multivariat matrise for de tre variablene, der vektene er forholdet mellom befolkningsandel ifølge SSB og utvalgsandel for rutene i matrisen. Like andeler gir vekt 1. Respondenter i en gruppe som er underrepresentert i utvalget multipliseres med vekter større enn 1, mens overrepresenterte grupper multipliseres med vekter mindre enn 1. Etter veiingen vil utvalget ha en sammensetning som avspeiler befolkningens fordeling på veievariablene.

Effekten på resultatene av å veie avhenger, ved siden av hvor skjev sammensetningen av utvalget er, av forskjellen mellom gruppene i egenskapen som undersøkes. Hvis for eksempel fordelingene for menn og kvinner er like, har det ingen betydning for resultatet om en veier eller ikke, uansett hvor skjev kjønnsfordelingen er i utvalget. Det viser seg at veiing har liten betydning for resultatene som presenteres i denne artikkelen.

Det er ikke beregnet vekter for telefonutvalget. Derfor er heller ikke resultater for NM som sammenliknes med telefonutvalgets veiet. At det er små forskjeller mellom utvalgene, skyldes altså ikke veiing. Videre er forskjellene gjennomgående ganske små når vi sammenlikner uveide og veide resultater for NM. For partivalg (figur 1 nedenfor) ligger for eksempel ni av tolv forskjeller i intervallet 0,0–0,2 prosentpoeng, og den største forskjellen er på 0,4. Liten effekt av veiingen viser at utvalgsskjevheter med hensyn til kjønn, alder og geografi har liten betydning for resultatene når det gjelder partifordeling.

Kjønn

Også kjønn har en viss sammenheng med svarvilligheten (ikke vist). På alle alderstrinn bortsett fra den eldste aldersgruppen har kvinner en høyere svarprosent enn menn. Særlig klar er forskjellen for 15–19-åringer (13 prosentpoeng) og 20–24-åringer (16 poeng).

Utdanning

Relativt flere personer med høy utdanning gjennomfører undersøkelsen. Andelen øker fra 25 prosent på de to laveste nivåene til 48 prosent blant personer med universitets- eller høyskoleutdanning av høyere grad. Fordelingen på utdanning er imidlertid ikke så ulik i de to utvalgene. Mens avstanden i svarrater er på 23 prosentpoeng, er den maksimale forskjellen i utvalgsandeler 5 prosentpoeng. Dette har sammenheng med skifte av prosentueringsretning (sterkere sammenheng med mindre grupper), og at Monitor-utvalget utgjør en drøy tredel av telefonutvalget.

Tabell 3. Utdanning: Svarrater for spørreskjemaet og sammensetningen av utvalgene (Prosent. NM 2013)

 

Respons blant telefonintervjuede

Sammensetning

Utdanning

Nei til å delta

Ja – ikke besvart

Besvarte skjemaet

SUM

Besvarte skjemaer

Alle telefonint.

Folke-/Framhaldskole – 8år

46

29

25

100

2,5

3,8

Ungdoms-/realskole 9–10år

38

37

25

100

9,4

13,9

Videregående skole 11–13år

32

35

33

100

30,8

35,0

Høyskole /universitet lavere grad

28

28

44

100

34,1

29,1

Høyskole /universitet høyere grad

26

26

48

100

23,2

18,2

 

 

 

 

SUM

100,0

100,0

Siden svarvilligheten samvariere så klart med utdanning, og utdanning ofte samvarierer med andre variabler av interesse, kunne det være aktuelt å veie utvalg i forhold til utdanningsstatistikk for befolkningen. Det er ikke gjort i NM, men SSB har gjennomført slik veiing for utdanning, i tillegg til kjønn og alder, ved kartlegging av røykevaner for SIRUS med data fra SSBs Reise- og ferieundersøkelse. Røyking er mindre vanlig blant høyt utdannede, som er overrepresentert i utvalget. Det viste seg at veiingen hadde liten innvirkning på resultatene. Det ga bare en svak økning – 0,8 og 1,0 prosentpoeng – i andelen røykere totalt i 2012 og 2013 (SSB 2014).

Stemmegivning

De som oppgir hvilket parti de stemte på ved stortingsvalget høsten 2013, har større sjanse for å fullføre undersøkelsen enn de som sier de stemte, men ikke oppgir parti, eller de som sier at de ikke stemte (tabell 4). Bortfall bidrar derfor til at valgdeltakere blir noe mer overrepresentert i NM. Men når andelen som sier de stemte ligger så høyt over den faktiske valgdeltakelsen på 78 prosent i begge utvalgene, skyldes nok dette i tillegg til bortfall også målefeil. Når det å stemme oppfattes som det sosialt akseptable, kan det friste noen til å si at de har stemt selv om de ikke gjorde det. I Valgforskningsprosjektet, der en kan kontrollere svarene i intervjuet mot det avkryssede manntallet, har en funnet at 5–10 prosent feilaktig oppgir å ha stemt.4

Tabell 4. Stemte ved stortingsvalget i 2013: Svarrater for spørreskjemaet og sammensetningen av utvalgene (Prosent av stemmeberettigede. NM 2013)

 

Respons blant telefonintervjuede

Sammensetning

Stemte 2013?

Nei til å delta

Ja – ikke besvart

Besvarte skjemaet

SUM

Besvarte skjemaer

Alle telefonint.

Sier ja, oppgir parti

28

30

42

100

89,8

84,9

Sier ja, ikke parti

43

26

31

100

6,6

8,4

Nei

42

36

22

100

3,7

6,7

 

 

 

 

SUM

100,1

100,0

Resultatene er tilsvarende for spørsmålet om en ville ha stemt hvis det var stortingsvalg neste mandag. De som er helt sikre ligger 19 prosentpoeng over de som sier at de ikke ville stemme i andelen som fullfører undersøkelsen. Bortfallet etter telefonintervjuet fører til at denne dominerende gruppen blir enda mer dominerende i NM, opp med 2,8 prosentpoeng. Det er rimelig at det vil være sammenheng mellom villighet til å delta i intervjuundersøkelser og deltakelse i samfunnsmessige aktiviteter mer generelt. Bortfallet underveis i NM forsterker denne tendensen.

Når det derimot gjelder det å være sikker på partivalget en har oppgitt, er det nesten ikke forskjell i svarrater (maksimum er 2 prosentpoeng) eller i de to utvalgenes sammensetning (maksimum 0,9 poeng).

Partivalg

Figur 1. Partivalg – førstepreferanse (Prosent av personer med stemmerett. NM 2013)
Høy utdanning øker villigheten til å delta og å svare på spørreskjemaet, slik at andelen med høy utdanning er større i NM-utvalget enn i telefonutvalget. Dette kan ha betydning for partifordelingen i NM. Noen partier, spesielt FP og SV, har nemlig en markant forskjell i oppslutning blant personer med høy utdanning (de to øverste verdiene i tabell 3 med utdanning på universitetsnivå) og personer med lav utdanning. Andelen i telefonutvalget som vil stemme FP blant stemmeberettigede med høy utdanning er 5,9 prosent, mot 11,4 blant de med lav utdanning. For SV er de tilsvarende tallene 7,7 og 3,6 prosent. Hvordan påvirker da bortfallet partifordelingen i NM?

Det viser seg at forskjellen mellom de to utvalgene er forholdsvis beskjeden, i snitt 0,8 prosentpoengs forskjell i partienes oppslutning. Den største forskjellen er 1,6 prosentpoeng for SV når det gjelder førstepreferansen (figur 1). For andrepreferansen er snittet for forskjeller 0,9 prosentpoeng og det største avviket 2,2 for Høyre (ikke vist). Inntrykket av partipreferansene i befolkningen påvirkes altså lite av bortfallet fra telefonutvalget.

Sammenheng mellom variabler

Til nå har vi sett på forskjeller mellom telefonutvalget og NM i fordelingen på enkeltvariabler. Et annet spørsmål er hvilken betydning bortfallet får for inntrykket av sammenhengen mellom variabler. Telefonintervjuet har to spørsmål om politiske holdninger. Vi skal se på sammenhengen mellom partipreferanse og disse holdningene i de to utvalgene.

Når det gjelder synet på tiggeforbud, er det store avstander mellom partienes velgergrupper (figur 2). Forskjellen mellom de to utvalgene for hvert parti er ganske små, i snitt 2,6 prosentpoeng. Unntaket er Miljøpartiet De Grønnes velgere, der avstanden er på 8 prosentpoeng.

Figur 2. Andel som er mot et tiggeforbud i partienes velgergrupper (vil stemme nå. Prosent NM 2013)

I alle partiers velgergrupper er det flertall mot norsk EU-medlemskap. Forskjellen mellom de to utvalgene er mindre enn i synet på tiggeforbud, den ligger for de fleste velgergruppene på ett eller to prosentpoeng, med gjennomsnitt 1.8. Partimønsteret for synet på EU er dermed likt i de to utvalgene, med Senterpartiet og Rødt på den ene ytterfløyen og Venstre og Høyre på den andre.

Så langt har vi undersøkt konsekvensene av bortfallet fra telefonutvalget til det endelige Monitor-utvalget. Det største frafallet skjer imidlertid før dette, ved at en ikke når fram på nesten halvparten av telefonnumrene, og ved at fire av fem en får kontakt med ikke vil la seg intervjue. Årsaker til dette bortfallet har vært forsøkt kartlagt ved å få stilt noen få spørsmål til de som avslår, ved å basere seg på observasjoner fra intervjueren ved personlige intervjuer, eller ved å benytte seg av registerdata om respondenten eller informasjon om bostedsområdet (Lynn 2003). For NM har vi foreløpig lite kunnskap om hva som fører til avslag på telefonintervjuet, men Ipsos MMI vil forsøke å samle inn informasjon som kan belyse dette.

Vi vet altså ikke om bortfallet før telefonintervuet skiller seg fra bortfallet etter telefonintervjuet, som er analysert ovenfor. Vi skal nå sammenlikne NM-resultater med fullstendige tellinger fra befolkningsstatistikk og utvalgsundersøkelser med langt høyere svarprosenter, for å kunne få et inntrykk av skjevhetene i den totale utvelgingsprosessen.

Sammenlikning med befolkningsstatistikk

Sammenliknet med utfallet av stortingsvalg, finner vi klare avvik for noen partier i NM. Summen av avvik (tallverdien) har økt fra 2001 til 2013, i snitt for partiene fra 1,7 til 2,9 prosentpoeng. Noen parti er systematisk overrepresentert, nemlig SV og V, mens Fremskrittspartiet er systematisk og sterkt underrepresentert. Høyre og Senterpartiet er overrepresentert i et flertall av undersøkelsene. For A, KF og andre partivalg, som RV og MDG, er det ingen klar tendens.

Tabell 5. Sammenlikning av stortingsvalg med hva respondentene i Monitor sier de stemte ved valget tidligere samme høst (de som ikke oppgir parti er holdt utenfor prosentueringen)

 

2001

2005

2009

2013

Snitt

 

StV

NM

Avvik

StV

NM

Avvik

StV

NM

Avvik

StV

NM

Avvik

avvik

A

24,3

22,6

–1,7

32,7

33,3

0,6

35,4

36,2

0,8

30,8

28,6

–2,2

–0,6

FP

14,6

11,0

–3,6

22,1

17,3

–4,8

22,9

14,3

–8,6

16,3

8,9

–7,4

–6,1

H

21,2

23,7

2,5

14,1

14,9

0,8

17,2

19,1

1,9

26,8

25,1

–1,7

0,9

KF

12,4

12,8

0,4

6,8

6,2

–0,6

6,2

6,3

0,1

5,6

7,2

1,6

0,4

SP

5,6

5,2

–0,4

6,5

7,4

0,9

6,2

9,7

3,5

5,5

7,5

2,0

1,5

SV

12,5

16,2

3,7

8,8

10,6

1,8

5,5

6,8

1,3

4,1

8,5

4,4

2,8

V

3,9

4,2

0,3

5,9

7,7

1,8

3,9

4,9

1,0

5,2

6,8

1,6

1,2

Annet

5,5

4,3

–1,2

3,0

2,7

–0,3

2,7

2,8

0,1

5,7

7,6

1,9

0,1

SUM

100,0

100,0

0

99,9

100,0

0,2

100

100,1

0,1

100,0

100,2

0,2

0,2

|SUM|

 

 

13,8

 

 

11,6

 

 

17,3

 

 

22,8

13,6

Snitt

 

 

1,7

 

 

1,5

 

 

2,2

 

 

2,9

1,7

Hva dette forteller om konsekvenser av respondentbortfallet, er imidlertid usikkert. Selv om valgstatistikken utgjør en udiskutabel fasit for resultater fra utvalgsundersøkelser der det spørres om stemmegivning ved forutgående valg, i alle fall i et land som Norge der det ikke er fare for valgfusk, skyldes ikke avvik nødvendigvis utvalgsskjevheter. At FP får for lav oppslutning i utvalgsundersøkelser, har sammenheng med underrepresentasjonen av personer med lav utdanning, men som vi har sett har dette begrenset betydning. Kanskje skyldes underrepresentasjonen at FP-velgere er spesielt skepsiske til slike undersøkelser. Men det er også mulig at avviket er et måleproblem, et resultat av at spørsmålene ikke besvares korrekt. Grunnen kan være feilerindring, som gjør seg sterkere gjeldende etter som avstanden i tid til valget øker (Waldal & Aardal 1981; Hellevik 1989). I Monitor begynner intervjuingen straks etter valget og fortsetter utover høsten, så faren for erindringsfeil er neppe stor. Men det er også mulig at respondenter av ulike grunner ikke ønsker å oppgi hvordan de har stemt.

Kanskje kan respondenter som stemmer på FP kvie seg for å svare dette til en intervjuer (spørsmålet om partivalg inngår i telefonintervjuet). FP står sammen med Rødt i en særklasse blant norske partier når det gjelder å bli mislikt av mange velgere.5 Om en respondent føler seg usikker på om intervjueren kan ha en negativ oppfatning av FP-velgere, er dette derfor ikke en helt ubegrunnet frykt. Det kan tenkes at FP-velgere er overrepresentert blant dem som sier de har stemt, men ikke vil oppgi parti (6 prosent av de intervjuede i 2013), som holdes utenfor ved prosentueringen. I den grad dette er tilfellet, og disse respondentene i stedet var blitt registrert som FP-velgere, ville underrepresentasjonen av FP gå ned, og overrepresentasjonen for andre partier også bli mindre. Men dette kan også dreie seg om hjemmesittere som feilaktig oppgir å ha stemt.

Figur 3. Partienes utvikling i valgresultat (StV) og NM. (Prosent av de som oppgir stemmegivning)

Én ting er nivået for partiene, noe annet er hvordan utviklingen i partienes oppslutning i Monitor avspeiler den faktiske tendensen i valgene (figur 3). For A og H følger de to kurvene hverandre tett. For FP og SV, der avviket i nivå er størst, er utviklingstendensen ganske lik (med unntak av FP i 2009 og SV i 2013). Også for de øvrige partiene fanger tendensen i Monitor-målingene godt opp utviklingen i valgresultatene (ikke vist).

Sammenlikning med andre utvalgsundersøkelser

Når vi i stedet for valgstatistikk sammenlikner med andre utvalgsundersøkelser, reduseres sannsynligheten for at målefeil forklarer forskjeller i partivalg. Dermed blir det lettere å få et inntrykk av hva respondentbortfallet betyr. Men samtidig må en overveie om det kan være metodeforskjeller mellom undersøkelsene som har bidratt til forskjeller mellom resultatene.

NM og Valgforskningsprosjektet (VF) har meget ulike svarprosenter. Ved valget i 1997 hadde for eksempel VF en svarprosent på 70, uten at dette ga avvik fra valgresultatet som var vesentlig mindre enn NMs. Det gjennomsnittlige avviket fra partienes valgresultat var på 1,04 prosentpoeng i VF og 1,16 i NM. Det største avviket for begge gjaldt Fremskrittspartiet, der VF lå 4,1 og NM 2,5 prosentpoeng for lavt. For nyere valg har som tabell 5 viser avviket økt for NM, mens det har holdt seg stabilt for VF.6 Det kan derfor se ut som om bortfallet har ført til en økning i underrepresentasjonen av FP-velgere, som imidlertid er større enn det nedgangen i svarraten i seg selv kan forklare.

Disse sammenlikningene kompliseres imidlertid av metodeforskjeller mellom de to undersøkelsene. Deler av utvalget i VF er et panel som også ble intervjuet ved valget fire år før, og det benyttes personlig intervjuing under datainnsamlingen mot telefonintervju og selvutfylling i NM. I tillegg kommer eventuelle konteksteffekter.

Et annet resultat fra SSB som Monitor kan sammenliknes med, gjelder spørsmål om høyde og vekt som kan brukes til å beregne BMI og bestemme andelen som kan defineres som overvektige og sterkt overvektige. I SSBs levekårsundersøkelse fra 2012 (med 5660 telefonintervjuer av personer 16 år og eldre, og svarprosent 58) er det 27 prosent som klassifiseres som overvektige (BMI 27 eller høyere). Prosenten sterkt overvektige (som inngår i andelen overvektige) er 10. For NM er de tilsvarende tallene i 2011 og 2013 omtrent de samme, 28 og 29 prosent for overvektige og 12 prosent på begge tidspunkter for sterkt overvektige. SSB oppgir på sine nettsider at resultatet var 25 prosent overvektige i 2005, da tallet i NM var 27. Forskjellen er liten, og kan tenkes å skyldes en intervjuereffekt. Kanskje pynter noen litt på vekten når de svarer telefonintervjueren hos SSB, mens Monitor-spørsmålene inngår i selvutfyllingsskjemaet. Begge undersøkelser registrerer den samme økningen på to prosentpoeng i andelen overvektige mellom 2005 og 2012/13.

Figur 4. Prosent som røyker daglig eller av og til, for personer 16–74 år. (NM og SSBs Reise- og ferieundersøkelse)

Endelig kan vi se på utviklingen når det gjelder røyking, som det er spurt om i NM siden 1987. Et tilsvarende spørsmål inngår i SSBs Reise- og ferieundersøkelse. Her er det mulighet for å sammenlikne både nivå og utviklingstendens over et lengre tidsrom.

En forskjell mellom undersøkelsene er at tallene SSB gjengir på sine nettsider er glidende gjennomsnitt for undersøkelsene før 2008. Dette kan forklare at SSBs kurve for daglig røyking har en litt jevnere utvikling enn NMs. Reise- og ferieundersøkelsen har svarprosenter mellom 65 og 55.7

Inntrykket av nivå så vel som utviklingstendens er meget likt for de to undersøkelsene, til tross for den store forskjellen i svarprosent. Andelen daglig-røykere falt først langsomt, og så sterkt fra tusenårsskiftet. Dette har i liten grad ført til noen økning i andelen som røyker sporadisk. Forskjellen mellom kvinner og menn, som ifølge tall fra SSB var opp mot 20 prosentpoeng for daglig røyking tidlig på syttitallet, er ifølge begge undersøkelser nærmest forsvunnet i perioden som dekkes av NM (ikke vist).

Liknende resultater foreligger fra andre land. For eksempel har PEW gjennomført tester i USA, den siste i 2012, der de sammenliknet to telefonundersøkelser med ulik responsrate, et «ordinært» utvalg med en svarrate på 9 prosent, og et annet utvalg der en gjennom iherdige anstrengelser hadde klart å få svarraten opp i 22 prosent. Som tidligere nevnt er det ordinære bortfallet sammenliknbart med det en har i telefondelen av NM. Konklusjonen i rapporten deres er at det var liten forskjell mellom de to utvalgene, med unntak av mål for deltakelse i frivillige samfunnsmessige aktiviteter. Sammenlikning med undersøkelser med høyere svarrater og analyser ved hjelp av registerdata for husholdninger som ga mulighet for å sammenlikne respondenter og ikke-respondenter, ga tilsvarende konklusjoner (PEW 2012). Samme resultat er også funnet i tidligere analyser (Keeter, Kennedy, Dimock, Best & Craighill 2006).

Avslutningsvis skal vi gi et norsk eksempel fra høsten 2011 på at selv store forskjeller i undersøkelsesopplegg og svarrate ikke behøver å føre til forskjeller i resultat. To spørsmål om holdninger til innvandrere som er stilt i NM ble også brukt i en antisemittisme-undersøkelse (HL-senteret 2012). Den ble gjennomført av TNS Gallup ved hjelp av et utvalg fra deres internettpanel, med svarrate 48 prosent.8 Til tross for ulikhetene i bortfall, utvelgingsopplegg, intervjumetode, og konteksten spørsmålene inngår i, er det et nesten forbløffende sammenfall i resultatene totalt.

Tabell 6. Holdninger til innvandrere i Monitor og TNS Gallups internettpanel. (Prosent. 2011)

 

Hvem er du mest enig med, A eller B?

NM

TNS

Kultur

A sier: Innvandrere bidrar til at vi får et større kulturelt mangfold i Norge, med spennende ny mat, musikk, kunst, osv

58

57

Umulig å velge

15

20

B sier: Innvandrenes levemåte passer ikke inn i Norge. De fremmede skikkene er til ulempe for omgivelsene og kan bli en trusel mot norsk kultur

27

23

Økonomi

A sier: Innvandrere ønsker å utnytte våre velferdsordninger og få del i goder de ikke selv har vært med å skape

34

34

Umulig å velge

25

26

B sier: Innvandrere er dyktige og arbeidsomme mennesker som yter et verdifullt bidrag til norsk økonomi og arbeidsliv

42

39

Utviklingssmønstre for tidsserier

Et hovedformål med en undersøkelse som NM, som er gjennomført annen hver høst siden 1985, er å studere utviklingsmønstre, for befolkningen som helhet eller undergrupper. Kan det bildet resultatene gir av utviklingstendenser tenkes å være en følge av stigende resondentbortfall, det vil si forklares av økende skjevheter i utvalgene? Vi har alt sett at dette neppe er tilfellet for utviklingen når det gjelder røyking. Også for flere andre tidsserier i NM fortoner respondentbortfall seg som en lite rimelig forklaring på tendensene.

Et eksempel er utviklingen for svaret på spørsmålet: «Tror du på Gud?», med en gradvis og helt monoton nedgang for andelen som svarer ja. I noen toårsperioder er det stabilitet, i andre en nedgang på ett eller to (i ett tilfelle tre) prosentpoeng. Andelen som svarer nei, viser en tilsvarende jevn og litt sterkere økning.

Figur 5. Tror du på Gud? (Prosent. NM )

Endringene i gudstro er for store til å kunne forklares av respondentbortfall. Men kan økende bortfall ha bidratt til å forsterke denne utviklingstendensen? Det ville forutsette at det var religiøse personer som i økende grad avslår å delta, en antakelse som ikke virker særlig rimelig. Den står da også i strid med det mønsteret vi finner for en serie moralspørsmål.

I NM spørres det om ulike lovstridige handlinger kan godtas, godtas under tvil, eller ikke godtas. Hvis det var slik at religiøse personer ble stadig mer underrepresentert i utvalget, ville en ventet at andelen som ikke godtar den lovstridige atferden sank. Dette er tilfellet for noen handlinger (i figur 6 er det å røyke hasj eller å kjøre bil litt over fartsgrensene brukt som eksempler). Men for andre handlinger er det stabilitet over tid (å kjøre med lav, men ulovlig promille eller å ta med håndklær fra hotellrom). Og endelig har vi eksempler på at det er økning i andelen som mener at handlingen ikke kan godtas (å la være å oppgi skattbar inntekt eller å drive med hjemmebrenning). Slike motstridende utviklingstendenser for ulike former for lovrespekt er det vanskelig å se kan forklares av et økende respondentbortfall.

Figur 6. Eksempler på ulik utvikling for forskjellige aspekter ved lovrespekt (prosent som mener handlingen ikke kan godtas. NM 1985–2013)

Derimot finner en i Monitor andre eksempler på at utviklingstendenser kan ha en metodeforklaring. I 1997 sank tiltroen til samfunnsinstitusjoner klart for alle det ble spurt om, sammenliknet med tidligere Monitor-runder (Hellevik 2011b: 101–105). Årsaken var neppe noen generell tillitskrise, men en endring i intervjuopplegget. Noen respondenter er nemlig mer tilbakeholdne med å gi uttrykk for negative eller kritiske holdninger når de svarer en intervjuer (som i tidligere undersøkelser) enn når de fyller ut spørreskjemaet selv (som i 1997 og senere undersøkelser).9 Det er trolig bortfallet av intervjuereffekten som er årsaken til at flere ga uttrykk for liten tiltro i 1997.

Sammenheng mellom variabler

Analyser av data fra NM har avdekket interessante sammenhenger mellom variabler, for eksempel når det gjelder hvordan av folks lykkefølelse eller tilfredshet med tilværelsen samvarierer med alder, familiesituasjon, helse eller økonomisk stilling. Dette er mønstre som er meningsfulle og i samsvar med resultatene fra annen forskning (Hellevik 2003, 2008a, 2011a og 2011b).

Figur 7. Alder, lykkenivå og tilfredshetsnivå (prosenten meget lykkelige/tilfredse minus prosenten ikke lykkelige/tilfredse. NM 1999–2009. N totalt 23452)

Noen økonomer har hevdet at lykkenivået stiger mot slutten av livet, etter å ha nådd et bunnpunkt i førtiårsalderen (Blanchflower & Oswald 2008). Dette er blitt kritisert som en uholdbar konklusjon, trukket på bakgrunn av feilaktig kontroll for variabler som ligger mellom alder og lykke i en kausalmodell, slik som helse og familiesituasjon (Glenn 2009). Det samme er påvist gjennom analyser av NM-data (Hellevik 2008a). Blanchflower og Oswald tilbakeviste kritikken fra Glenn ved å vise til at også den bivariate sammenhengen mellom alder og subjektiv livskvalitet var U-formet (Blanchflower & Oswald 2009). Men da brukte de data om tilfredshet med tilværelsen, som i motsetning til lykkefølelse har en U-formet sammenheng med alder. Dette kan påvises med data fra NM, der begge spørsmål er stilt til de samme respondentene (Hellevik 2008a, 2011b).

Her brukes resultater fra NM som innspill i en viktig fagdebatt (en artikkel på engelsk er underveis). Det er vanskelig å se hvordan bortfall skulle kunne være forklaringen på de ulike aldersmønstrene for lykke og tilfredshet.

Et annet eksempel der NM-data er grunnlag for innlegg i sentrale fagdebatter, gjelder empirisk prøving av teoriene til Inglehart (1977, 1990) og Flanagan (1982) om kulturell endring og generasjonsforskjeller i verdisyn (Hellevik 1993, 2002, 2008b, 2015). Resultatene fra disse og andre analyser av materiale fra NM styrker troen på at lave svarprosenter ikke er ensbetydende med at data ikke kan brukes i samfunnsvitenskapelig forskning.

Konklusjon

Det ville skape store problemer for samfunnsforskningen om det på grunn av synkende svarprosenter ikke lenger skulle være mulig å benytte intervjudata fra befolkningsutvalg. Resultatene presentert i denne artikkelen, som gjelder en undersøkelse med ekstremt lav svarprosent, tyder heldigvis på at konsekvensene av respondentbortfallet ikke nødvendigvis er så alvorlige som mange har forestilt seg. Dette betyr ikke at utvalgsskjevheter aldri vil forekomme, men de er ikke en uunngåelig følge av en lav svarprosent.

Utvalgsusikkerhet får ofte stor oppmerksomhet, sikkert fordi dette er et problem en har god innsikt i og kjente prosedyrer for å teste. Det er imidlertid ikke det eneste, og som regel heller ikke det største, problemet en står overfor ved tolkning av resultater fra intervjuundersøkelser med befolkningsutvalg. For eksempel vil spørsmålsformulering eller intervjuereffekt kunne være mer aktuelle som forklaring på tendenser i materialet enn utvalgsskjevheter. Dette innebærer at vi har datasett med gradsforskjeller og glidende overganger når det gjelder kvalitet, og ikke noen datasett som er helt problemfrie, mens andre er ubrukelige.

En bør derfor ha et pragmatisk og ikke et «religiøst» forhold til svarprosenter, der en i hvert enkelt tilfelle forsøker å vurdere hvilken betydning bortfallet kan ha hatt for resultatene. Slik det er gjort i denne artikkelen, kan en lete etter muligheter for å sammenlikne resultater fra utvalget med annen statistikk for å bedømme representativiteten. Dette er noe en bør ha in mente når en undersøkelse utformes. Spørsmålet en må stille når resultatene foreligger, er om det er sannsynlig at utvalgsskjevheter, eller andre egenskaper ved undersøkelsen, forklarer mønstrene som er avdekket.

For noen variabler må en regne med at bortfallet fører til at inntrykket av fordelingen blir skjev, at en for eksempel vil overvurdere omfanget av aktivitet og samfunnsengasjement, eller undervurdere oppslutningen om Fremskrittspartiet. Men sammenlikningen av telefonutvalget og det endelige Monitor-utvalget, etter et frafall på 63 prosent, viser i de fleste tilfeller stor overensstemmelse i fordelinger og sammenhenger. Konklusjonen er den samme for sammenlikninger med befolkningsstatistikk eller utvalgsundersøkelser med langt høyere svarprosenter. Endelig er det vanskelig å se at bortfall kan forklare utviklingstendensene i Monitor-materialet.

Samme konklusjon er trukket av tilsvarende analyser som sammenlikner utvalg med meget forskjellige svarprosenter i USA (Keeter et al. 2006; PEW 2012). En av kapasitetene innenfor feltet, Robert M. Groves, konkluderer at det ikke er noen nødvendig sammenheng mellom bortfallets omfang og skjevheter i resultatene. Det finnes ifølge ham ikke noen nedre grense for svarraten der det er gitt at estimater vil være skjeve når den ligger lavere, eller noen øvre grense der en kan være trygg for at estimater aldri er skjeve når svarraten ligger over (Groves 2006).

En kan undre seg over hvorfor ikke konsekvensene av en svarrate helt ned mot 3–4 prosent er større når en sammenlikner med resultatene fra undersøkelser med langt høyere svarrater. Forklaringen er for det første at betydelige forskjeller i svarrate mellom ulike grupper ikke fører til like store skjevheter i utvalgets sammensetning. For det andre er forskjellene i oppfatninger og atferd mellom de ulike gruppene i mange tilfeller ikke så store. Dersom hverken omfanget av over- eller underrepresentasjonen av grupper eller av forskjellen mellom grupper er stor, blir betydningen av bortfallet for utvalgsresultatene som vi har sett beskjeden.

Konklusjonen blir at utvalgsundersøkelser er mer robuste enn mange nok har forestilt seg. Så lenge det ligger tilfeldig utvelging i bunn, og det ikke foreligger forhold som gir grunn til å tro at bortfallet har en klart systematisk karakter, ville det være uklokt å la en lav svarprosent i seg selv være grunn til å kaste vrak på et datamateriale.

Samtidig må en ta problemet med fallende svarrater på alvor, og diskutere muligheter for å stoppe eller helst snu denne tendensen. Hvis den fortsetter, ville den i sin ytterste konsekvens innebære at vi sitter igjen uten respondenter. Det er selvsagt ønskelig med høye svarrater. Derfor er det viktig å utvikle metoder for å øke villigheten til å delta og for å korrigere for effekter av eventuelle skjevheter i bortfallet, et arbeid mange er engasjert i (se f.eks. Singer 2006). Samtidig er det et spørsmål om hvor mye ressurser en skal satse på kostbare forøk på å øke svarandelen, når det kan påvises at effekten på resultatene ofte er ganske liten.

Om artikkelen

Jeg har fått nyttige kommentarer/innspill fra to anonyme konsulenter for TfS, og fra Erik Dalen, Kristin Rogge Pran og Jan-Paul Brekke på Ipsos MMI, Johannes Bergh på ISF, Tale Hellevik på NOVA, Erik Neslein Mønness på Høgskolen i Hedmark og Gunnar Sæbø på SIRUS. Karen Lillebøe og Arild Sæle på Ipsos MMI har gjort en stor innsats for å skaffe informasjon om responsrater i Norsk Monitor. Tilgang til data som er brukt i analysen kan fås ved henvendelse til ottar.hellevik@stv.uio.no.

Denne artikkelen står på trykk nøyaktig femti år etter at Ottar Hellevik publiserte sin første artikkel i Tidsskrift for samfunnsforskning: «Stortingets utenrikspolitiske spørrevirksomhet», Tidsskrift for samfunnsforskning, 6(2): 9–112 (red. anm.).

Referanser

Blanchflower, D. G. & Oswald, A. J. (2008). Is Well-Being U-Shaped over the Life Cycle? Social Science & Medicine, 66(8), 1733–1749.

Blanchflower, D. G. & Oswald, A. J. (2009). The U-Shape without Controls: A Response to Glenn. Social Science & Medicine, 69(4), 486–488.

de Leuwe, E. & de Heer, W. (2002). Trends in Household Survey Nonresponse: A Longitudinal and International Comparison. I Groves, R., Dillman, D., Eltinge, J. & Little, R. J. A. (red.), Survey Nonresponse (s. 41–54). New York: Wiley.

Flanagan, S. C. (1982). Changing Values in Advanced Industrial Society. Comparative Political Studies, 14, 403–44.

Glenn, N. (2009). Is the Apparent U-Shape of Well-Being over the Life Course a Result of Inappropriate Use of Control Variables? A Commentary on Blanchflower and Oswald (66:8, 2008, 1733–1749). Social Science & Medicine, 69(4), 481–485.

Groves, R. M. (2006). Nonresponse Rates and Nonresponse Bias in Household Surveys. Public Opinion Quarterly, 70(5), 646–675.

Groves, R. M. & Peytcheva, E. (2008). The Impact of Nonresponse Rates on Nonresponse Bias. A Meta-Analysis. Public Opinion Quarterly, 72(2), 167–189.

Hansen, M. H. & Hurwitz, W. N. (1946). The Problem of Nonresponse in Sample Surveys. Journal of the American Statistical Association, 41, 517–529.

Hellevik, O. (1989). Beregning av partibarometre. Tidsskrift for samfunnsforskning, 30(2), 161–186.

Hellevik, O. (1993). Postmaterialism as a Dimension of Cultural Change. International Journal of Public Opinion Research, 5(3), 211–233.

Hellevik, O. (2002). Age Differences in Value Orientation – Life Cycle or Cohort Effect? International Journal of Public Opinion Research, 14(3), 286–302.

Hellevik, O. (2003). Economy, Values and Happiness in Norway. Journal of Happiness Studies, 4(3), 243–283.

Hellevik, O. (2008a). Jakten på den norske lykken. Norsk Monitor 1985–2007. Oslo: Universitetsforlaget.

Hellevik, O. (2008b). Assessing Long-Term Value Changes in Societies. I W. Donsbach & M. Traugot (red.), Handbook of Public Opinion Research (s. 556–569). London: Sage.

Hellevik, O. (2011a). Inntekt og subjektiv livskvalitet: Easterlins paradoks. Tidsskrift for velferdsforskning, 14(3), 181–203.

Hellevik, O. (2011b). Mål og mening. Om feiltolking av meningsmålinger. Oslo: Universitetsforlaget.

Hellevik, O. (2015). Is the Good Life Sustainable? A Three Decade Study of Values, Happiness and Sustainability in Norway. I Mueller, M. L. & Syse, K. V. L. (red.), Sustainable Consumption and the Good Life (s. 55–79). London & New York: Routledge.

HL-senteret (2012). Antisemittisme i Norge. Den norske befolkningens holdninger til jøder og andre minoriteter. Oslo: HL-senteret.

Inglehart, R. (1977). The Silent Revolution – Changing Values and Political Styles among Western Publics. Princeton: Princeton University Press.

Inglehart, R. (1990). Culture Shift in Advanced Industrial Society, Princeton: Princeton University Press.

Keeter, S., Kennedy, C., Dimock, M., Best, J. & Craighill, P. (2006). Gauging the Impact of Growing Nonresponse on Estimates from a National RRD Telephone Survey. Public Opinion Quarterly, 70(5), 759–779.

Lynn, P. (2003). PEDAKSI: Methodology for Collecting Data about Survey Non-Respondents. Quality & Quantity, 37(2), 239–261.

PEW Research Center (2012). Methodology Study. Tilgjengelig på http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

Singer, E. (2006). Introduction. Nonresponse Bias in Household Surveys. Public Opinion Quarterly, 70(5), 637–645.

Smith, T. W. (2002). Developing Nonresponse Standards. I Groves, R., Dillman, D., Eltinge, J. & Little, R. J. A. (red.), Survey Nonresponse (s. 27–40). New York: Wiley.

SSB (2014). Røykestatistikken og bruk av frafallsvekter. Upublisert notat fra SSB til SIRUS datert 20.08.14.

Stoop, I., Billiet, J., Koch, A. & Fitzgerald, R. (2010). Improving Survey Response: Lessons Learned from the European Social Survey. Chichester: John Wiley & Sons.

Thomsen, I., Kleven, Ø., Wang, J. H. & Zhang, L. C. (2006). Coping with Decreasing Response Rates in Statistics Norway. Oslo: Statistisk sentralbyrå.

Vedøy, T. F. & Skretting, A. (2009). Ungdom og rusmidler. Resultater fra spørreskjemaundersøkelser 1968–2008. SIRUS-rapport nr. 5/2009. Oslo: Statens institutt for rusmiddelforskning.

Waldahl, R. & Aardal, B.-O. (1981). Kan vi stole på erindringsdata? Tidsskrift for samfunnsforskning 22(2/3), 261–274.