Et grunnprinsipp som studenter innprentes når de tar kurs i samfunnsvitenskapelig metode, er at en som forsker må anstrenge seg for å avkrefte egne forhåndsoppfatninger. Dette for å motvirke den allmennmenneskelige tendensen til å feste seg ved det som passer med det en selv tror. Prinsippet er ikke alltid lett å leve opp til, og resultatet kan bli uholdbare konklusjoner. I neste omgang er det derfor viktig at andre forskere bidrar med korreksjon gjennom kritikk og alternative tolkninger. Det er denne fagdebatten som skal kvalitetssikre forskningen, og sørge for at vi beveger oss mot stadig sikrere kunnskap om fenomenene som studeres.

Tradisjonell fagdebatt

Fagdebatten tar ulike former. Tradisjonelt har fagfellevurdering i vitenskapelige tidsskrifter vært sentralt. For å få en artikkel publisert, må den først vurderes av kompetente forskere oppnevnt som konsulenter av tidsskriftet. De kan avvise den, eller ha innvendinger forfatteren må forholde seg til før den eventuelt blir publisert. Betydningen av en slik kvalitetskontroll kom blant annet til uttrykk i høstens diskusjon om vekten på internasjonal publisering for SSB-forskere. Generelt kan fravær av fagfellevurdering ses på som et mulig problem ved oppdragsforskning (Hellevik 1996).

Mange opplever i dag svakheter ved ordningen med fagfellevurdering. Tidsskriftene sliter med å finne forskere som er villige til å påta seg arbeidet med å vurdere artiklene. Kanskje er dette en grunn til at det kan se ut til å ha blitt vanligere å refusere redaksjonelt uten noen fagfellevurdering. Både for den enkelte forsker og kvalitetssikringsprosessen er det et problem om det blir vanskelig overhodet å bli vurdert, ved at artikler blir avvist redaksjonelt av tidsskrift etter tidsskrift.

Kvalitetene på uttalelsene som avgis dersom en blir vurdert, er heller ikke alltid imponerende.1 En kan for eksempel få en tilbakemelding som ikke er noen kritikk av forskningen som rapporteres, men som sier at den heller burde dreiet seg om noe annet. Dette avspeiler gjerne ulike fagtradisjoner og interesser.2

Det kan diskuteres om en skal kalle fagfellevurdering for «debatt», siden den har få deltakere og innholdet ikke gjøres allment kjent. For utviklingen i et fag spiller nok derfor diskusjon og kritikk av publiserte forskningsresultater større rolle. Da er det spesielt uheldig hvis tidsskrifter ikke ønsker å slippe til kritiske synspunkter på artikler de har hatt på trykk.

Noen redaktører i prestisje-tidsskrifter misliker tydeligvis innlegg som hevder at de har publisert artikler med uholdbare konklusjoner. En fersk erfaring gjelder nivå-2-tidsskriftet Social Science & Medicine. Det publiserte en artikkel av to økonomer, Blanchflower og Oswald (2008), om en U-formet sammenheng mellom alder og lykke. Ifølge dem sank et individs lykkefølelse fram til førtiårsalderen, for så å stige i eldre år. En framtredende amerikansk sosiolog, Glenn (2009), påpekte at U-kurven var et resultat av at en kontrollerte bort virkningen av negative hendelser som rammer mange med alderen, slik som sviktende helse, tap av partner eller dårligere økonomi. Svaret fra Blanchflower og Oswald (2009) avslørte at de fortsatt ikke forstod forskjellen mellom forutgående kontrollvariabler, som skaper ikke-kausal sammenheng, og mellomliggende kontrollvariabler, som formidler indirekte kausaleffekt.

Til min forbauselse kom det aldri noe svar fra Glenn, men et søk på nettet viste at han på denne tiden var blitt syk og døde.3 Jeg har tidligere diskutert U-kurven i to norske bøker (2008, 2011), og skrev et innlegg for å vise at Glenn hadde rett i sin kritikk. Da svarte redaktøren at dette temaet falt utenfor tidsskriftets interessefelt, så de refuserte artikkelen uten nærmere vurdering. Å påpeke at de nettopp hadde publisert tre artikler om U-kurven, hjalp ikke. Det viste seg for øvrig at tidsskriftet i samme tidsrom aksepterte en annen, men ukritisk, artikkel om U-kurven.4

Nye kanaler for fagdebatt

På bakgrunn av slike svakheter ved den tradisjonelle fagdebatten, kan det være grunn til å hilse nye debattkanaler velkommen. Eksempler er aviser som Aftenposten og spesialiserte nettsteder som forskning.no som presenterer forskningsresultater og debattinnlegg. Dette er først og fremst kanaler for formidling av forskningsresultater utenfor fagmiljøene, men det er mange eksempler på at de også tjener som forum for fagdebatt mellom forskere. Kanalene er ganske åpne med bare en forsiktig redigering der innlegg leses og det kanskje foreslås endringer i teksten før den offentliggjøres. Her er det mulighet for tilbakemelding i løpet av få dager, mens det i fagtidsskrifter kan gå både måneder og år før en – i beste fall – slipper til.5

Enda raskere kan det gå unna med nett-innlegg i kommentarfelt og på Facebook, der det er åpen adgang og innenfor meget vide grenser opp til forfatteren selv å bestemme hva som offentliggjøres. Her kan debatter med mange korte innlegg og motinnlegg avvikles i løpet av timer. I denne kanalen har det høsten 2017 vært debatter der egne arbeider er blitt kommentert. Dette gjelder to artikler i Tidsskrift for samfunnsforskning. Den ene om holdninger til innvandring og innvandrere (Hellevik og Hellevik 2017a), den andre om respondentbortfall og utvalgsskjevhet (Hellevik 2015a). Denne erfaringen skal her brukes til å belyse hvordan en slik fagdebatt kan arte seg.

Nettdebatt om utviklingen i nordmenns holdninger til innvandrere

Konklusjonen i TfS-artikkelen fra 2017 var at nordmenns holdninger var blitt stadig mer positive mellom 1993 og 2015, blant annet som en følge av det økte innslaget av innvandrere i norske lokalsamfunn. Den ble i tillegg til fagartikkelen også presentert i Viten-spalten i Aftenposten (Hellevik og Hellevik 2017b), der det raskt kom mange innlegg i kommentarfeltet, og etter hvert også kommentarer på Facebook. Etter å ha svart på noen av de første innleggene, ble det for stressende å skulle reagere fortløpende på alt som ble lagt ut. Så her kommer i stedet et tradisjonelt debattinnlegg i et fagtidsskrift, som gir et samlet svar på synspunkter av faglig art i kommentarene.

Jeg må ta det forbehold at jeg som en lite aktiv og utrent Facebook-bruker ganske sikkert har oversett noen kommentarer. Til forskjell fra tradisjonell fagdebatt kan en på nettet oppleve å bli snakket om i stedet for til, hvis en da ikke blir «tagget» og slik gjort oppmerksom på at en har fått en kommentar, noe som bare skjedde et par ganger.

I dag diskuteres tonen i nettdebatter som et samfunnsproblem, med karakteristikker som netthets og nettroll. Slike tendenser ser en også når det gjelder kommentarer til forskningsresultater, ikke minst når temaet er innvandring. Konklusjonene våre har tydeligvis provosert noen lesere, slik disse utdragene fra kommentarfeltet i Aftenposten viser:

  • «Kjære Aftenposten, kan der ikke spare oss for alle disse professorne i snikk snakk å i stedet få tak i noen som har bena på gjorden.»

  • «Artikkel forfatterne er som kjent PK propagandister.»

  • «Denne artikkelen er regelrett galskap og endeløs løgn fra folk som gjør ordene ‘professor’ og ‘forsker’ til latter og spott. Forfatterne utviser monumental kunnskapsløshet om Islams natur, virkemåte, organisering, historie, langsiktighet og dynamikk. Eller så lyver de mot bedre vitende. Uansett er det kriminell desinformasjon, der de hevder at muslimers og Islams natur vil endre og ‘integrere’ seg bare nordmenn er snille og selvutslettende nok. Muslimske ledere i Europa, Norge og verden er samstemte: Bl a Norge skal de ta uten våpen så lett som bare det. Tiden, demografien og demokratiet er alt som trengs. Nordmenn er svake, internt fullstendig usolidariske, kortsiktige, uendelig naive, og mobbet til uvitenhet og selvhat.»

Avvisningen av våre resultater kan ha sammenheng med at egne holdninger preger ens virkelighetsbilde. HL-senterets undersøkelse av antisemittisme og muslimfiendtlighet viser at jo mer negative holdninger en selv har, jo mer negativ tror en også at opinionen i sin alminnelighet er (Hoffmann og Moe 2017).

Men i flere Facebook-tråder er det også innlegg av mer saklig art. De er skrevet av samfunnsforskere og andre som diskuterer hvordan resultatene skal tolkes. Sammenliknet med tradisjonell fagdebatt har imidlertid også noen av disse innleggene et visst «Facebook-preg». Høyt tempo og kort reaksjonstid kan føre til at egne forhåndsoppfatninger får fritt spillerom og fortrenger refleksjon og motforestillinger. Tempoet kan nok også forklare at enkelte umulig kan ha lest det de kritiserer særlig grundig. I andre tilfeller inneholder innleggene resonnementer som litt tid brukt på noen enkle beregninger ville ha vist at ikke kan være riktige.

Et eksempel på overfladisk lesing er kommentaren som hevder at positive innvandrerholdninger skyldes et dårlig spørsmål, som dreier seg om «mat, musikk og kunst» – «de mest harmløse og positive sidene ved innvandreres kultur og skikker». Spørsmålet, som også er gjengitt i Aftenposten (Hellevik og Hellevik 2017b), lyder:

To personer diskuterer hvilke virkninger det kan få at det er kommet innvandrere fra fremmede kulturer til Norge. Hvem er du mest enig med, A eller B?

A sier: Innvandrere bidrar til at vi får et større kulturelt mangfold i Norge, med spennende ny mat, musikk, kunst, osv.

B sier: Innvandrernes levemåte passer ikke inn i Norge. De fremmede skikkene er til ulempe for omgivelsene og kan bli en trussel mot norsk kultur.

En ting er at innvendingen er lite relevant når det gjelder å forklare økningen i positive svar, som er temaet for artikkelen. Siden spørsmålet er det samme gjennom hele perioden, måtte en i tilfelle forutsette at respondentenes tolking av det har endret seg sterkt. Kommentaren ser videre bort fra at det både i fagartikkelen og Aftenposten-innlegget framgår at det er brukt fem ulike spørsmål i Monitor, som alle viser samme positive holdningsutvikling, og at dette også gjelder for en serie andre spørsmål stilt av SSB.

Andre mener at utviklingen forklares av det ikke skilles mellom ulike innvandrergrupper. «Man separerer nemlig ikke mellom innvandrere med vestlig bakgrunn, og innvandrere med ikke-vestlig bakgrunn. Siden 2008 har Norge hatt en svært stor andel vestlige innvandrere, særlig fra Polen, Litauen og Sverige. Undersøkelsen misbrukes til å fortelle at vi dermed er blitt mer positive til innvandring, mens folk flest som jeg prater med er positive til svensker og polakker, men negative til ikke-vestlige innvandrere.»

Her overses det at spørsmålene i Monitor har referanser som «innvandrere fra fremmede kulturer», «flyktninger» eller «muslimske trossamfunn». Så det er neppe svensker respondentene har hatt i tankene når de svarte. Og igjen, for at dette skulle forklare endring, måtte en anta at oppfatningen av hvem spørsmålet refererer til endres over tid.

Litt for kjapt må det også ha gått når kommentaren inneholder påstander som lett lar seg avkrefte. Noen mener for eksempel at holdningsutviklingen skyldes at det er blitt flere innvandrere, fordi de antar at det er innvandrerne selv som svarer positivt. Men siden andelen innvandrere fra Afrika, Asia og Latin-Amerika i det aktuelle tidsrommet bare har økt fra 2,3 til 7,8 prosent, er dette ikke mer enn en brøkdel av veksten for andelen med positive holdninger. For eksempel øker andelen som velger det positive alternativet når det gjelder innvandringens betydning for norsk kultur med 21 prosentpoeng mellom 1993 og 2015. En økt innvandrerandel med 5,5 poeng kan dermed umulig være forklaringen på holdningsutviklingen.

Noen har vært opptatt av den synkende svarprosenten i Norsk Monitor, som holdningsdataene er hentet fra, og ment at dette kunne forklare tendensen i utvalgsresultatene. «Magefølelsen min sier at hvis svarprosenten hadde vært konstant, hadde tallene i beste fall vært stabile, men sannsynligvis synkende mht. støtte til innvandringen.» Også her ville noen enkle hypotetiske regnestykker avdekket at det er liten grunn til å stole på magefølelsen.

Det er riktig at svarprosenten har falt, til den i 2013 var nede i bare 4 prosent av det utvalget som ble forsøkt kontaktet. Men som vi kommer tilbake til, henvises det i artikkelen til andre artikler der omfattende tester viser at konsekvensene for utvalgsskjevheter i Monitor er langt mindre enn det mange forestiller seg (Hellevik 2015a og 2016a). Og for å forklare endring, måtte det dessuten være snakk om en økende skjevhet. For eksempel en økende overrepresentasjon av høyt utdannede, som er de mest positive overfor innvandrere. Men både endringen i utvalgets sammensetning og forskjellen i holdning mellom utdanningsgruppene må være meget stor for at dette skal få særlig betydning for inntrykket av opinionsutviklingen, som et tenkt regneeksempel viser: 20 prosentpoengs økt overrepresentasjon av høyt utdannede og 30 prosentpoengs forskjell i holdning mellom høyt og lavt utdannede gir 0,2 * 30 = 6 prosentpoengs høyere andel med en positiv holdning i befolkningen. Dette tilsvarer bare en brøkdel av de faktiske holdningsendringene som undersøkelsen viser.

Nettdebatt om muslimers holdninger og verdier

Nylig har lanseringen av Bushra Ishaqs (2017) undersøkelse av holdninger og verdier blant norske muslimer resultert i mange kommentarer på sosiale medier. Noe av dette var en mer faglig preget debatt om tolkingen av undersøkelsen. Der var spørsmålet om betydningen av respondentbortfall for utvalgsskjevheter igjen sterkt framme, og i den forbindelsen ble det referert til TfS-artikkelen om dette temaet (Hellevik 2015a).

Av Ishaqs bok framgår det at meningsmålingen ble gjennomført av TNS Gallup (nå Kantar TNS) høsten 2015 til våren 2016. Bruttoutvalget bestod av personer i alderen 18–75 år, som er første- eller annengenerasjons innvandrere fra Tyrkia, Pakistan, Afghanistan, Irak, Iran, Bosnia-Hercegovina, Somalia og Marokko med minst fem års botid i Norge. Et spørreskjema på norsk og engelsk ble sendt i posten til 10.000 personer. 1050 skjemaer kom i retur pga. feil adresse. 1126 personer svarte. Av disse bekreftet 845 at de var muslimer. De som ikke var det, ble bedt om å angi dette og returnere skjemaet ubesvart (gjort av 281). Svarprosenten blir 12,6 prosent, når en holder skjemaer som ikke nådde adressaten utenfor. Hvis vi antar at svarvilligheten er den samme for muslimer og ikke-muslimer, er svarprosenten 12,6 også for muslimer.6 Det kan tenkes at andelen som svarer er lavere for ikke-muslimer, som ikke er i målgruppen for undersøkelsen. Det ville i tilfelle bety at brutto-utvalget inneholder færre muslimer, og at svarprosenten for dem derfor ville være noe høyere.7

En svarprosent på 12-13 prosent er omtrent den samme som i andre tilsvarende undersøkelser, og klart mer enn i Norsk Monitor, noe Ishaq nevner i sin bok (side 239). Når det i kommentarer til undersøkelsen ble hevdet at svarprosenten var så lav at den bare burde skrotes, skrev jeg et innlegg i Aftenposten der jeg gjentok konklusjonen fra fagartiklene om konsekvensene av respondentbortfall: «Svarprosenten i seg selv sier ikke så mye om mulige skjevheter i utvalget, dette må undersøkes i hvert konkrete tilfelle.» (2017c). Det har ikke jeg forsøkt å gjøre, siden jeg ikke har hatt anledning til å analysere Ishaqs data. Mitt innlegg begrenset seg derfor til å si noe om sammenhengen mellom bortfall og skjevhet, eller mangelen på slik sammenheng, rent generelt.

I et senere innlegg ble dette utdypet:

Det som skaper skjevhet i resultatene, er ulik svartilbøyelighet innenfor de gruppene en ønsker å anslå størrelsen til. Med en gitt forskjell mellom gruppene i andelen som svarer, blir selvsagt skjevheten større jo lavere svarprosenten er (…). Det som var mitt like selvfølgelige poeng, er at svarprosenten i seg selv ikke forteller om det foreligger en systematisk forskjell i svartilbøyelighet. Dette er noe som må undersøkes.

Da kan det vise seg at et utvalg med lav svarprosent gir like treffsikre resultater som et utvalg med høyere svarprosent, eller endatil mer treffsikre, avhengig av hva slags forskjeller i svartilbøyelighet som foreligger. Dermed blir det feil å bedømme representativiteten av utvalgsresultater bare på basis av svarprosenten, slik enkelte andre har gjort når de uten videre avviser resultatene fra Bushra Ishaqs undersøkelse av norske muslimer med dette som begrunnelse (Hellevik 2017d).

Disse synspunktene er blitt mye kommentert på Facebook, i til dels friske vendinger. Blant annet ble det tatt til orde for at jeg burde «avskiltes» som metodeekspert. Nettdebatten inneholder også mange saklige kommentarer med interessante synspunkter, som det er lett å si seg enig i. Men også eksempler på at det har gått litt fort i svingene. Som når noen, både blant Ishaqs kritikere og støttespillere, tolker meg dit hen at jeg har sagt at hennes utvalg ikke er skjevt, mens poenget i mine innlegg referert ovenfor var at dette ikke kan avgjøres på basis av svarprosenten alene.

Videre er det mange som ikke kan ha lest, eller i det minste ikke ser ut til å kjenne argumentasjonen i mine to artikler om respondentbortfall og utvalgsskjevheter. En som faktisk refererer til artikkelen i Tidsskrift for samfunnsforskning, er Anne Britt Djuve. Jeg synes imidlertid ikke at hennes omtale yter den rettferdighet, så jeg slutter meg til hennes oppfordring i et nettillegg til en annen debattant om å sjekke selv:

«Du kan jo sjekke selv, TFS 2015-2. Han viser 1) at det videre frafallet fra de som besvarte telefonsurveyen (det var 18 % svar i tlf.) til utfylling av skjema (fire prosent svar) ikke ga store skjevheter. 2) at norsk monitor gir noenlunde samme andel røykere som undersøkelser som har høyere svarprosent. Jeg er ikke overbevist om at dette tilsier at undersøkelsen ikke er skjev på holdningsdata. Og uansett er ikke dette direkte overførbart – norsk monitor er vesentlig mindre kontroversiell enn en kartlegging av verdier blant muslimer.»

Frafallet i Monitor skjer i flere trinn. Deltakerne rekrutteres gjennom et telefonintervju. Av de uttrukne telefonnumrene som var i bruk (bruttoutvalget = BU), var det i 2013 bare 58 prosent en etter flere forsøk oppnådde kontakt med. Av disse var 18 prosent villige til å la seg intervjue, som tilsvarer 10 prosent av BU. Dette er en ganske vanlig responsrate for meningsmålinger med telefonintervju både i Norge og USA. Etter telefonintervjuet ble respondentene spurt om de var villige til å svare på en post-enquête, 69 prosent sa ja og av disse returnerte 55 prosent det meget omfattende skjemaet. Det tilsvarer 37 prosent av de som ble telefonintervjuet, og 4 prosent av bruttoutvalget.

Dette er en usedvanlig lav svarprosent, som det er lett å forstå kan volde bekymring.8 Derfor heter da også den engelske artikkelen i Quality and Quantity (2016a) «Extreme nonresponse and response bias. A “worst case” analysis». Betydningen av bortfallet testes på flere måter. Svarene i telefonintervjuet gir mulighet for å fastslå hva bortfallet på 63 prosent betyr for resultatene i det endelige utvalget, i en intervjusituasjon som er helt lik for de som faller fra og de som fullfører. Testvariabler er alder, kjønn, utdanning, stemmegivning og partivalg, i den engelske artikkelen i tillegg bruk av PC, internett og mobiltelefon, første og andrepreferanse for parti, samt holdning til norsk EU-medlemskap og til lovforbud mot tigging, totalt og innenfor partienes velgergrupper, antall bøker lest mht. fordeling og resultat av en multivariat regresjonsanalyse med alder, kjønn og utdanning som uavhengige variabler. Det er noen variasjoner i responsrate, men stort sett små forskjeller mellom resultatene for telefonutvalget og det endelige utvalget som også besvarer spørreskjemaet.

Disse testene gjelder imidlertid bare siste fase i bortfallet, størstedelen skjer tidligere i prosessen. Derfor testes betydningen av det totale bortfallet ved å sammenlikne resultatene i det endelige utvalget med befolkningsstatistikk eller andre utvalg med langt høyere svarprosenter, i første rekke fra SSB. Testvariabler er stortingsvalgresultater, inkludert utviklingstendenser, partivalg i Valgforskningsprosjektet, røykevaner (SSB), BMI (SSB), holdninger til innvandrere (TNS webpanel). I den engelske artikkelen inngår i tillegg boligtype (befolkningsstatistikk) og fagforeningsmedlemskap. Endelig diskuteres det om bortfall er en rimelig forklaring på utviklingsmønstre (gudstro og moral) eller sammenheng mellom variabler (alder, lykke og tilfredshet).

For å sitere fra TfS-artikkelen (2015a: 228): «Konklusjonen blir at utvalgsundersøkelser er mer robuste enn mange nok har forestilt seg. Så lenge det ligger tilfeldig utvelging i bunn, og det ikke foreligger forhold som gir grunn til å tro at bortfallet har en klart systematisk karakter, ville det være uklokt å la en lav svarprosent i seg selv være grunn til å kaste vrak på et datamateriale.» Referanser i artiklene viser at denne oppfatningen deles av ledende amerikanske surveyforskere.

Dette betyr selvsagt ikke at utvalgsskjevhet kan utelukkes som forklaring på resultater fra undersøkelsen av muslimers verdier og holdninger. Som påpekt av andre i debatten er det sensitive temaer som tas opp i intervjuet. Siden respondentene får se skjemaet før de bestemmer seg for om de vil svare, kan det tenkes at holdningene som undersøkes har betydning for svarviljen. Men om dette skjer, og hvor stor betydning det i tilfellet har for resultatene, er usikkert. Dette og andre mulige feilkilder i undersøkelsen må selvsagt analyseres og diskuteres nærmere.

I dag er svarvilligheten i befolkningen blitt så svekket at ingen, selv ikke SSB, oppnår svarprosenter som er høye nok til å være en garanti mot utvalgsskjevheter. Derfor kan en aldri ta representativiteten for gitt, men må i hvert tilfelle undersøke om det kan foreligge skjevheter. Flere av innleggene i debatten etterlater et inntrykk av en slags «svarprosent-fundamentalisme», en tro på at lave svarprosenter er ensbetydende med at data ikke har noen verdi. Slik er det heldigvis ikke. Dette er ikke et spørsmål om enten-eller, men om grader av anvendbarhet for ulike formål. Og det er grunn til å tro at andre feilkilder ofte vil ha større betydning enn utvalgsskjevheter.

Konklusjon

Når det gjelder spørsmålet om hvor godt de nye kanalene, og spesielt nettkanaler som kommentarfeltene og Facebook, egner seg som forum for fagdebatt, er mine personlige erfaringer som det skulle framgå av dette innlegget ikke udelt positive. Det er nok fare for at debatten kan ha etterlatt et feilaktig bilde av de faglige spørsmålene som ble diskutert hos publikum.

Det som utvilsomt kunne hevet kvaliteten, var et noe roligere tempo. Det ville gitt litt mer tid til å sette seg inn i det en kritiserer og til å tenke seg litt bedre om, før en kastet seg over tastaturet og inn i debatten. For å få en fruktbar meningsutveksling bør deltakerne nok også være forsiktige med «kjekke» karakteristikker som andre kan oppleve som usaklig trakassering. Siden dette er kanaler med et bredt nedslagsfelt, er det også grunn til bekymring for hvilket inntrykk av forskeres debattkultur slike innlegg kan etterlate hos publikum.

Ville kritikken av de to TfS-artiklene blitt bedre om den hadde kommet i form av tradisjonelle debattinnlegg i TfS? Det er det all grunn til å tro. Jeg tviler på at en del av forfatterne av Facebook-kommentarene hadde kunnet tenke seg å sende inn noe som var så lite gjennombearbeidet til et tidsskrift. Eller at bidragene i så tilfelle ville blitt godtatt som de var av redaksjonen.

Referanser

Blanchflower, D. G. & Oswald, A. J. (2008). Is well-being U-shaped over the life cycle? Social Science & Medicine, (66)8, 1733–1749.

Blanchflower, D. G. & Oswald, A. J. (2009). The U-shape without controls: A response to Glenn. Social Science & Medicine, (69)4, 486–488.

Glenn, N. (2009). Is the apparent U-shape of well-being over the life course a result of inappropriate use of control variables? A commentary on Blanchflower and Oswald (66:8, 2008, 1733–1749). Social Science & Medicine, (69)4, 481–485.

Hellevik, O. (1996). Fagkritikk av oppdragsforskning. Sosiologisk tidsskrift, (4)3, 219-228.

Hellevik. O. (2008). Jakten på den norske lykken. Norsk Monitor 1985-2007. Oslo: Universitetsforlaget.

Hellevik, O. (2011). Mål og mening. Om feiltolking av meningsmålinger. Oslo: Universitetsforlaget.

Hellevik, O. (2015a). Hva betyr respondentbortfallet i intervjuundersøkelser? Tidsskrift for Samfunnsforskning, (56)2, 211–231.

Hellevik, O. (2015b). Tabloide pølsetall skremmer. Kronikk. NRK Ytring 29.10.15. Hentet fra http://www.nrk.no/ytring/tabloide-polsetall-skremmer-1.12627653

Hellevik, O. (2016a). Extreme nonresponse and response bias. A “worst case” analysis. Quality & Quantity, (50)5, 1969–1991. DOI: https://doi.org/10.1007/s11135-015-0246-5

Hellevik, O. (2016b). Lave svarprosenter fører ikke nødvendigvis til skjeve resultater. Kronikk Forskning.no. Hentet fra http://forskning.no/meninger/kronikk/2016/06/lave-svarprosenter-forer-ikke-nodvendigvis-til-skjeve-resultater

Hellevik, O. (2016c). Ikke all kunnskap er nyttig for folk flest. Kronikk Forskning.no. Hentet fra http://forskning.no/meninger/kronikk/2016/07/ikke-all-kunnskap-er-nyttig-for-folk-flest

Hellevik, O. (2016d). Misvisende av NRK om frykt for migranter og flyktninger. Debattinnlegg Aftenposten 29.8.2017, seksjon 2 side 15. Hentet fra https://www.aftenposten.no/meninger/debatt/i/VEQBV/Misvisende-av-NRK-om-nordmenns-frykt-for-migranter-og-flyktninger--Ottar-Hellevik

Hellevik, O. (2017a). The U-shaped age-happiness relationship – Real or methodological artifact? Quality & Quantity, (51)1, 77–197. DOI: https://doi.org/10.1007/s11135-015-0300-3

Hellevik, O. (2017b). Kan vi stole på undersøkelsen om forskning? Debattinnlegg Aftenposten 21.9.2017, seksjon 2 side 36. Hentet fra https://www.aftenposten.no/meninger/debatt/i/yaA5A/Kan-vi-stole-pa-undersokelsen-om-forskningsformidling--Ottar-Hellevik

Hellevik, O. (2017c). Muslimers verdier og holdninger. Debattinnlegg Aftenposten 5.11.2017, seksjon 1 side 3. Hentet fra https://www.aftenposten.no/meninger/debatt/i/b96Aq/Lav-svarprosent-betyr-ikke-at-muslimundersokelsen-bor-skrotes--Ottar-Hellevik

Hellevik, O. (2017d). Nords regnestykker. Debattinnlegg Aftenposten 8.11.2017, seksjon 2 side 20.

Hellevik, O. & Hellevik, T. (2017a). Utviklingen i synet på innvandrere og innvandring i Norge. Tidsskrift for Samfunnsforskning, (58)3, 250–283. Hentet fra https://www.idunn.no/tfs/2017/03/utviklingen_i_synet_paa_innvandrere_og_innvandring_i_norge

Hellevik, O. & Hellevik, T. (2017b). Vi ser stadig mer positivt på innvandring og innvandrere. Vitenartikkel Aftenposten 31.8.2017, seksjon 2 side 24–25. Hentet fra https://www.aftenposten.no/viten/i/q5kom/Vi-ser-stadig-mer-positivt-pa-innvandring-og-innvandrere

Hoffmann, C. & Moe, V. (red.) (2017). Holdninger til jøder og muslimer i Norge 2017. Befolkningsundersøkelse og minoritetsstudie. HL-senteret. Hentet fra http://www.hlsenteret.no/forskning/jodisk-historie-og-antisemittisme/befolkningsundersokelse:-holdninger-til-joder-og-a/hl-rapport_13des-web.pdf

Ishaq, B. (2017). Hvem snakker for oss? Muslimer i dagens Norge – hvem er de og hva mener de? Oslo: Cappelen Damm.