Jan Fredrik Hovden og Hallvard Moe – heretter H&M – publiserte i NMT 4/19 artikkelen «Hurra! Metodedebatt! Et svar til Rolland», der de kommenterer min artikkel «Ugyldig kritikk av publikumsundersøkelser» i NMT 3/19. I den kritiserte jeg deres artikkel «Automatiserte versus selvrapporterte publikumspraksiser?» i NMT 1/18. Kommentaren deres legger tykk tåke over gjenstanden for min kritikk. Tåken må fjernes, og sikten gjøres klar igjen.

H&M innleder sin kommentar med tankefeilen argumentum ad hominem. De viser til barmhjertighetsprinsippet, «les andres argumenter som mest mulig rasjonelle», og hevder at det, «forsiktig sagt», ikke er «Asle Rollands paradegren». Jeg er «mistenksom, uryddig, og resultatet er en farse». H&M uttrykker forbauselse, forargelse og fornøyelse over å bli kritisert, og virker uvitende om at «the method of science is the method of bold conjectures and ingenious and severe attempts to refute them» (Popper, 1974).

Jeg innledet min kommentar i NMT 3/19 med det jeg oppfattet som H&Ms problemstilling: De ville sammenligne selvrapportering og automatisering for tre formål: å fastslå metodenes kriterievaliditet, altså grad av resultatsamsvar, å finne deres sterke og svake sider, der fasiten er den ukjente innholdsvaliditeten, samt å anbefale eller fraråde bruk av resultatene. Til disse formål sammenlignet de SSBs intervjuundersøkelse Norsk mediebarometer og Kantar TNS’ tv-meterpanel, nå kalt TVOV.

Fra min forståelse av problem og metode gikk jeg rett løs på min hovedinnvending mot undersøkelsesdesignet deres. H&M forutsatte at intervjubasert selvrapportering (SSB) og det de anså for automatisering (TVOV), måler det samme, og de overså at metodene måler ulike fenomener. De er uvitende om at de ikke undersøker automatisert seermåling, samt om at selvrapporteringen i TVOV måler det samme som automatisering. Undersøkelsesdesignet deres mangler definisjonsvaliditet. Det gjør kritikken deres ugyldig, invalid, hva H&M i NMT 4/19 sier at de ikke vil kommentere.

Fravær av definisjonsvaliditet vil si at H&M ikke undersøker det de tror. Når de gjør funn av betydning for det de undersøker, skyldes det derfor flaks. Fordi de undersøker noe annet enn det de tror, er de selv ute av stand til å se sin flaks. Tydelig indignerte kaller H&M det å spekulere i hva de ikke vet, kan eller tror, men tar de til fornuft, vil de se hvor innlysende sant det er.

Fenomenene er mulig og faktisk seing på tv. Faktisk seing er inkludert i mulig seing, men all mulig seing må ikke være faktisk seing. Mulig seing rommer også mulig ikke-seing. Målinger av mulig og faktisk seing gir samme resultat når all mulig seing også er faktisk seing, ellers ikke. Hvis målinger av mulig og faktisk seing begge har innholdsvaliditet, vil de gi forskjellige resultater når ikke all mulig seing også er faktisk seing. Forskjellen vil være høyere anslag for mulig enn for faktisk seing.

Metoder avgjør hva som blir undersøkt, ikke bare hvor godt det blir undersøkt. Med selvrapportering er det kun mulig å måle faktisk seing, med automatisering kun mulig å måle mulig seing. Uten tilgang til hjerneskanning krever måling av faktisk seing selvrapportering. Uten tilgang til observasjon krever måling av mulig seing automatisering. En «seer» er ved selvrapportering en som faktisk ser, ved automatisering en som har hatt mulighet for å se. Ved selvrapportering avgjør de undersøkte hvem som er seer; ved automatisering bestemmer granskerne det. Aspekter ved begge metoder påvirker hvor godt det blir undersøkt, men det er underordnet at de undersøker forskjellige fenomener.

Verken H&M eller deres amerikanske ledestjerne Markus Prior har fått dette med seg. De tar det for gitt at bare faktisk seing blir målt. Prior blir delvis reddet av den flaks at undersøkelsene han sammenligner, måler faktisk seing. Det er ikke uflaks som rammer H&M, men deres manglende blikk for detaljene, der djevelen som kjent ligger.

Prior ville påvise hvordan selvrapportering inflaterer seertallene for nyhetsprogrammer. Han trodde det kunne gjøres ved å sammenligne surveydata med automatiserte målinger. Uten at han ante det, var hans ambisjon å sammenligne selvrapportert faktisk seing med automatisert mulig seing. Det sistnevnte er ikke fasit for det førstnevnte. Metodene måler forskjellige fenomener.

I surveyundersøkelser er målemetoden selvrapportering. Faktisk seing blir målt. Både i USA og i Norge gjennomføres det også automatiserte seerundersøkelser, ved hjelp av det mobile meteret PPM. Prior og H&M sammenligner surveyundersøkelser med stasjonære tv-meterundersøkelser. Der måles bare tv-apparatet automatisk. Verken Prior eller H&M sammenligner således det H&M kaller automatiserte og selvrapporterte publikumspraksiser.

At måling av faktisk seing krever selvrapportering, gjelder også for tv-meterundersøkelser. Der gjøres det ved å gi de undersøkte i paneler med stasjonære tv-metere, instruks om å erklære seg som seere når de selv oppfatter seg som det. Instruksen er «viewing». Seingen er således mer selvrapportert enn ved surveyundersøkelser, der intervjueren gjerne hjelper til. «Viewing» var instruksen i MMIs Norsk TV-meterpanel og i det amerikanske tv-meterpanelet som Prior sammenlignet surveyundersøkelser med. Derfor sammenlignet han undersøkelser av faktisk seing.

Prior hevdet, mot bedre vitende etter artikkelen hans å dømme, at tv-meterdata ikke hviler på selvrapportering. Også H&M visste bedre, også det etter artikkelen deres å dømme, men fordi de fulgte etter lederen, hevdet også de at «meterdata baserer seg ikke på selvrapportering, i hvert fall ikke i tradisjonell forstand». Ironisk nok hadde de rett i det siste, av grunner de ikke kjente til da de skrev det. For de skrev også, feilaktig, at Kantar TNS måler «viewing». Det som hos dem er gjenstand for selvrapportering, er imidlertid ikke tv-seingen, men de undersøktes tilstedeværelse i rom der tv-apparater står på. Instruksen er «presence». Granskeren bestemmer at tilstedeværelse gir mulighet for å se, hvilket er tilstrekkelig til å bli definert som seer.

H&M oppgir Kantar TNS’ prosjektmanual som sin kilde, men den har de ikke lest (godt nok). Det medfører at når de sammenligner resultatene fra tv-meterpanelet med Norsk mediebarometer, sammenligner de ikke to undersøkelser av faktisk seing, men faktisk seing med mulig seing.

H&M sier de blir forvirret av at jeg kritiserer Prior, og forsikrer at de «som Rolland, avviser Priors håpløst naive antakelse om at en kan vurdere presisjonen i surveyundersøkelser ved å måle de mot tv-meteret». Jeg har ikke uttalt dette. Prior sammenlignet ikke selvrapportering og automatisering slik han trodde. Han sammenlignet to former for selvrapportering: den simultane i tv-meterpanelet og den retrospektive i surveyundersøkelsene. Den simultane er totalt overlegen den retrospektive målt 1–3 dager senere. Det tilsier sunn fornuft, og det viser parallellundersøkelser. Tv-meterundersøkelsene kunne altså gitt fasiten for surveyundersøkelsene. Men også Prior overså en detalj: at surveyundersøkelser måler seing uavhengig av hvor og på hva, mens stasjonære tv-metere bare måler seing på stasjonære tv-apparater i private hjem. Høyere seertall er derfor å forvente, og ikke bevis på at surveymetoden – det Prior kaller selvrapportering – inflaterer seertallene.

«Presence» eller «viewing» avgjør hva som undersøkes. Andre metodeforskjeller – jeg drøfter noen av dem i NMT 3/19 – avgjør hvor godt det undersøkes. Det gjør også varianter av instruksene, eksempelvis ved å ekskludere umulig seing fra mulig seing og inkludere lytting i faktisk seing. Som H&M skriver i sin kommentar, er de «selvsagt klar over» at tv-meter og intervju «er to svært ulike undersøkelser, med ulike målemetoder og formål». Men verken i NMT 1/18 eller i NMT 4/19 viser de det minste kjennskap til at ulike fenomener undersøkes. I NMT 4/19 innrømmer de å ha «gått glipp av et interessant skille», det mellom «presence» og «viewing». «Interessant» er et understatement. De hevder at «presence» er sårbart for de samme utfordringene som «viewing», hva de viser med flere eksempler, som samtidig viser at for dem dreier alt seg om hvor godt faktisk seing blir målt. Elefanten i H&Ms rom er hva som blir målt. Hva hvor godt gjelder, konstaterte jeg i NMT 3/19 at de trakk mange feilslutninger fordi de forutsatte at «viewing» ble målt.

Til overmål registrerer jeg at H&M ikke «ser den helt store verdien» ved å få erstattet en skrøne med sannheten om hva som skjedde da TNS Gallup overtok tv-meterundersøkelsen etter MMI, og at de gjør narr av mitt arbeid med å finne ut hvordan skrønen oppsto. Skrønen, som de kolporterte i NMT 1/18, var at MMI bare hadde målt seing på ett tv-apparat per husstand. Hensikten var åpenbart å innbille folk at TNS Gallup målte det samme som før, men på alle apparater, altså grundigere, derfor de høyere seertallene. Sannheten var at TNS Gallup erstattet faktisk seing med mulig seing, hvori opptatt mulig ikke-seing. H&Ms neglisjering av sannheten forklarer hvorfor deres undersøkelse mangler definisjonsvaliditet.

Dette er min hovedkritikk av H&M. Den vil de ikke kommentere. I stedet kommenterer de mye annet, som imidlertid også gir grunnlag for kritikk.

Således sier de seg enige med meg i at vekting bidrar til å gjøre anslag sikrere for befolkningen som helhet (deres utheving), men forårsaker usikre anslag for grupper. Jeg sier meg ikke enig med dem. Det jeg skrev i NMT 3/19, var at selv om vekting kan rette opp kjente demografiske skjevheter, er det fortsatt risiko for at nettoutvalget etter frafall har større tv-konsum enn populasjonen. Hvis intet gjøres for å korrigere dette, vil anslagene både for gruppene og for hele befolkningen bli for høye.

H&M påstår videre at vektbaserte anslag for hele befolkningen ofte er «mer enn godt nok for mediebedriftene eller reklamebyråene», men ikke for politikk og forskning. Deri ligger tre påstander som alle må tilbakevises.

For det første argumenterer de som om uvektede utvalg ubetinget er å foretrekke. Det som er å foretrekke, er utvalg som gjør vekting unødvendig. Når utvalg blir skjeve, er vekting å foretrekke. Jeg registrerer imidlertid at mens H&M ifølge NMT 1/18 hadde valgt å benytte uvektede tv-meterdata, hadde de ifølge NMT 4/19 bare hatt tilgang til uvektede tv-meterdata. De er uenige med seg selv om hvordan dette var, og det skaper uklarhet om hva oppfatningen deres egentlig er. Deres uenighet med seg selv omfatter også vurderingen av resultatenes anvendbarhet. I NMT 1/18 fant de det bare tilrådelig å bruke tv-meterdata til å antyde mønster og trender i ulike gruppers tv-bruk. I NMT 4/19 er det bare helheten i befolkningens tv-bruk de finner det tilrådelig å bruke tv-meterdata til.

For det andre røper H&M uvitenhet når de hevder at anslag for hele befolkningen ofte er «mer enn godt nok for mediebedriftene eller reklamebyråene». Bare i en-kanalsystemet under NRK-monopolet var dette mer enn godt nok. Da var det så likegyldig hvem NRK traff med sine programmer, at det ble ansett for unødvendig med publikumsundersøkelser. NRK kunne fortsatt slik etter at de fikk flere kanaler og mistet monopolet, men valgte da å rette seg mot målgrupper. For de reklamefinansierte mediebedriftene gjelder at også annonsørene henvender seg til målgrupper. Det krever pålitelig statistikk over målgruppers tv-seing. Foruten mediebedriftene, er storforbrukerne av statistikken imidlertid verken annonsørene eller reklamebyråene, men mediebyråene. Med «reklamebyråene» røper medieprofessorene H&M at de ikke vet hvordan medienæringen er organisert.

For det tredje utviser H&M manglende forståelse når de hevder at det er politikere og forskere som har mest grunn til å bekymre seg over kvaliteten på mediebruksstatistikken. Mest grunn har de som bruker sine egne penger på undersøkelsene og på reklamene som gir mediebedriftene reklameinntekter, annonsørene salgsinntekter og mediebyråene provisjonsinntekter. Seertall er valutaen deres. Mistillit til valutaen truer eksistensgrunnlaget deres. De ville vært tryggere om de valgte faktisk seing til valuta, men fikk da ikke brukt samme valuta på alle elektroniske plattformer. Politikere og forskere derimot, bruker ikke sine egne penger på mediebruksundersøkelser. Det er heller ikke dem selv det går ut over når mediebruksstatistikken er feil. Blir feilaktig statistikk brukt regulatorisk, er det mediebedriftene, annonsørene og/eller mediebyråene dette går ut over.

H&M avslutter sin kommentar med den påstand at «Rollands innvendinger berører uansett ikke hovedformålet med vår artikkel». De er «dypt uenige» i mitt «argument at sammenligninger mellom ulike mediebruksmålinger er uinteressante med mindre målet er ’å finne ut i hvilken grad deres sannheter konvergerer’. Poenget med en slik sammenligning» er «åpenhet for å finne interessante forskjeller mellom to dominerende metoder for måling av tv-publikum», skriver de.

Det H&M kaller mitt argument, har de funnet på selv, og er således nok en tankefeil, denne gang stråmannsargumentasjon. Det krenker barmhjertighetsprinsippet. H&M satt i glasshus da de kastet sin første stein mot meg. Jeg uttalte meg ikke om hva som er uinteressant, men om hva som er meningsløst. Det ovenfor kursiverte utdraget fra min tekst, står der jeg tar for meg PPM og Norsk mediebarometer. Jeg skriver at fordi de to metoder undersøker forskjellige fenomener,

er det meningsløst å sammenligne dem for å finne ut hvem som er nærmest sannheten (innholdsvaliditet), og om de måler samme sannhet likt eller forskjellig (kriterievaliditet). De måler ulike sannheter. Måling av samsvar mellom dem gir bare mening dersom formålet er å finne ut i hvilken grad deres sannheter konvergerer, om det som har vært hørbart, også er blitt lyttet til.

Det samme gjelder «presence» og «viewing». Jeg viser i NMT 3/19 hvordan H&M uten å ane det, ved å sammenligne «presence» i tv-meterpanelet med «viewing» i mediebarometeret sannsynliggjør forskjeller i hvor mye av den mulige seingen som er faktisk seing. Det er dette som er «poenget» med å sammenligne «for å finne interessante forskjeller mellom de to dominerende metodene for måling av tv-publikum». H&M er dypt uenige med seg selv.

H&M tar sitatet ut fra sin sammenheng. Bestrider de gyldigheten av argumentet det er hentet fra, er de uimottakelige for fornuft. Bestrider de den ikke, men likevel forblir dypt uenige med meg, må de mene det er interessant å vite forskjellene mellom målingene, men ikke likhetene, interessant å vite hvor lite av den mulige seingen som er faktisk seing, men ikke hvor mye, interessant å vite om glasset er halvtomt, men ikke om det er halvfullt. Halvtomt og halvfullt må de mene at er uforenlige motsetninger, ikke motsatte uttrykk for nøyaktig det samme.

H&M kjenner seg uthengt som Don Quijote i kamp mot vindmøllene, og forsikrer at det ville vært «uutholdelig lett» for dem å ta igjen med samme mynt om ikke de holdt seg for gode til det. Jeg ser deres kamp mot halvfulle og for halvtomme glass, og spør som dem: Hva skal man si? Jo, at rasjonell argumentasjon, forsiktig sagt, ikke er H&Ms paradegren.

Referanse

Popper, K. R. (1974). Objective Knowledge: An Evolutionary Apporoach. Oxford: Oxford University Press.