Over to debattinnlegg i Norsk medietidsskrift (3/19 og dette nummer) har Asle Rolland tatt for seg, fortississimo, først vår artikkel «Automatiserte versus selvrapporterte publikumspraksiser? Metodiske utfordringer med tv-metere og spørreundersøkelser» (NMT 1/18), og deretter også vårt innlegg fra NMT 4/19. Vi vil understreke en gang til at det er viktig med faglig debatt om metodene vi benytter for å forstå mediebruk. Det er prisverdig at Rolland tar seg tid til å skrive engasjerte innlegg. Som vi skrev sist bidrar han med flere gode poenger og ny innsikt, blant annet ved å påpeke ting vi hadde oversett i vår opprinnelige artikkel. Likevel er vi dessverre, som i første runde, noe usikre på hva som er rettet mot vår artikkel, og hvor mye som skyldes at vi har rotet oss inn i skuddlinjen eller forveksles med andres posisjoner. Det er ikke fordi vi forsøker å tåkelegge, som Rolland skriver. Hans siste innlegg styrker vår mistanke om at uenigheten skyldes en svært ulik oppfatning om hva vår artikkel forsøker å gjøre, og også en ulik vurdering av kompleksiteten i de utfordringene som ligger i å studere medienes publikum. Det er verdt noen avsluttende ord.

Dersom Rolland hadde hatt rett i at vår sammenligning av forskjellene mellom Norsk Mediebarometer (heretter NMB) og Kantar TNS’ panel som i dag heter TVOV hadde som mål å gjøre en test av den relative validiteten til disse metodene for å måle tv-publikumet, så ville vi også ment det var en dårlig ide – og trolig mye dårligere enn det Rolland selv mener den er. Vi vet alle at NMB og TVOV bruker helt ulike innsamlingsmåter (survey kontra ulike typer registrering), dels innrettet på å måle litt ulike ting, og hver av fremgangsmåtene er, som velkjent i metodelitteraturen, generelt forbundet med å gi ulike føringer på informantenes svar, som resulterer i litt ulike bilder av publikum (se f.eks. Ang, 2006, og Foddy, 1994). Hvordan dette slår ut for spesifikke tema og spørsmål varierer nok i tillegg svært mye. Det sentrale er likevel at det jo ikke er slik at en metode eller et spørsmål har dårlig eller god validitet per se. Validitet handler jo om i hvilken grad påstander om virkeligheten er plausible. En slik test måtte derfor for det første klargjøre hvilke aspekt av «publikum» (et begrep som, om det står alene, bare er en svart boks) man vil studere: Er det om man befinner seg foran skjermen? Oppmerksomhet? Engasjement? Hva man husker eller på andre måter tar med seg etterpå? Fraværet av en slik klargjøring, sammen med de åpenbare forskjellene i mål, metoder og applisering i disse to undersøkelsene – ytterligere komplisert av at Kantar TNS har gjort viktige endringer i fremgangsmåten i løpet av sammenligningsperioden – gjør at det ville være svært merkelig å forvente at de to undersøkelsene burde ideelt sett måle det samme. Og det gjør vi da selvsagt ikke.

Vi mener videre at man i vurderingen av forskjeller mellom publikumsundersøkelser må ha en viss distanse til den validitets- og reliabilitets-terminologien som i dag nesten totalt dominerer den kvantitative samfunnsvitenskapen. Denne tenkingen, som har utspring i eksperimentmetoder i psykologien (Campbell, 1957), er gjennomsyret av en epistemisk fundamentisme (se f.eks. kritikken fra Hammersly, 2008), i dette tilfellet en tro på en sannhet uavhengig av metoder, teorier og forskningsspørsmål. Det burde gi litt kaldt vann i blodet for medieforskere med interesse for medieresepsjon utover hvor mange som ble eksponert for et mediebudskap én dag.

Av mange slike grunner er derfor artikkelens ambisjoner nokså beskjedne og eksplorative, nemlig å sammenligne tallene fra de to undersøkelsene, ikke for å «teste» deres respektive validitet, ikke for å «anbefale eller fraråde bruk av resultatene», men for å studere hvilke statistiske forskjeller vi finner og reflektere over hvorfor de framstår som de gjør. I det dugnadsprosjektet som medieforskningen er, håpte vi vårt arbeid også i tillegg kunne bidra til mer metodisk oppmerksomhet og debatt om disse viktige undersøkelsene, og kanskje endatil tjene som inspirasjon til videre studier. Vi mener fortsatt at å studere forskjeller mellom undersøkelser og metoder er et spor det er verdifullt for medieforskere å følge. En interessant debatt her er f.eks. journalistikkforskeres diskusjon av tidsbruk («time spent») basert på digitale brukerspor på nettet som mål på nyhetsbruk (se f.eks. Kormelink og Meijer, 2019, for en kritikk av tidsbruk som måleenhet, basert på intervju med brukere). Et annet interessant spørsmål i dag er også hvordan såkalte stordataanalyser endrer bildet (for eksempel Nelson og Webster, 2016).

At Rolland forstår vår artikkel så forskjellig fra oss skyldes sikkert dels at vi ikke er gode nok til å formidle formålet med denne. Resultatet er likevel en kritikk som vi ikke mener oss truffet av.

Utover dette følger Rolland opp med flere kommentarer om vekting. Det er et interessant tema, men samtidig langt mer omfattende enn vi kan gå skikkelig inn i her. Vi mener ikke, som han påstår, at uvektede utvalg er generelt å foretrekke, men vi så det i vårt tilfelle interessant å studere tallene før vektingen ble gjort. Vi virker videre være enige om det rent statistiske (som at vekting kan bidra til korreksjon av noen typer skjevheter på aggregert nivå), men oppfatter oss som mye mer tvilende til i hvilken grad vekteformler kan regne seg bort fra problemer som oppstår med ikke-tilfeldige (det vil si, sosiologiske) årsaker til ulik deltagelse.

Rollands refleksjoner om bransjens og beslutningstakeres behov for presise publikumsdata er verdt å lytte til, siden vi vet at dette er noe han har mye erfaring med. Enkel innsikt fra politisk økonomi og vitenskapssosiologi (se f.eks. Latour & Woolgar, 1979) – og egne erfaringer – tilsier samtidig at produksjon, bruk og verdsetting av kunnskap om medienes publikum er preget av de sosiale miljøene og institusjonene dette foregår i. Hva som er «gode data» i publikumsforskningen varierer slik nok alt ettersom hvor man sitter og hvilke formål man har med disse dataene. Igjen er dette en oppfordring til kvalitative studier av hvordan slike undersøkelser blir utformet, gjennomført og fortolket av meningsmålingsbyråene og andre medieforskere – i samspill med statsadministrasjonen, bransjen og mediepolitikere.

Rolland mener vi ikke vet hvordan medienæringen er organisert (det handler om aktører i annonsemarkedet). Vi har ingen problemer med å innrømme at vi finner dette krevende å følge med på – og kanskje er vi ikke de eneste? Mye av bransjen framstår underbelyst i forskningen og lærebøkene. Det inkluderer i dag for eksempel aktører som er involvert i innsamling av data om brukere, målgruppeinnretning og annonsesalg. Her er Karen Buzzards (2012) historiske framstilling om det amerikanske markedet, som vi refererte til i vår artikkel, ett bidrag, ett annet er Joseph Turows arbeider (f.eks. Turow 2011). Behovet for å studere disse aktørene blir ikke mindre med de senere årenes utvikling av nettmedier, og for eksempel av algoritmestyrte anbefalingssystemer.

For norske medievitere med interesse ikke bare for å studere medienes publikum, men også for grunnlaget som vår kunnskap om disse hviler på, er det et skiftende og utfordrende – men også nokså lite utforsket – landskap som venter.

Referanser

Ang, I. (2006). Desperately seeking the audience. London: Routledge.

Buzzard, K. (2012). Tracking the Audience: The Ratings Industry from Analog to Digital. New York: Routledge.

Campbell, D. T. «Factors relevant to the validity of experiments in social settings.» Psychological bulletin 54.4 (1957): 297. https://doi.org/10.1037/h0040950

Foddy, W. H. (1994). Constructing questions for interviews and questionnaires. London: Cambridge university press.

Hammersly, M. (2008). «Assessing Validity in Social Research». Sage Handbook of Social Research Methods. London: Sage.

Kormelink T. G. and Meijer I. C. (2019). A User Perspective on Time Spent: Temporal Experiences of Everyday News Use. Journalism Studies 21: 271-286. https://doi.org/10.1080/1461670x.2019.1639538

Latour, B. og Woolgar, S. (1979). Laboratory life: The construction of scientific facts. Princeton University Press.

Nelson J. L. og Webster J. G. (2016). Audience Currencies in the Age of Big Data. International Journal on Media Management 18: 9-24. https://doi.org/10.1080/14241277.2016.1166430

Turow J. (2012). The Daily You: How the New Advertising Industry Is Defining Your Identity and Your Worth, New Haven, CT: Yale University Press.