I Nytt Norsk Tidsskrift 3/2019 hevder Torkel Brekke at «ved en del norske institusjoner representerer bruken av [publiserings]indikatoren et totalhavari for ansvarlig lederskap». Bruken av det såkalte tellekantsystemet for å måle kvaliteten på enkeltforskeres arbeid er etter sigende «et politisk problem som må tas på største alvor» (Brekke 2019: 286). Kraftsalvene har fått stor oppmerksomhet, godt hjulpet av en Civita-frokost med høyere utdannings- og forskningsminister Iselin Nybø og artikler i blant annet Khrono og Forskerforum.1 Belegget for Brekkes påstander kan imidlertid ikke bære storslegga hans.

Utgangspunktet for Brekkes artikkel og frokostmøtet med statsråden er en intervjuundersøkelse to statsvitenskappraktikanter ved Civita gjorde for ham våren 2019 (Brekke, Netteland og Busengdal 2019). Tjue instituttledere – de aller fleste humanister og samfunnsvitere – ble spurt om tellekantsystemet er «et verdifullt redskap i vurderingen av kvaliteten på forskningen til de fast ansatte», og om publikasjonspoeng benyttes «for å vurdere forskere i forbindelse med vurdering av lønn, forskningsmidler, forskningsfri eller annet». Tre sa ja på det første spørsmålet; ni sa ja med forbehold – hva slags forbehold fremgår ikke. To sa de bruker publikasjonspoeng i lønnsvurderinger, sju for å vurdere tildeling av forskningsfri og forskningsmidler, fem for å vurdere innsatsen generelt – hva enn det betyr.

Jeg vet ikke hvor mange instituttledere det finnes i landet innenfor humaniora og samfunnsvitenskap, men jeg vil tro over hundre. Praktikantene har i så fall snakket med mindre enn en femdel. Rapporten sier ingenting om hvordan de ble valgt ut, eller hvor stor svarprosenten var. Representativitet drøftes ikke. Jeg er selv et av intervjuobjektene. Intervjueren fortalte at mange sa nei da de hørte han kom fra Civita. Altså er det en skjevhet i utvalget som det ikke sies noe om i rapporten. Rapporten har nesten ingen andre data om instituttledernes syn enn de jeg har gjengitt her. På grunnlag av mitt eget intervju forstår jeg det godt. For de nyansene jeg – og trolig andre intervjuobjekter – prøvde å forklare intervjueren, kan ikke ha vært lett å få inn i Brekkes skjema.

Kanskje dette kan være stedet for utdypende konkretisering. På mitt institutt tildeler vi forskningstermin til aktive forskere. For å avgjøre hvem som faller inn under dette begrepet, bruker vi publiseringsindikatoren som utgangspunkt. Vår definisjon av en aktiv forsker er en forsker som publiserer minst én vitenskapelig antologi- eller tidsskriftartikkel i året. Publiserer forskeren mye sammen med andre, bør hen publisere flere artikler. Publiserer hen på nivå 2, kan publiseringstakten være lavere, siden det er vanskeligere å få artikler på trykk. Skriver forskeren monografier, kommer de også sjeldnere. Publiseringsindikatoren er en grei måte å finne ut hvem som er aktive forskere etter denne definisjonen: nemlig de som har minst 2,1 publikasjonspoeng de siste tre årene. (En antologiartikkel på nivå 1 gir 0,7 poeng.)

Jeg synes ikke en slik bruk av publiseringsindikatoren er et politisk problem som må tas på største alvor. Jeg synes tvert om det er fornuftig å benytte den på dette viset. Jeg er også rede til å forsvare liknende bruk av den som en av flere faktorer ved vurdering av lønn: Indikatoren er en enkel og tidsbesparende måte å se hvem som publiserer mye forskning, og hvem som publiserer lite eller ingenting. Mener Brekke at enhver tallfesting av enkeltforskeres vitenskapelige publisering er totalhavari? Det kan han umulig mene. Så hvorfor bruke så store ord – på grunnlag av en undersøkelse med et så skjevt utvalg og så unyanserte kategorier?

I tillegg til det studentarbeidet som foranlediget NNT-artikkelen, Civita-frokosten og de etterfølgende presseoppslagene, og som verken kan understøtte ordbruken eller oppmerksomheten, viser Brekke i sin artikkel til Kaare Aagaards undersøkelse, som var ledd i regjeringens evaluering av publiseringsindikatoren i 2014 (Aagaard 2015). I underkant av førti prosent av Aagaards respondenter blant instituttledere sa seg helt eller delvis enig i at indikatoren «is used as an assessment criterion in discussion with individual researchers concerning salary increases or bonuses» (Aagaard 2015: tabell 7). Brekke mener dette «åpenbart er et grovt misbruk av indikatoren» (Brekke 2019: 284). Mon det.

Tellekantsystemet kan misbrukes. Forholdsvis vilkårlige skiller mellom en del tidsskrifter og forlag på nivå 1 og 2 gis etter min mening urimelig stor oppmerksomhet – selv om det også er åpenbare nivåforskjeller mellom noen kanaler. Men Brekke skyter spurv med løskrutt. Det smeller kraftig, men treffsikkerheten er lav. Det er ikke gitt at enhver kvantifisering av forskningsproduksjon på individnivå – enten det gjøres med eller uten publiseringsindikatoren – er av det onde. Jeg vil be Brekke og leserne tenke grundigere over hvordan ansvarlige instituttledere kan vurdere de ansattes vitenskapelige arbeider for å avgjøre hvem som bør tilgodeses med ekstra ressurser. Skal vi lese dem selv? I så fall ville jeg ikke fått gjort annet – og jeg tror både arkeologer, konservatorer og en del historikere på instituttet mitt med god grunn ville betakke seg for at min vurdering skulle tillegges særlig vekt. Skal vi sette ned sakkyndige komiteer? Vitenskapelig ansatte har annet å gjøre enn å vurdere kvaliteten på kollegers forskning. Vi sparer denne tiden til der det virkelig trengs: ved ansettelser og professoropprykk.

Hva skal så være vurderingsgrunnlag for å dele ut begrensede goder – forskningstermin, forskningsmidler, lønnsøkning – til de som har gjort seg mest fortjent til det i form av mye eller fremragende forskning? Kan vi benytte oss av de vurderingene som er foretatt av forskere med ekspertise på spesifikke felter, når de har vurdert hvorvidt et arbeid innenfor dette feltet er godt nok til å bli publisert – enten i en vanlig vitenskapelig kanal eller aller helst i de kanalene der nåløyet er trangest, kvalitetskontrollen formentlig sterkest og leserkretsen videst, altså nivå 2? I så fall kan publiseringsindikatoren være nyttig også på individnivå, selv om den ikke ble utviklet for det formålet. Kan siteringsindekser for enkeltarbeider være et alternativ? Det finnes gode grunner til å være varsom med dette, særlig innenfor humaniora og en del samfunnsfag (Sivertsen 2016). Er forskerens ansiennitet, rykte eller bekjentskaper bedre grunnlag å fordele godene ut fra? Eller er den eneste formen for ansvarlig instituttlederskap å dele alt likt, så det ikke spiller noen rolle hvor mye og hvor man publiserer, eller hvor mye man blir lest og sitert?

Slike spørsmål har ikke enkle svar. Publiseringsindikatoren er langt fra perfekt. Men systemet for fordeling av knappe goder før tellekantsystemet var enda mindre perfekt – i hvert fall hvis man etterstreber et slags meritokrati. Kanskje vil utviklingen av bibliometrien med åpen forskning og avanserte bruksindekser gi oss bedre redskaper om noen år. I mellomtiden vil det være fint om Torkel Brekke lar storslegga ligge igjen på land når han begir seg ut på tynn is.

Referanser

Brekke, T. (2019). «Akademia i endring – åpen publisering og forskningskvalitet». Nytt Norsk Tidsskrift, 36(3): 280–287. https://doi.org/10.18261/issn.1504-3054-2019-03-10

Brekke, T., A. Netteland og H.S. Busengdal (2019). Hvordan bør vi måle forskningskvalitet? Civita-notat nr. 26/2019. https://www.civita. no/publikasjon/hvordan-bor-vi-male-forskningskvalitet [lastet ned 5.11.2019]

Sivertsen, G. (2016). Vekt på forskningskvalitet: En mulig utvidelse av publiseringsindikatoren med en siteringsindikator. NIFU Arbeidsnotat 2016:9. https://www.nifu.no/publications/1370527/ [hentet 5.11.2019]

Aagaard, K. (2015). «How incentives trickle down: Local use of a national bibliometric indicator system». Science and Public Policy, 42(5): 725–737. https://doi.org/10.1093/scipol/scu087