Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Retningslinjer og vurderingskriterier for artikkelbasert ph.d

Professor i pedagogikk

Institutt for pedagogikk

Det psykologiske fakultet

Universitetet i Bergen

Rune.Johan.Krumsvik@uib.no

Førsteamanuensis i pedagogikk

Institutt for biologisk og medisinsk psykologi

Det psykologiske fakultet

Universitetet i Bergen

lise.jones@uib.no

Psykolog/vitenskapelig assistent

Institutt for pedagogikk

Det psykologiske fakultet

Universitetet i Bergen

marigaard@hotmail.com

Den artikkelbaserte doktoravhandlingen blir stadig vanligere både nasjonalt og internasjonalt. Men hva er retningslinjene for en slik avhandling og hvordan vurderes kvaliteten på en slik avhandling? Det er dette denne artikkelen fokuserer på i lys av både internasjonal og nasjonal forskning omkring temaet. Gjennom en litteraturreview finner vi at det er publisert relativt få vitenskapelige artikler om temaet, og det er en variasjon både nasjonalt og internasjonalt når det gjelder om utdanningsinstitusjonene har retningslinjer og vurderingskriterier for slike avhandlinger eller ikke. For de utdanningsinstitusjonene som har dette finner man både nasjonalt og internasjonalt mange likhetstrekk, men også en del ulikheter, om hva man forventer av en slik avhandling, hvilke krav det blir stilt til innholdet, samt hvordan den blir vurdert. På basis av dette anbefaler artikkelen at selv om et mangfold tidvis kan være bra, er forutsigbarhet og transparens når det gjelder retningslinjer, krav og vurderingskriterier for kandidatene viktig ut fra et vurderingsperspektiv. Ut fra dette og at PhD-graden er en tverrdisiplinær, internasjonal grad bør man ha noenlunde felles retningslinjer, krav og vurderingskriterier på tvers av fagdisipliner, institusjoner og landegrenser når det gjelder den artikkelbaserte avhandlingen.

Nøkkelord: ph.d, artikkelbasert avhandling, retningslinjer, vurderingskriterier

PhD by publication is becoming increasingly more common both nationally as well as internationally. But what are the guidelines for such a thesis, and how is such a thesis assessed? This is what the present article focuses on, in light of international as well as national research on the topic. Through a literature review we find that there are relatively few scientific articles published on the topic, there is a variation both nationally and internationally in terms of whether educational institutions have policies and criteria for such theses or not. The article finds that there are many similarities both nationally and internationally, but also some differences with regards to what is expected from such a thesis, requirements when it comes to the content, and how it gets assessed. Based on this, the present article recommends that, although diversity can be good at times, predictability and transparency when it comes to guidelines, requirements and evaluation criteria for the candidates are important with regards to evaluation. On this basis and the fact that PhD is a cross-disciplinary, international degree one should as far as possible have fairly common guidelines, requirements and assessment criteria across disciplines, institutions and countries when it comes to the article-based dissertation.

Keywords: ph.d, article-based dissertation, guidelines, assessment criteria

Innledning

Her til lands har det i de siste årene vært gjennomført flere viktige prosesser når det gjelder ph.d-utdanningen, hvor særlig Bolognaprosessen, Nasjonalt organ for kvalitet i utdanningen (NOKUT), Kunnskapsdepartementet, Norges Forskningsråd og Universitets- og høgskolerådet har vært sentrale prosesser og aktører. Det Nasjonale Kvalifikasjonsrammeverket for Livslang Læring sitt nivå 8: ph.d. (3. syklus) er også en viktig del av denne prosessen, og her setter man fokus på hvilke kunnskaper, ferdigheter og generell kompetanse kandidatene skal besitte etter endt ph.d.-løp (Kunnskapsdepartementet, 2014). Dette innbefatter både selve forskeropplæringsdelen og doktorgradsavhandlingen, og det er blant annet forventet i dette kvalifikasjonsrammeverket at ph.d.-kandidaten skal være «(….) i kunnskapsfronten innenfor sitt fagområde» ved fullført doktorgrad (Kunnskapsdepartementet, 2014, s. 25). Dette er ambisiøse mål, og et relevant spørsmål er hvordan ph.d.-kandidaten skal nå slike mål gjennom sitt doktorgradsarbeid. Man kan spørre om ikke markerte endringer og nye samfunnskrav til ph.d. (3. syklus) også genererer et behov for å se nærmere på hvilke kvalitetskrav som stilles til doktoravhandlinger i henhold til de overordnede målene i kvalifikasjonsrammeverket. I Nordisk institutt for studier av innovasjon, forskning og utdannings (NIFU) rapport (2012) «An evaluation of ph.d education in Norway» som ble lagt til grunn for Meld. St. 18 (2012–2013), «Lange linjer – kunnskap gir muligheter» (2013), registrerer man at doktorgradsutdanningen har utviklet seg i positiv retning på flere viktige områder siden den sist ble evaluert i 2002 (Norges Forskningsråd, 2002). Dette gjelder særlig at antallet som tar ph.d.-utdanning, er doblet, gjennomføringsgraden har økt, kjønnsbalansen er bedre, flere institusjoner tilbyr ph.d.-utdanning og det har vært en generell profesjonalisering av hele utdanningen (for eksempel ved å etablere forskerskoler, og lignende) (NIFU, 2012). Samtidig ser man at omfanget på doktoravhandlingene har blitt redusert siden 2002:

Formal requirements for the volume of doctoral dissertations have been reduced since the previous evaluation in 2002, there is no empirical evidence that the quality of the research undertaken has decreased. The survey of foreign members of assessment committees indicates that the majority of ph.d theses (about 60 per cent) are of a very high standard, and additional comments made by the respondents to this survey indicate that, in general, Norwegian ph.d theses are seen as high-performing on an international level (NIFU, 2012, s. 61).

Dette er positive trender for norsk doktorgradsutdanning, men NIFU-evalueringen går ikke dypt inn i de markerte endringene og nye samfunnskrav til ph.d. (3. syklus) og hvordan dette sees i forhold til de kvalitets- og vurderingskrav som stilles til doktoravhandlinger i 2016. Fra et vurderingsperspektiv kan man derfor spørre om man har et tilstrekkelig empirisk grunnlag for å slå seg til ro med at kvaliteten er på topp på alle felt innenfor doktorgradsutdanningen her til lands. Spesielt gjelder dette om det er tilstrekkelig samsvar og koherens mellom den formative vurderingen som kandidaten får gjennom veiledning, forskerskoler, doktorgradsprogram, et cetera, og den summative vurderingen som kandidaten mottar etter innlevert avhandling i form av innstilling fra bedømmelseskomité, prøveforelesning og disputas. Det kan synes som om det er et behov for å utvikle mer oppdatert empirisk kunnskap om de mer konkrete kvalitetsindikatorene, og spesielt vurderingskriterier for artikkelbaserte doktoravhandlinger. Formålet med denne artikkelen er derfor å foreta en litteraturgjennomgang av vitenskapelige artikler om artikkelbaserte ph.d.-avhandlinger i lys av norske forhold, hvilke retningslinjer slike avhandlinger har og hvordan kvaliteten vurderes og bedømmes på en slik avhandling. Forskningsspørsmålet for denne studien er: Hvilke krav, retningslinjer og vurderingskriterier er det for en artikkelbasert ph.d.-avhandling nasjonalt og internasjonalt?1

Bakgrunn

Doktorgrad er den høyeste utdanningsgraden både nasjonalt og internasjonalt, og fra 2003 (da Kvalitetsreformen ble innført med den nye ph.d.-graden) til 2012 har det vært en økning fra 723 til 1461 per år i antall doktorgrader her til lands (altså omtrent en dobling) (NIFU, 2012). Stadig flere tar dermed doktorgrad i dagens utdanningssystem, og i 2010 var 77 % av avlagte doktorgrader i Norge artikkelbaserte avhandlinger. Innen medisin/helse var det hele 99 % artikkelbaserte avhandlinger i 2010, mens innen humaniora er majoriteten monografier (NIFU, 2012). Hovedskillet mellom artikkelbaserte avhandlinger og monografien er at den første inneholder publiserte vitenskapelige artikler og et sammendrag (kappen), mens monografien er en lengre avhandlingstekst som ikke inneholder publiserte artikler.2 Selv om det varierer noe mellom fagområder, finner man også en felles utviklingstendens her til lands i dag; monografier blir det stadig færre av og de skrives oftest på norsk, mens det blir stadig vanligere med artikkelbaserte avhandlinger, og majoriteten av dem blir skrevet på et annet språk (mest engelsk). Det argumenteres på den ene siden med at det er viktig at doktorgrader fremdeles blir publisert på vårt morsmål, både for å bevare norsk som akademisk språk og for å nå ut til den norskspråklige befolkningen, mens det på den andre siden argumenteres for at doktorgrader bør skrives på engelsk da det på dette nivået er viktigst å nå ut til det internasjonale forskningsfelleskapet. Doktorgradsstipendiatene som tar denne type utdanning har 3 eller 4 år på å fullføre graden sin, og selv om de fleste ser på seg selv som privilegert som får motta et utdanningsstipend på cirka 3,2 mill., innebærer stipendiatperioden ofte tidkrevende forskningsarbeid, publiseringspress, stress, språklige barrierer, arbeidskrevende undervisningsplikt, tidspress og usikkerhet om avhandlingsarbeidet til syvende og sist holder mål (Golde, 2000; NIFU, 2012). Dette (samt flere andre aspekter) gjør at stipendiatperioden totalt sett oppleves for mange som både givende, men også svært krevende og uforutsigbar. Stipendiater er også prisgitt et vurderingssystem som kan oppleves som en «black box» og som de vet lite om – både hvordan anonyme fagfeller i vitenskapelige tidsskrift vurderer deres innsendte artikler, samt hvordan doktorkomiteene vurderer doktoravhandlingen når den tid kommer. Fra den formative og summative vurderingsforskning3 (Black, Harrison, Lee, Marshall, & Dylan, 2005; Black & Wiliam, 2009; Carless, Salter, Yang, & Lam, 2010) vet man at forutsigbarhet omkring vurdering har mye å si for hvordan en læringsprosess utarter seg, og for doktorgradsstipendiatene står selvsagt ekstra mye på spill siden både de selv og storsamfunnet har satset så mye på at de skal ende opp med en fullført doktorgrad. Ut fra et vurderingsperspektiv er det derfor viktig at doktorgradsstipendiatene vet hvilke krav, retningslinjer og vurderingskriterier det stilles til artikkelbaserte doktoravhandlinger, men ifølge NIFU (2012) er det 29 % av doktorgradsprogrammene i Norge som ikke har skriftlige retningslinjer for denne typen avhandlinger. Medisin utmerker seg som det fagområdet som har mest presise retningslinjer på tvers av alle institusjoner, mens 7 av 8 naturvitenskapelige fakultet ved norske universitet sier de ikke har slike retningslinjer for naturvitenskaplige artikkelbaserte avhandlinger (NIFU, 2012). Hva sier så nasjonale styringsdokument om dette? Universitets- og høgskolerådet har ikke satt noen rigide krav for hva en artikkelbasert avhandling skal bestå av, men man har noen generelle betraktninger om hva doktoravhandlinger generelt skal bestå av: «The thesis may consist of a monograph or a compendium of several shorter manuscripts. If the thesis consists of several shorter manuscripts, an explanation of how these are interrelated must be included» (UHR, 2015, s. 7). Som man ser, gjelder dette både for monografien og den artikkelbaserte avhandlingen, og UHR understreker at dette er ment som generelle anbefalinger som institusjonene selv må tilpasse til sine doktorgradsprogram. Siden det både er fravær av retningslinjer og variasjon mellom de som har slike retningslinjer her til lands, medfører dette blant annet at det varierer hvor mange artikler en artikkelbasert avhandling skal bestå av og hvor i publiseringsprosessen disse skal være ved innlevering av avhandlingen. Selve publiseringsprosessen innebefatter ofte et omfattende forskningsarbeid hvor utvikling av forskningsdesign, datainnsamling og dataanalyse må være på plass før utviklingen av artikkelmanuskriptet begynner. Alt dette må være ivaretatt før man i det hele tatt kan sende artikkelen inn til en journal. Også selve publiseringen byr på utfordringer; i Alton-Lees (1998) analyse av manuskript innsendt til review i et kjent vitenskaplige nivå 2-tidsskrift nevner hun at: «My approach has been to generate a simple collation from the 369 distinct criticisms4 I noted in 142 reviews» (Alton-Lee, 1998, s. 887). Selv om alle forskere får kritikk fra fagfeller og kritikk er en del av prosessen ved å publisere, fant likevel Alton-Lee en rekke bekymringsverdige tendenser, og spesielt et område var særlig utsatt; «It is clear that there was one outstanding area of criticism. Most authors received some kind of critical comment about their approach or methodology» (1998, s. 890). På et mer generelt grunnlag nevner Boote og Beile (2005) med henvisning til blant annet Alton-Lees (1998) review at: «We speculate that the shortcomings that editors and reviewers bemoan stem from insufficient preparation in doctoral programs» (Boote & Beile, 2005, s. 5). Siden publisering av artikler er svært sentralt i den artikkelbaserte avhandlingen, er det også interessant å rette fokus mot om doktorgradsprogrammene ivaretar denne delen av doktorgradsutdanningen godt nok.

Ser man på hvor i publiseringsprosessen artiklene i artikkelbaserte avhandlinger må befinne seg, så registrerer man at de som har retningslinjer opererer med at de skal være enten publisert, akseptert, innsendt til vitenskapelig journal, presentert på internasjonal konferanse eller «publiserbare» (NIFU, 2012). Selv om hovedtendensen hos de som har slike retningslinjer er minst 3 artikler i en artikkelbasert avhandling, er det noen ph.d.-program som krever 4–5 artikler dersom artiklene har medforfattere. Medisin og helsefag er de som også her har de tydeligste retningslinjene med minst tre publiserte eller aksepterte artikler hvor medforfatterskap er normen og kandidaten skal være førsteforfatter på minst 2 av artiklene (NIFU, 2012). I tillegg har noen doktorgradsprogram egne retningslinjer og krav til det som binder artiklene sammen – et sammendrag eller «kappe», men også her varierer det mellom institusjonene om de har dette eller ikke5. Ser man mer på retningslinjer for selve kvaliteten på en artikkelbasert avhandling her til lands, så har Universitets- og høgskolerådet kommet med noen generelle retningslinjer for ph.d.-graden (som også gjelder monografien): «A doctoral thesis must be an independent research project or research and development project that meets international standards with regard to ethical requirements, academic level and methodology used in the research field. The thesis must contribute to the development of new knowledge and achieve a level meriting publication or public disclosure in a suitable format as part of research-based knowledge development in the field» (UHR, 2015, s. 7). UHR understreker at også dette er ment som generelle anbefalinger som institusjonene6 selv kan tilpasse til sine doktorgradsprogram. Finner man så noen mer konkrete kvalitets- og vurderingskriterier på tvers av fagdisipliner? NIFU (2012) sin evaluering av den norske doktorgradsutdanningen i 2012 bygget på den danske evalueringen av dansk doktorgradsutdanning (Forskerakademiet, 1999) sine kvalitets -og vurderingskriterier: «(a) Originality, (b) depth and coverage, (c) theoretical level, (d) methodological level, (e) skills in written presentation, (f) contribution to the advancement of the field, and (g) external (applied/societal/cultural/industrial) relevance» (NIFU, 2012, s. 53). Som man ser, er dette mer brede vurderingskategorier enn konkrete vurderingskriterier, samt at disse vurderingskategoriene er ment for både monografier og artikkelbaserte avhandlinger. De gir selvsagt noen indikasjoner på hva man vektlegger i vurderingen av avhandlinger i de nordiske landene, men fra vurderingsforskning (Black et al., 2005) kan man likevel spørre om disse noe brede vurderingskategoriene er lett å oppfatte og forstå for de kandidatene som skal få vurdert sitt avhandlingsarbeid ut fra disse.7 Er slike vurderingskategorier på et institusjonelt nivå tilstrekkelig operasjonalisert og konkretisert som tydeligere retningslinjer for at kandidatene skal oppleve nødvendig transparens og forutsigbarhet (slik UHR anbefaler)? Internasjonal vurderingsforskning (Black et al., 2005) tyder på at brede vurderingskategorier (nevnt ovenfor) bør operasjonaliseres og følges opp med mer konkrete vurderingskriterier for at studentene skal forstå hva de vurderes ut fra og bli i stand til å heve kvaliteten på avhandlingen før den summative vurderingen trer inn. Som Black et al. (2005) uttrykker det: «We have learnt that (….) we have to share assessment criteria very explicitly with the student. They need to understand exactly what is required of them in order to improve their work» (Black et al., 2005, s. 25). NIFU-rapporten viser både fravær av retningslinjer og vurderingskriterier ved nesten en tredjedel av institusjonene, og stor variasjon mellom de institusjonene som har det (NIFU, 2012). Ut fra dette kan man spørre om det bør det være noen felles, men også noen ulike vurderingskategorier og -kriterier for henholdsvis monografien og den artikkelbaserte avhandlingen basert på deres ulike egenart? Nyere formativ vurderingsforskning (Black et al., 2005; Black & Wiliam, 2009; Carless et al., 2010) har trolig noe å bidra med her, da NIFU-rapporten (NIFU, 2012) viser at doktorgradsprogrammene i Norge i dag er kvalitetsmessig bedre enn i 2002 på flere områder (NIFU, 2012). Man registrerer at doktorgradsutdanningene ivaretar den formative vurderingen i stipendiatperioden med et økende fokus på kvaliteten av underveisvurdering, veiledning, midtveisevaluering, forskerskoler og opplæringsdelen i doktorgradsprogrammene. Disse forbedringene ble iverksatt ut fra funnene i evalueringen av den norske doktorgradsutdanningen i 2002 (NFR, 2002) og den nevnte vurderingsforskningen, og iverksatt for å støtte opp om kandidatene, la dem delta i et forskerfelleskap og skape forutsigbarhet i stipendiatperioden. Slike forbedringer vil også (i større grad enn i 2002) kunne klargjøre hva som forventes av en doktoravhandling for kandidatene i slike forskningsfelleskap (for eksempel nasjonale forskerskoler og lignende) og delvis veie opp for eventuelle manglende skriftlige retningslinjer for den summative vurderingen av doktoravhandlingen ved institusjonene. I tillegg er den artikkelbaserte avhandlingen basert på en ekstern vurdering underveis i prosessen, da kandidatene får feedback fra anonyme fagfeller når de publiserer artikler i avhandlingen. Denne eksterne kvalitetssikringen underveis kan også sees på som en svært nyttig formativ vurderingsform hvor en (etter hvert) akseptert artikkel er en ekstern, akademisk annerkjennelse av kandidatens arbeid som betyr mye for den «doktorale selvfølelsen» til kandidaten. Dermed har man en del strukturer knyttet til den artikkelbaserte avhandlingen som gjør at kandidatene blir eksponert for formativ vurdering gjennom hele stipendiatperioden, og slik sett legger dette implisitt premissene for den summative vurderingen (det vil si vurdering av doktoravhandling, prøveforelesning og disputas). Fra et vurderingsperspektiv er det likevel en «missing link» her, da man kan argumentere for at med såpass gode og omfattende formative vurderingsstrukturer på plass, er det også viktig å ha de summative vurderingsstrukturene på plass for å skape den nødvendige forutsigbarheten og transparensen for kandidatene. Det er som kjent en mager trøst for kandidatene at prosessen har vært god om man «stryker på eksamen».

Ut fra dette ser man at man finner en viss variasjon på tvers av fagfelt mellom de doktorgradsprogrammene her til lands som har retningslinjer for artikkelbaserte avhandlinger. I tillegg er det nesten en tredjedel av doktorgradsprogrammene som ikke har skriftlige retningslinjer og krav for den artikkelbaserte avhandlingen generelt, og for eksempel når det gjelder hvor mange artikler en slik avhandling skal inneholde. Selv om man kan knytte denne variasjonen til ulike tradisjoner når det gjelder monografi versus artikkelbasert avhandling innenfor ulike fagdisipliner og fagenes egenart, er det likevel grunn til å stille spørsmål om hvorvidt en slik variasjon er gunstig i lys av kandidatenes opplevelse av forutsigbarhet og transparens, formativ/summativ vurderingsforskning, samt om ulike krav, retningslinjer og vurderingskriterier er gunstig og «rettferdig» når kandidatene konkurrerer i samme arbeidsmarked etter endt doktorgrad. Hvilke krav, retningslinjer og vurderingskriterier finner man så internasjonalt når det gjelder den artikkelbaserte avhandlingen? Det skal vi se nærmere på i den neste delen.

Artikkelbasert ph.d. – en litteraturgjennomgang

På grunnlag av forskningsspørsmålet i denne artikkelen søkte vi i databasene ERIC, PsycINFO, PubMed og ISI Web of Science med søkeordene PhD, doctoral, publication, published, dissertation og thesis, i følgende kombinasjoner: PhD OR doctoral AND publication OR published AND dissertation OR thesis. Søket ble avsluttet 10.07.2015 og var avgrenset til artikler publisert etter 01.01.2000, fagfellevurderte (peer reviewed) og engelskspråklige tidsskriftartikler. Vi fikk 697 treff (men noe av dette er duplikat grunnet noe overlapp mellom databasene). Artiklenes relevans for forskningsspørsmålet ble først vurdert på bakgrunn av tittel og sammendrag. 77 artikler ble «screenet» i lys av dette. Ut fra denne første «screeningen» ble 33 artikler valgt ut og gjennomlest i fulltekst. Ut fra denne gjennomlesningen ble til slutt 6 artikler inkludert8 i litteraturgjennomgangen basert på forskningsspørsmålet og som oppfylte følgende kriterier: Artiklene omhandlet beskrivelse av, og/eller krav og retningslinjer, for artikkelbasert ph.d.-avhandling. Også inkludert var artikler med opponenters9 egne tanker om hvordan denne typen ph.d. burde vurderes, utover fastsatte retningslinjer. Eksklusjonskriteriene var artikler som omhandlet avhandling ved monografi uten at det var sammenliknet med eller referert til artikkelbasert avhandling (for eksempel når krav til avhandling gjaldt begge typer). Artikler som fokuserte på publisering fra monografi etter endt studie ble også ekskludert. I tillegg til de 6 artiklene valgte man ut tre rapporter fra eget arkiv av spesiell betydning for forskningsspørsmålet: Powell (2004); Christianson (2015); REF (2014).

Hovedfokus i litteraturgjennomgangen var på selve avhandlingen, heller enn hele ph.d.-forløpet ved artikkelbasert ph.d., da dette var stort sett likt som ved monografi. Noen artikler fokuserte på ph.d.-prosessen og hvordan en best kan arbeide pedagogisk med dette. Dette er et interessant tema, men det ble vurdert som ikke relevant for denne artikkelens forskningsspørsmål da det ikke ga informasjon om artikkelbasert avhandling per se. Tabell 1 viser mer i detalj de ulike søketreffene:

Tabell 1. Søketreff på de ulike databasene

Publisering før fullføring av doktoravhandling

Det kommer frem i litteraturgjennomgangen at det er et økende press blant ph.d.-kandidater på å publisere før fullføring av doktoravhandlingen (Sharmini, Spronken-Smith, Golding, & Harland, 2015). Begrunnelser for dette er blant annet at det vil øke kandidaters arbeidsmuligheter (Sharmini et al., 2015), de vil få en fot innenfor fagmiljøer (Robins & Kanowski, 2008) og de vil forbedre sine skrivekunnskaper og være bedre forberedt på den muntlige eksamineringen (disputasen) (Hartley & Betts, 2009). Institusjonelle motiver som er nevnt, er at det vil øke forskningsproduktivitet (Sharmini et al., 2015) og publikasjonsfrekvensen (Robins & Kanowski, 2008; Christianson, 2015) ved utdanningsinstitusjonene.

Definisjon av artikkelbasert ph.d.

Forståelsen av hva en artikkelbasert ph.d. er, varierer mellom ulike land, mellom ulike utdanningsinstitusjoner og mellom ulike fagdisipliner. Powell (2004) beskriver at mens den tradisjonelle ph.d.-graden vanligvis er basert på et veiledet forskningsprogram, med innlevering av en avhandling (monografi), er en artikkelbasert ph.d. basert på flere sammenhengende fagfellevurderte publikasjoner.

Ifølge Jackson (2013) kan artikkelbasert ph.d. videre deles inn i tre typer:

Den første beskrives som en ph.d. basert på tidligere publikasjoner («ph.d. by Prior Publication»), hvor kandidaten kan inkludere akademiske arbeid som er utført før ph.d.-kandidatur. Det forventes her at kandidaten leverer avhandlingen innen 3–12 måneder etter oppmelding til ph.d.-graden. Et minimumskrav er at kandidaten lager et sammendrag av publiserte artikler samt Curriculum Vitae. Enkelte institusjoner krever en kritisk gjennomgang av publikasjonene (se under).

Den andre typen artikkelbasert ph.d. er av Jackson beskrevet som «PhD by Publication». Ifølge forfatteren likner denne versjonen på det konvensjonelle ph.d.-programmet, men i stedet for en monografi, består selve avhandlingen av en rekke publiserte arbeid samt et sammendrag som gjør rede for helheten i avhandlingen. Registrering og opptaksprosedyrer er de samme som ved konvensjonell ph.d., hvor kandidaten følger et typisk 3–4-årig fulltids program og skal forsvare avhandlingen innen 12 måneder etter innlevering. Det er forventet at kandidaten publiserer tidlig i ph.d.-forløpet, og det indikeres at kandidater med publiseringserfaring kanskje er mest egnet til denne typen ph.d.

Den tredje typen artikkelbasert ph.d. som Jackson beskriver, er «Hybrid PhD by Publication». Dette er en kombinasjon av de to nevnte programmene (hvor tidligere publiserte artikler også kan inkluderes i avhandlingen).

Det finnes også artikkelbaserte ph.d.-program hvor artikler ikke er en del av teksten, men kan legges ved og refereres til i teksten (Christianson, 2015; Powell, 2004). Disse artiklene vurderes for øvrig ikke som en del av avhandlingen, men regnes som «tilleggsdokumentasjon».

Krav og retningslinjer internasjonalt

Eksisterende litteratur viser at det er stor variasjon mellom ulike universiteter og mellom ulike fagområder når det kommer til krav og retningslinjer for artikkelbasert ph.d. Det appelleres gjentakende om universelle retningslinjer, da dette vil gjøre det mer tydelig for studenter, veiledere og opponenter hva som forventes fra denne typen ph.d. (Sharmini et al., 2015).

I en rapport for UK Council of Graduate Education (UKCGE) presenterer Powell (2004) resultatene fra en spørreundersøkelse blant institusjonsledere om artikkelbasert ph.d.-utdannelse utført ved 80 utdanningsinstitusjoner i Storbritannia. Her kommer det frem at kandidater som velger artikkelbasert ph.d. må vurderes i henhold til samme faglige standarder som en tradisjonell ph.d., og i mangelen på offentlige retningslinjer presenterer Powell forslag til hva doktorkomiteer og opponenter bør fokusere på ved bedømmelse av artikkelbasert ph.d.:

  • Evaluere den intellektuelle verdi av kandidatens siterte publikasjoner.

  • Fastslå om kandidaten presenterer et fullgodt argument for sammenheng mellom publikasjonene.

  • Vurdere om publikasjonene og en kritisk gjennomgang tydelig beskriver kunnskapsbidrag til forskningsfeltet.

  • Evaluere om kandidaten har vært nøyaktig i sin kontekstualisering og analysering av publikasjoner i den kritiske gjennomgangen.

  • Vurdere hensiktsmessigheten av metodene som benyttes i forskningen og hvorvidt metodene anvendes riktig.

  • Vurdere kandidatens bidrag til ulike faser av forskningen i publikasjoner med flere forfattere.

  • Fastslå kandidatens «eierskap» til det publiserte arbeidet og kunnskapsstatus (tidligere og nåværende) innen kandidatens forskningsområde.

  • Vurdere kandidatens forskningsferdigheter i form av hans/hennes potensiale til å kunne fortsette som selvstendig forsker.

(Powell, 2004, s. 32. Vår oversettelse)

Disse kriteriene overlapper med vurderingen av tradisjonell ph.d. (som fremstilt av Shaw & Green, 2002), hvilket reflekterer at den artikkelbaserte ph.d. skal ha samme standard som tradisjonell ph.d.

Jackson (2013) forklarer at retningslinjer for artikkelbasert ph.d. stort sett anbefaler en introduksjon som rammer inn avhandlingen, en litteraturreview, en oppsummering av de inkluderte publikasjonene, en metodedel og en konklusjon som sammenfatter hovedfunn, bidrag til forskning og anbefalinger for fremtidig forskning.

Fokus på en tydelig sammenhengende avhandling legges stor vekt på i litteraturen, og Jackson (2013) understreker at for at en artikkelbasert ph.d.-avhandling skal kunne framstå som mer enn summen av publikasjonene, må kandidaten demonstrere en helhetlig sammenheng (koherens) (Jackson, 2013). Dette gjøres vanligvis i en kritisk gjennomgang av publikasjonene, med påvisning av bidrag til forskningsfeltet, akademiske utmerkelser, bevis for fagfellevurdering, beskrivelse og status for hver publisering, og kandidatens bidrag til hver publikasjon i forhold til initiativ og veiledning.

En kritisk gjennomgang av publikasjonene er også et krav hos alle utdanningsinstitusjonene i UKCGE-undersøkelsen beskrevet over (Powell, 2004). Powell påpeker imidlertid at innholdet i et slikt dokument (kappe/sammendrag) fremstår forskjellig på tvers av utdanningsinstitusjonene. For eksempel varier lengden fra 3000 til 25000 ord, og dokumentet kan være beskrevet på forskjellige måter (for eksempel oppsummert rapport, syntese, kritisk essay/gjennomgang/vurdering/analyse). Dokumentet synes også å tjene ulike formål, men det mest vanlige er at det består av en kritisk gjennomgang av de samlede publikasjonene, som plasserer forskningen som er beskrevet i et samlet konseptuelt rammeverk (Christianson, 2015; Powell, 2004). Noen universiteter krever også at kandidater leverer en kritisk vurdering på 1000–5000 ord i et tidlig «prima facie»-stadium av avhandlingen (Badley, 2009).

Ifølge Badley (2009) er de viktigste kvalitetskriteriene originalitet, stringens og signifikans. Dette er også kvalitetskravene som REF (Research Excellence Framework) i Storbritannia stiller til artikler som vurderes for publikasjon (REF, 2014). Badley påpeker imidlertid at dette kan være vanskelig å bedømme, spesielt i fagdisipliner hvor strukturer er mer «flytende» og vage. Sharmini et al. (2015) nevner også at selv med tilgang til spesifikke retningslinjer velger opponenter ofte å bruke samme retningslinjer som ved tradisjonell ph.d., mens noen velger å legge til egne retningslinjer hvor de blant annet vurderer kandidatens bidrag, medforfatteres rolle, og kvaliteten på kandidatens publikasjoner.

Retningslinjer angående medforfatterskap er også varierende (Jackson, 2013). I UKCGE sin rapport fra 2015 antydes det at det innen de fleste utdanningsinstitusjonene stilles krav om at ph.d.-kandidaten identifiserer og gjør rede for alt arbeid i avhandlingen som inkluderer andre enn kandidaten selv (Christianson, 2015). Dette inkluderer publiserte artikler (eller andre element) som inngår som en del av avhandlingen. Noen institusjoner krever at kandidaten skal bekrefte at de har tillatelse fra medforfatterne til å inkludere publikasjonene, mens enkelte institusjoner krever bare at kandidaten er i samsvar med «vanlige retningslinjer om forskningsintegritet» (Christianson, 2015).

Ved europeiske utdanningsinstitusjoner er det vanlig at kandidaten fremfører en muntlig presentasjon (ofte kalt prøveforelesning i Norge) hvor han/hun gjør rede for bakgrunn og aktualitet for emnet for avhandlingen, og presenterer en oversikt over hovedargumentene som skal stilles til forsvar i en disputas (viva) (Christianson, 2015). Det varierer hvorvidt denne delen er med i opponenters bedømmelse av ph.d.-graden, og i UKCGEs undersøkelse viser det seg at de fleste utdanningsinstitusjoner kun bedømmer selve disputasen (Christianson, 2015).

Når det gjelder begrensninger på hvor lang tid som er gått fra artiklene var publisert til registrering av ph.d.-kandidatur, kan dette variere fra to til ti år (Jackson, 2013; Powell, 2004). Det er imidlertid mange utdanningsinstitusjoner som ikke har begrensninger i forbindelse med tidsrom mellom publikasjon og avhandling, og praksis varierer mellom fagdisipliner (Powell, 2004).

Andre krav til artikkelbasert ph.d. som er nevnt i litteraturen, er at det skal være minst to sensorer (ofte kalt komitemedlemmer og opponenter her til lands) hvorav minst en er ekstern (Powell, 2004; Sharmini et al., 2015). Antall publikasjoner varierer i artikkelbaserte avhandlinger fra to (Jackson, 2013) til ti (Powell, 2004), men mange av utdanningsinstitusjonene gir utilstrekkelige retningslinjer om antall og type publikasjoner som skal inkluderes, og det avhenger ofte av fag, individ og prosjekt (Jackson, 2013; Powell, 2004). Det er også godkjent ved en del utdanningsinstitusjoner å inkludere andre bidrag i publikasjoner, som for eksempel medieopptak eller bilder (Jackson, 2013; Christianson, 2015).

Diskusjon

Både nasjonalt og internasjonalt ser man at man finner mye variasjon og ulikheter i retningslinjer og vurderingskriterier for artikkelbaserte avhandlinger. Litteraturgjennomgangen viser at dette har ført til ønsker og anbefalinger om felles retningslinjer for utforming og vurdering av artikkelbaserte ph.d.-avhandlinger (Christianson, 2015; Sharmini et al., 2015). Dette kan i utgangspunktet virke som en ideell løsning, men uenighet om hva graden skal innebære og om vurdering av kandidaters kompetanse, kan gjøre det vanskelig å komme til en felles enighet om slike retningslinjer (se Powell, 2004). Ulike fagdisipliner, som for eksempel naturvitenskap og humaniora, er også tradisjonsmessig forskjellig rent ontologisk, epistemologisk og metodologisk, og dette vil ha betydning for hvordan den artikkelbaserte ph.d.-avhandlingen vurderes. Badley (2009) konstaterer at det er relativt lite forskningslitteratur som omhandler artikkelbasert ph.d., og vi finner den samme tendensen i vår litteraturgjennomgang. Vår litteraturgjennomgang viser at det er et behov for å komme frem til klarere krav, retningslinjer og vurderingskriterier for artikkelbaserte avhandlinger både nasjonalt og internasjonalt. Vi finner også at det er et noe større potensiale for å i større grad anvende den internasjonale vurderingsforskningen (Hattie & Timperley, 2007; Black et al. 2005; Black & Wiliam, 2009; Carless et al., 2010) for å kunne utvikle feltet på dette området. I denne vurderingsforskningen finner man at for at feedback som gis til studenter skal fungere optimalt, bør den på en eller annen måte være knyttet til vurderingskriteriene. Boote og Beile (2005, s. 6) nevner følgende i sin forskningsgjennomgang:

Noting the vagueness and ambiguity of commonly espoused goals for dissertations, these studies analyzed the examiners’ reports to better understand the criteria and standards of evaluation. Many of these studies indicate that examiners often found problems with literature reviews, although criticisms of methodology were a more serious concern.

Ut fra dette og våre egne funn er det åpenbart at også veiledere vil ha god nytte av tydeligere vurderingskriterier for å kunne gi god feedback til doktorkandidaten i henhold til de internasjonale standarder man må forvente på dette nivået.

På bakgrunn av vår litteraturgjennomgang, den nevnte vurderingsforskningen, kvalitets- og vurderingskriterier benyttet i NIFU (2012) sin evaluering av den norske doktorgradsutdanningen i 2012, læringsutbyttebeskrivelsene i 3. syklus (Kunnskapsdepartementet, 2014), samt Powells (2004) vurderingskriterier for doktorkomiteer, vil vi foreslå at man kan konkretisere vurderingskriteriene for artikkelbaserte avhandlinger ved å bruke samme grunntenkning som Boote og Beile (2005) legger til grunn i sin artikkel i Educational Researcher. Under ser man et eksempel på dette når det gjelder å bryte ned de noe brede vurderingskategoriene (ytterst til venstre) til konkrete vurderingskriterier (i kolonnen nest ytterst til venstre) for en litteraturreview i en doktorgradsavhandling. Vi vil hevde at det er mulig å legge til grunn den samme grunntenkningen innenfor alle delene av en doktoravhandling for å ivareta transparensen og forutsigbarheten for kandidatene, men også for å heve kvaliteten på alle delene av en doktorgradsavhandling i den formative vurderingsprosessen, før den summative vurderingen av avhandlingen slår inn.

Tabell 2. Eksempel på vurderingskategorier og vurderingskriterier for en litteraturreview i en doktoravhandling (Boote & Beile, 2005, s. 8).

I tillegg, som Sharmini et al. (2015) finner, bør det også i slike vurderingskriterier vurderes kandidatens bidrag i artiklene, medforfatteres rolle, og kvaliteten på kandidatens publikasjoner i henhold til det internasjonale forskningsfelleskapet og de læringsutbyttebeskrivelsene man finner for ph.d. (3 syklus) i det Nasjonale Kvalifikasjonsrammeverket (Kunnskapsdepartementet, 2014).

Avslutning

Forskningsspørsmålet for denne studien var: Hvilke krav, retningslinjer og vurderingskriterier er det for en artikkelbasert avhandling nasjonalt og internasjonalt? Artikkelen har vist at både nasjonalt og internasjonalt er det relativt få vitenskapelige artikler publisert om den artikkelbaserte doktoravhandlingen, og de man finner viser at det varierer i hvilken grad utdanningsinstitusjonene og doktorgradsprogrammene har retningslinjer, krav og vurderingskriterier til en artikkelbasert avhandling. Etter Bolognaprosessen med felles gradssystem skulle man kanskje tro at dette hadde jevnet seg mer ut, men man registrerer både et fravær av slike retningslinjer, krav og vurderingskriterier, så vel som variasjon mellom fagdisipliner og institusjoner. Man kan selvsagt argumentere for et slikt mangfold i lys av at man overlater vurderingen og vurderingskriteriene av en artikkelbasert avhandling til de ekspertene som er med i doktorkomiteer på det aktuelle fagområdet. Disse oppnevnes nettopp fordi de har såpass lang erfaring med å bedømme vitenskapelige artikler og avhandlinger at de ikke nødvendigvis trenger «instrukser» eller detaljerte retningslinjer for hvordan de skal bedømme kvaliteten på en avhandling. Samtidig kan dette fort bli en noe elitistisk «taus kunnskap» som noen få besitter, men som i begrenset grad er tilgjengelig for de som blir gjenstand for bedømmingen – kandidatene. Fra et vurderingsperspektiv er dette ikke å foretrekke ut fra kandidatenes perspektiv når det gjelder forutsigbarhet og transparensen for noe mange opplever som det ultimate høydepunkt i sin akademisk karriere. Men man kan også argumentere for at det ikke er et enten eller; NIFUs evaluering av doktorgradsutdanningen (2012) avdekket en ganske stor internasjonal enighet om de mer generelle vurderingskategoriene blant de forskerne som var spurt, og derfor vil det ved bruk av slike vurderingskategorier fremdeles være rom for opponenters eget skjønn og ekspertkompetanse innenfor disse mer brede vurderingskategoriene. Men igjen – litteraturgjennomgangen viser at både nasjonalt og internasjonalt får kandidatene selv i varierende grad vite hva retningslinjene og kravene er til en artikkelbasert avhandling, hvilke vurderingskriterier som blir lagt til grunn og hvordan den bedømmes. Med litt forsiktighet kan man også spekulere i om for stor autonomi til doktorkomiteene tidvis kan medføre at enkelte kandidater som møter «snille komiteer» bedømmes «mildere» enn andre, mens andre møter «strenge komiteer» og bedømmes «strengere» enn andre, da komiteene innenfor et slikt vurderingsregime selv bestemmer vurderingskriteriene. Selv om man på alle nivå i utdanningssystemet må leve med at det alltid vil være en viss variasjon mellom vurderingskomiteer, er det spesielt viktig på dette nivået fra et summativt vurderingsperspektiv å gjøre retningslinjer, krav og vurderingskriterier mest mulig transparente for kandidatene (Krumsvik, 2016). Uklare retningslinjer eller fravær av disse kan gjøre kandidatens forutsigbarhet mindre, det kan medføre at arbeidsbelastningen varierer i for stor grad mellom doktorgradsprogrammene og fagdisipliner, for eksempel hvor noen krever 3 «publiserbare» artikler og andre krever 4–5 publiserte artikler før innlevering. Det kan også medføre for ulike krav til kappen (sammendraget), samt at stort sprik mellom doktorkomiteenes syn på kvalitets- og vurderingskriterier gjør at kandidatene i for stor grad bedømmes ulikt. På basis av dette anbefaler vi at selv om et mangfold tidvis kan være bra, er forutsigbarhet og transparens når det gjelder retningslinjer, krav og vurderingskriterier for kandidatene viktig ut fra et vurderingsperspektiv. Dette er også viktig ut fra at en artikkelbasert ph.d.-avhandling i 2016 er et første stadium i en forskerkarriere (mens det tidligere var selve «livsverket») hvor det fra NOKUT er forventet en tydeligere koherens mellom de nye læringsutbyttebeskrivelsene for ph.d. (3. syklus, Kunnskapsdepartementet, 2014), ph.d.-programmenes retningslinjer og doktorkomiteenes vurderingskriterier av artikkelbaserte avhandlinger. I tillegg publiserer dagens ph.d.-kandidater i internasjonale publiseringskanaler, de samarbeider og publiserer sammen med internasjonale forskere, de har internasjonale doktorkomiteer og de konkurrerer i økende grad i samme arbeidsmarked internasjonalt etter fullført doktorgrad. Ut fra dette og at ph.d.-graden er en tverrdisiplinær, internasjonal grad bør man ha noenlunde felles retningslinjer, krav og vurderingskriterier på tvers av fagdisipliner, institusjoner og landegrenser når det gjelder den artikkelbaserte avhandlingen. Dette er også i tråd med Powell (2004) sin relativt omfattende studie blant 80 utdanningsinstitusjoner i Storbritannia og hvor artikkelbaserte ph.d.-er må vurderes i henhold til høye faglige standarder og vurderingskriterier som er forutsigbare og transparente og kjent for både kandidatene, veilederne og bedømmelseskomiteene. Avslutningsvis kan man derfor hevde at vår litteraturgjennomgang viser at de fleste fagdisipliner har et utviklingspotensial når det gjelder å gjøre selve vurderingskriteriene av en artikkelbasert avhandling tydelig for kandidatene. Dette kan gjøres ved å skape tydeligere samsvar og koherens mellom den formative vurderingen som kandidaten får gjennom veiledning, forskerskoler, doktorgradsprogram og så videre, og den summative vurderingen som kandidaten mottar etter innlevert avhandling i form av innstilling fra bedømmelseskomité, prøveforelesning og disputas. Ved å gjøre vurderingskriteriene forutsigbare og transparente (som for eksempel vist i figur 2) unngår man at dette forblir en «black box» for kandidatene i den krevende «akademisk maraton» som en artikkelbasert ph.d. er.

Litteratur

Alton-Lee, A. (1998). A troubleshooter’s checklist for prospective authors derived from reviewers’ critical feedback. Teaching and Teacher Education, 14(8), 887–890.

Badley, G. (2009). Publish and Be Doctor-Rated: The PhD by Published Work. Quality Assurance in Education: An International Perspective, 17(4), 331–342.

Black, P., Harrison, C., Lee, C., Marshall, B., & Dylan, W. (2005). Assessment for learning Putting it into practice. Berkshire: Open University Press

Black, P., & Wiliam, D. (2009). Developing the Theory of Formative Assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5–31.

Boote, D., & Beile, P. (2005). Scholars Before Researchers: On the Centrality of the Dissertation Literature Review in Research Preparation. Educational Researcher, 34(56), 3–15.

Carless, D., Salter, D., Yang, M., & Lam, J. (2010). Developing sustainable feedback practices. Studies in Higher Education, 36(4), 395–407. doi: 10.1080/03075071003642449

Christianson, B. (2015). The Role of Publications and Other Artefacts in Submissions for the UPhD? Rapport for UK Council for Graduate Publication. Hentet fra https://www.ukcge.ac.uk/main/home

Forskerakademiet (1999). Udenlandske bedømmeres vurdering af danske ph.d.-avhandlinger. Århus: Forskerakademiet.

Golde, C. M. (2000). Should I stay or should I go? Student descriptions of the doctoral attrition process. The Review of Higher Education, 23, 199–227.

Hartley, J., & Betts, L. (2009). Publishing before the Thesis: 58 Postgraduate Views. Higher Education Review, 41(3), 29–44.

Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 1(77), 81–112.

Jackson, D. (2013). Completing a PhD by Publication: A Review of Australian Policy and Implications for Practice. Higher Education Research and Development, 32(3), 355–368.

Krumsvik, R. J. (2016). Den artikkelbaserte ph.d.-avhandlingen (under utgivelse). Oslo: Fagbokforlaget

Kunnskapsdepartementet (2014). Nasjonalt kvalifikasjonsrammeverk for livslang læring (NKR). Oslo: Kunnskapsdepartementet.

NIFU (2012). PhD education in a knowledge society. An evaluation of PhD education in Norway. Report 25/2012. Oslo: NIFU.

Norges Forskningsråd (2002). Evaluering av norsk forskerutdanning. Oslo: Norges Forskningsråd

Powell, S. (2004). The Award of PhD by Published Work in the UK. Rapport for UK Council for Graduate Publication. Hentet fra: https://www.ukcge.ac.uk/main/home

REF (2014). Research Excellence Framework 2014: The results. Research Excellence Framework. Hentet fra http://www.ref.ac.uk/pubs/201401/

Robins, L., & Kanowski, P. (2008). PhD by Publication: A Student's Perspective. Journal of Research Practice, 4(2), 1–20.

Schriven, M. (1991). Evaluation Thesaurus. London: SAGE Publications.

Sharmini, S., Spronken-Smith, R., Golding, C., & Harland, T. (2015). Assessing the doctoral thesis when it includes published work. Assessment & Evaluation in Higher Education, 40(1), 89–102.

Shaw, M., & Green, D. (2002). Benchmarking the PhD – a tentative beginning. Quality Assurance in Education, 10(2), 116–24.

UHR (2015). Recommended Guidelines for the Doctor of Philosophy Degree (Ph.d). Oslo: UHR. Hentet fra http://www.uhr.no/documents/150415_Recommende_Guidelines_ for_the_Doctor_of_Philosophy_Degree__PhD_.pdf.

1Forskningsspørsmålet relaterer seg på tvers av fagdisipliner.
2Det kan nevnes at det er stadig vanligere internasjonalt å publisere fra monografien etter innlevering og fullført doktorgrad.
3Formativ vurdering betyr underveisvurdering og summativ vurdering betyr sluttvurdering. Enkelt sagt kan dette skillet beskrives slik: «When the cook tastes the soup, that’s formative; when the guests tastes the soup, that’s summative» (Schriven, 1991, s. 169).
4Hun fant følgende svakheter med disse artikkelmanuskriptene; Lack of Methodological Transparency (66), Unjustified Claims (39), Shortcomings in Format (34), Theoretical Shortcomings (31), Data Analysis Problems (30), Inadequacies in Literature Reviews (29), Insufficient Clarity of Focus (26), Conceptual Confusion (24), Parochial Blinkers (23), Does Not Add to the International Research Literature (21), Failure to Link Findings to the Research Literature (20), Lack of Critical Reflection on Implicit Assumptions (18), Victory 2 Claims (8) (Alton-Lee, 1998, s. 887–889).
5Omfanget på denne kappen varierer også mellom norske utdanningsinstitusjoner; fra cirka 30 sider hos noen ph.d.-program til cirka 100 sider i andre ph.d.-program.
6Dette er regulert gjennom forskrifter for ph.d.-utdanninger ved utdanningsinstitusjonene regulert gjennom Lovdata og hvor Kunnskapsdepartementet og NOKUT er de som formelt godkjenner slike ph.d.-utdanninger.
7Man kan også stille spørsmål om i hvilken grad kandidatene får vite om slike vurderingskategorier ved de ulike doktorgradsprogrammene.
8Disse seks artiklene baserer seg på begrepet «Phd by published work» og ble funnet i disse databasene: ERIC: 1 av 1 relevant, PsycINFO: 0 resultat, Medline: 0 resultat, WoS: 0 resultat. «Phd by publication»: ERIC: 3 av 3 relevant, PsycINFO: 2 av 4 relevant, Medline: 3 av 3 relevant, WoS: 4 av 4 relevant. Noe av dette er duplikat, så man endte opp med 6 vitenskapelige artikler.
9Dette ble tatt med på grunn av at det også var et fokus i NIFU-rapporten (2012) og at disse representerer en viktig ekstern kvalitetssikring av institusjonenes doktorgradsprogram.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon