1.1 Hva er TIMSS?

Trends in International Mathematics and Science Study (TIMSS) er en internasjonal studie i matematikk og naturfag for grunnskolen, som fra og med 1995 har blitt gjennomført hvert fjerde år. Norge har deltatt hver gang bortsett fra i 1999. TIMSS administreres av den internasjonale organisasjonen International Association for the Evaluation of Educational Achievement (IEA).

1.2 Hva er hovedhensikten med TIMSS-studien?

Informasjon om elevers læringsutbytte i sentrale skolefag er svært viktig å skaffe til veie for å kunne utforme et lands utdanningspolitikk. Et av de viktigste formålene med TIMSS er å kunne presentere data av høy kvalitet om elevers prestasjoner i de to skolefagene matematikk og naturfag. Gjennom spørreskjemaer til elever, lærere, rektorer og foreldre samler man dessuten inn mye relevant bakgrunnsmateriale som gir et godt grunnlag for å analysere hvilke faktorer som henger sammen med gode læringsresultater. Designet til TIMSS gjør at man også kan vise utvikling av prestasjoner over tid, dvs. om elevpopulasjoner presterer svakere eller bedre enn i tidligere studier (se kap. 1.4). TIMSS gir derfor viktige bidrag til forståelsen av hvordan utdanningssystem fungerer, og er et solid grunnlag for å drøfte og initiere endringer og reformer.

Fra og med høsten 2014 ble norske skolers deltakelse i TIMSS gjort obligatorisk. Dette kom som en følge av at Kunnskapsdepartementet vurderte at deltakelse i internasjonale undersøkelser skulle anses å falle inn under paragraf 2-4 i forskrift til opplæringslova, som blant annet sier at «Elevar skal delta i prøver, utvalsprøver og andre undersøkingar fastsette av departementet».

1.3 Hvilke data samles inn i TIMSS?

Følgende datakilder brukes i TIMSS:

  1. Oppgavehefter til elever

  2. Spørreskjema til elever

  3. Spørreskjema til lærere

  4. Spørreskjema til rektor/skoleleder

  5. Spørreskjema til foreldre/foresatte på barnetrinn

Pkt. 1 og 2; oppgavehefter/spørreskjema til elever: Alle elever som deltar i TIMSS, besvarer ett oppgavehefte og ett spørreskjema. Det er 14 ulike oppgavehefter for hvert trinn. Noen av oppgavene i disse heftene vil være de samme, men det vil som regel kun være to elever i hver klasse som får helt identiske hefter. Alle data knyttet til elevenes faglige prestasjoner er hentet fra oppgaveheftene.

Gjennom elevspørreskjemaet samles det inn bakgrunnsdata som benyttes i analysene. Blant annet finnes spørsmål om motivasjon, mobbing, undervisning og hjemmebakgrunn. Spørreskjemaet er det samme for alle elevene på samme trinn, og det er kun marginale forskjeller mellom det som brukes på barnetrinnet, og det som benyttes på ungdomstrinnet.

Pkt. 3; spørreskjema til lærere: Alle realfagslærerne i de klassene som deltar i TIMSS, besvarer spørreskjemaer. Det er ett for matematikk og ett for naturfag. Spørsmålene er i hovedsak knyttet til forskjellige aspekter ved undervisningen, som for eksempel hvilke temaer som har blitt gjennomgått, og hvilke arbeidsmåter som benyttes. I tillegg finnes blant annet spørsmål om lærernes formelle faglige kompetanse, om de har deltatt på etter- og videreutdanning, og hva som hemmer undervisningen.

Pkt. 4; spørreskjema til rektor/skoleleder: Rektor eller en annen skoleleder svarer på skolespørreskjemaet. Det inneholder spørsmål knyttet til forhold ved og omkring skolen, for eksempel type kommune, antall dager undervisning pr. år, utstyr på skolen, leksehjelp, sikkerhet og skolemiljø, rektors bakgrunn m.m.

Pkt. 5; spørreskjema til foreldre/foresatte: Spørreskjemaet til foreldrene (kun på barnetrinn) inneholder blant annet spørsmål om samarbeid hjem–skole, elevenes tidsbruk på lekser, om eleven gikk i barnehage, og tidlige lese- og regneferdigheter.

Pkt. 3, 4 og 5: Generelt kan man si at bakgrunnsdataene som samles inn gjennom disse spørreskjemaene, brukes for å finne ut mer om hvilke faktorer som henger sammen med et godt læringsutbytte for elevene. Analyser av disse dataene gir derfor utdanningsfeltet viktig og relevant informasjon i arbeidet med å styrke elevenes læring.

1.4 Hvilke spesifikke styrker har designet i TIMSS?

I TIMSS trekker man ut hele skoleklasser som deltakere i studien. Disse trekkes ut slik at man får et statistisk representativt utvalg av elever på det aktuelle trinnet. Dette designet gjør at man kan undersøke sammenhenger mellom faktorer på elevnivå, klassenivå og skolenivå. Dette er en stor styrke i TIMSS. Eksempelvis kan man undersøke:

  • Sammenhenger mellom undervisningskvalitet og elevenes læringsutbytte (prestasjoner og motivasjon)

  • Sammenhenger mellom tidlig læring i hjem og barnehage og faglig forståelse på barnetrinnet

  • Hvilke faktorer som kan bedre elevers motivasjon til å arbeide med matematikk og naturfag

  • På hvilken måte faktorer som inngår i et godt skolemiljø, henger sammen med elevenes læringsutbytte

At man i TIMSS har statistisk representative utvalg av elever, gjør det mulig å generalisere funn fra det aktuelle utvalget til hele populasjonen. Dette gjør funnene spesielt interessante. En slik type generalisering er ikke mulig å gjøre i case-studier, som ikke opererer med representative utvalg.

1.5 TIMMS som trendstudie; hva innebærer det?

TIMSS har et design som gjør det mulig å undersøke trender. Dette vil si at man kan sammenlikne elevenes faglige prestasjoner og andre faktorer som for eksempel motivasjon og skolemiljø over tid. I kapittel 11 vil det bli gitt en mer inngående forklaring av hva et slikt design innebærer.

1.6 Hvilke land deltar i TIMSS 2015?

I underkant av 60 land fra alle verdensdeler er med i TIMSS 2015. Europa utgjør den største gruppen (29 land), men det er også mange land fra Asia1 (10) og Midtøsten (11). 9 av landene fra Midtøsten bruker arabisk som testspråk. Det er imidlertid liten deltakelse fra Sør-Amerika (kun Chile) og fra land som ligger sør for Sahara (Botswana, Egypt og Sør-Afrika). USA, Canada, Australia og New Zealand deltar også i TIMSS 2015. Av de nordiske landene er det bare Island som ikke deltar i denne runden av TIMSS. Finland og Danmark deltar imidlertid bare på barnetrinnet, mens Sverige og Norge deltar både på barnetrinnet og på ungdomstrinnet.

1.7 Hvor gamle er elevene som deltar i TIMSS?

Hovedregelen i TIMSS er at studien skal gjennomføres mot slutten av 4. trinn og 8. trinn i alle deltakerland, og at gjennomsnittsalderen til elevene må være minimum 9,5 år (4. trinn) og 13,5 år (8. trinn). Gjennomsnittsalderen for elevene som deltar, varierer en god del mellom land. I TIMSS 2011 var gjennomsnittsalderen for elevene på barnetrinnet fra 9,7 år til 11,2 år. På ungdomstrinnet varierte gjennomsnittsalderen fra 13,7 år til 14,9 år (unntak for Ghana med 15,8 år). Disse forskjellene må i stor grad tilskrives det at elever i de aktuelle deltakerlandene starter sin skolegang på ulike tidspunkt. I noen land må dessuten elevene gå om igjen hvis de stryker på avgjørende tester/eksamener, noe som også kan bidra til å øke gjennomsnittsalderen.

1.8 TIMMS 2015: Hvilke elever testes i Norge?

TIMSS tester altså elever på både barnetrinnet og på ungdomstrinnet. Norge deltar i TIMSS 2015 med elever fra fire trinn: 4., 5., 8. og 9. trinn. Dette skyldes følgende omstendigheter: I tidligere TIMSS-studier har de norske elevene (4. og 8. trinn) vært blant de desidert yngste i begge populasjoner. I TIMSS 2011 var for eksempel gjennomsnittsalderen for de norske elevene 9,7 år (4. trinn) og 13,7 år (8. trinn), mens de danske, svenske og finske elevene var blant de eldste og nokså nøyaktig ett år eldre enn de norske. Hovedgrunnen er at elevene i de andre nordiske landene begynner sin skolegang det året de fyller 7 år, mens norske elever som kjent starter skolen det året de fyller 6. I de øvrige nordiske landene defineres 6-åringenes aktiviteter som førskole, men deltakelsesprosenten er nær 100 prosent. Danmark har gjort førskolen obligatorisk2. En case-studie indikerer dessuten at innholdet i svensk førskole og vårt 1. trinn er ganske likt (Bjørnestad, 2009). Et annet viktig poeng er at man i de andre nordiske landene starter med leseopplæring allerede i førskolen, det vil si når barna er 6 år (OECD, 2014). I Norge har vi også leseopplæring for 6-åringene, men dette skjer altså på vårt 1. trinn. På bakgrunn av disse omstendighetene sendte Utdanningsdirektoratet (Udir) i 2013 en søknad til IEA om tillatelse til å teste elever fra 5. og 9. trinn i stedet for 4. og 8. trinn. Man fikk gjennomslag for denne argumentasjonen, og fra og med 2015 vil altså 5. og 9. trinn i Norge være det som kalles «target grades» i TIMSS. For å opprettholde trendmålingene bestemte imidlertid Udir at norske elever fra 4. og 8. trinn også skulle delta i TIMSS 2015. I den internasjonale rapporten for TIMSS 2015 er de norske resultatene basert på data knyttet til 5. og 9. trinns elever, bortsett fra når trender presenteres. Da benyttes data fra 4. og 8. trinn.

Norske elever (5. og 9. trinn) vil i TIMSS 2015 være blant de eldste elevene som deltar i denne studien, men nå er de altså jevngamle med de øvrige nordiske TIMSS-elevene. Det gjør at alle typer sammenlikninger med de andre nordiske landene blir mer valide, men innebærer også og at vi fra og med 2015 vil måtte starte en ny trendlinje.

I denne boka vil vi veksle mellom å bruke disse betegnelsene:

  • Populasjon 1 – elevene på barnetrinnet – 4. og 5. trinn

  • Populasjon 2 – elevene på ungdomstrinnet – 8. og 9. trinn

Når det refereres til populasjon 1 eller populasjon 2, vil dette for Norges del bety henholdsvis 5. trinn og 9. trinn. Data fra 4. og 8. trinn brukes bare i kapittel 2, 3 og 4, og da kommer dette klart fram. For eksempel vil det i trenddiagrammene i kapittel 2 og 3, som bruker data for Norge som er hentet fra 4. trinn og 8. trinn, stå henholdsvis Norge (4) og Norge (8). Bruk av begrepene «barnetrinn» og «ungdomstrinn» benyttes først og fremst for å kunne variere språkbruken, men også for å hjelpe leserne med tanke på angivelse av elevenes alder og trinn.

1.9 Hvilke elever ekskluderes fra deltakelse i TIMSS?

Et svært viktig punkt i designet for TIMSS er at utvalgene som trekkes i deltakerlandene, er representative for den aktuelle populasjonen. Før utvalgene trekkes, må derfor alle deltakerland levere fullstendige lister over alle skoler med elever på de aktuelle trinnene. Selv om utvalget er basert på skoler, og hele klasser fra de uttrukne skolene deltar, skal alle elever i prinsippet ha samme mulighet til å representere populasjonen. Det er også utarbeidet spesifikke eksklusjonsregler som alle land må etterkomme. Disse eksklusjonsreglene er relatert både til skolenivå og elevnivå. Eksklusjonsraten må under ingen omstendighet overskride 5 prosent av det totale antallet elever på det aktuelle trinnet.

For skolenivået er det slik at en skole kan ekskluderes dersom den er vanskelig tilgjengelig geografisk sett, dersom den er ekstremt liten, dersom den arbeider ut fra læreplaner som avviker betydelig fra ordinære læreplaner eller har en svært avvikende skolestruktur, dersom den kun gir undervisning til grupper av elever som faller inn under eksklusjonskriteriene på elevnivå.

På elevnivå skal elever ekskluderes dersom de:

  1. har fysiske funksjonshemninger som er slik at de ikke kan utføre TIMSS-testen. Så vidt mulig skal imidlertid skolen forsøke å tilrettelegge for deltakelse.

  2. har psykiske/emosjonelle funksjonshemninger som gjør at de ikke kan utføre TIMSS-testen. Elever skal ikke ekskluderes bare på grunn av svake faglige prestasjoner eller ordinære disiplinære problemer. Også her skal skolen forsøke å tilrettelegge for deltakelse.

  3. har lært/praktisert norsk i mindre enn ett år

Eksklusjonsratene for Norge er innenfor de aksepterte grensene og har vært relativt stabile over de siste gjennomføringene av TIMSS-studien.

1.10 Hvilke referanseland er valgt?

Godkjenningen av nye «target grades» for Norge – fra 4. og 8. trinn til 5. og 9. trinn – gjør det naturlig å anlegge et nordisk perspektiv i denne boka. Det vil si at vi i enkelte kapitler vil presentere og drøfte norske data opp mot de tilsvarende nordiske. I tillegg har vi valgt å inkludere ytterligere to referanseland i prestasjonskapitlene (kap. 2 og kap. 3), nemlig England og USA. Begrunnelsen for å ta med disse to landene er at engelsktalende land står oss nært kulturelt. I utdanningsforskning kommer dette til syne gjennom at norske/nordiske elevers svarprofiler gjennomgående har mange fellestrekk med de engelskspråklige elevenes svarprofiler (Olsen, 2006). Det er imidlertid likevel interessant å undersøke om det er noen systematiske forskjeller mellom norske/nordiske og engelske/amerikanske elevers prestasjoner i realfag. Dette kan gi grunnlag for å drøfte egne utdanningspolitiske prioriteringer innen disse viktige skolefagene.

En annen faktor som er medvirkende til at vi velger å ta med ikke-nordiske referanseland, er at det, som tidligere påpekt, bare er Sverige og Norge av de nordiske landene som deltar i populasjon 2 i TIMSS 2015. Ved å inkludere også England og USA gir det bedre muligheter til å drøfte hvordan elevenes resultater speiler ulikheter i faglige og skolepolitiske prioriteringer. England deltar for øvrig i TIMSS med klassetrinnene 5 og 9, slik som Norge nå gjør. USA benyttes som referanseland også i TIMSS Advanced.

Til slutt bør det tilføyes at flere mulige referanseland, som for eksempel Nederland, Belgia og Tyskland, bare deltar i populasjon 1 og derfor ikke ble ansett som aktuelle.

1.11 TIMSS 2015: Hva forventes av norske elever?

Norske elever har i så godt som alle internasjonale undersøkelser knyttet til realfag som er gjennomført de siste 20 årene, skåret rundt det angitte gjennomsnittet eller noe i underkant av dette (Grønmo, Bergem, Kjærnsli, Lie & Turmo, 2004; Grønmo & Onstad, 2009; Grønmo et al., 2012; Kjærnsli, Lie, Olsen & Roe, 2007; Kjærnsli & Olsen, 2013; Kjærnsli & Roe, 2010; Lie, Kjærnsli & Brekke, 1997; Lie, Kjærnsli, Roe & Turmo, 2001). Norge bruker mye ressurser på skole- og utdanningssektoren og særlig på bakgrunn av slike betraktninger har disse resultatene ofte blitt betegnet som utilfredsstillende. Både politikere og representanter for skole og akademia har argumentert for at man bør forvente bedre elevresultater i disse viktige skolefagene. Det har også vært relativt bred enighet om at det bør arbeides målbevisst for å heve norske elevers realfagskompetanse. Med dette som utgangspunkt har Kunnskapsdepartementet (KD) under skiftende regjeringer gjennomført flere omfattende realfagssatsninger; Realfag, naturligvis (Kunnskapsdepartementet, 2005), Et felles løft for realfagene (Kunnskapsdepartementet, 2006), Realfag for framtida (Kunnskapsdepartementet, 2010), Tett på realfag (Kunnskapsdepartementet, 2015).

Også i alle TIMSS-studier hvor Norge tidligere har deltatt, har norske elever skåret i underkant av det som har vært betegnet som gjennomsnittet eller skalamidtpunktet. Unntaket er naturfag i TIMSS 1995-studien, da norske elever lå i overkant av internasjonalt gjennomsnitt for begge populasjoner.

Forskning viser at både alder og antall år på skole har betydning for elevenes prestasjoner (Cliffordson & Gustafsson, 2010). Når Norge nå har endret «target grades» for de elevene vi tester, fra 4. og 8. trinn til 5. og 9. trinn, og elevene da er ett år eldre og har gått ett år mer på skole, må det antas at gjennomsnittsskåren øker. I drøftingen av resultatene for Norge i TIMSS 2015 vil det selvsagt bli tatt hensyn til den populasjonsendringen som har blitt gjennomført.

1.12 Teoretisk ramme for denne boka og kapittelpresentasjon

TIMSS-undersøkelsen kan knyttes til den delen av utdanningsforskningen som undersøker hvilke faktorer som har positiv påvirkning på elevers læringsutbytte. Som teoretisk rammeverk for denne type forskning brukes ofte modellen utviklet av Kyriakides og Creemers (2008). Denne modellen inkluderer alle nivåene i et utdanningssystem (elevnivå, klassenivå, skolenivå og nasjonalt nivå). Den tar hensyn til kompleksiteten i utdanningssystemet og at det kan endres over tid, og i tillegg viser modellen sammenhengene mellom ulike faktorer, innenfor og på tvers av nivåene. Videre viser modellen at faktorer fra alle nivåer kan påvirke elevenes læringsutbytte. Vi har utarbeidet en modifisert utgave av modellen for å illustrere våre analyser i denne boka.

Figur 1.1. Modell som illustrerer det analytiske rammeverket for denne boka, og tematikken for enkeltkapitlene.

Modellen presentert i figur 1.1 illustrerer hvordan faktorer på skole-/institusjonsnivå påvirker faktorer på klassenivået (lærere og deres undervisning) og elevenes læringsutbytte, det vil si faglige prestasjoner og motivasjon. På klassenivået vil lærernes kompetanse påvirke deres undervisningskvalitet, som igjen påvirker elevenes læring. Også faktorene «tidlig læring og barnehage» og «elevenes hjemmebakgrunn» vil påvirke elevenes læringsutbytte. I tillegg illustrerer retningen på pilene i modellen hvordan faktorene innbyrdes påvirker hverandre.

Videre viser figur 1.1 hvordan kapitlene 2–9 i denne boka kan knyttes til modellen, og hvordan bokas struktur og oppbygning følger nivåene i modellen. Vi vil for øvrig nok en gang poengtere at alle kapitlene, bortsett fra kapittel 2, 3 og 4, kun benytter data for Norge som er hentet fra 5. trinn og 9. trinn, ettersom dette nå er de nye «target grades» i Norge. Data fra 4. trinn og 8. trinn benyttes når trendlinjer presenteres i kapittel 2 og kapittel 3, og i sammenlikninger mellom alle fire trinnene i kapittel 4. Vi vil her tilføye at for de fleste konstrukter vil det ha liten betydning om man benytter data fra 4. trinn eller 5. trinn, da det på mange felt er små forskjeller mellom disse to trinnene (f.eks. skolemiljø). Det samme kan sies om data fra 8. trinn versus 9. trinn. I avsnittene som følger, vil vi kort beskrive innholdet i de enkelte kapitlene.

I kapittel 2 og 3 presenteres hovedresultatene i henholdsvis matematikk og naturfag i TIMSS 2015 for begge populasjoner. Disse to kapitlene inneholder oversiktstabeller med gjennomsnittsskår, standardfeil og mål på varians for alle deltakerlandene. Dessuten vises tabeller og diagrammer med spesiell fokus på Norge versus referanselandene, kjønnsforskjeller i matematikk-/naturfagprestasjoner og trender for de to fagene. I tillegg gis en oversikt over skår på emneområder. Alle data som danner grunnlag for dette kapitlet, er hentet fra oppgaveheftene.

Kapittel 4 omhandler elevenes motivasjon for å arbeide med realfag. På bakgrunn av analyser av data fra elevspørreskjemaet presenteres tabeller og diagrammer relatert til indre og ytre motivasjon og selvtillit. Det redegjøres i tillegg kort for hvordan disse begrepene forstås, og hvor forskningsfeltet står. Dessuten presenteres kjønnsforskjeller og analyser som viser sammenhenger mellom motivasjon og prestasjoner.

Kapittel 5 omhandler analyser av skolemiljø, dvs. elevenes læringsmiljø, faktorer knyttet til orden og trygghet og elevenes opplevelse av skoletilhørighet. Ut fra analysene av disse aspektene ved skolemiljø presenteres sammenhenger mellom skolemiljø og prestasjoner. Dataene som danner grunnlaget for analysene i dette kapitlet, er hentet fra oppgaveheftene og fra de tre spørreskjemaene til henholdsvis elever, lærere og rektor/skoleledere.

I kapittel 6 presenteres data og analyser relatert til lærernes erfaring og faglige kompetanse i realfag, deres jobbtrivsel, faglige trygghet og hvor godt kvalifisert de anser seg for å være til å undervise i ulike temaer i matematikk og naturfag. Alle data for dette kapitlet er hentet fra lærerspørreskjemaet.

Kapittel 7 handler om undervisningskvalitet i matematikk. Dataene er hentet fra elevspørreskjemaet hvor elevene blir stilt spørsmål relatert til undervisningen i matematikk. I kapitlet gis det en teoretisk begrunnelse for de ulike delvariablene som benyttes for å måle undervisningskvalitet. I tillegg presenteres analyser av sammenhenger mellom undervisningskvalitet og elevenes motivasjon og prestasjoner.

Kapittel 8 handler om undervisning i naturfag, og inkluderer undervisningskvalitet samt elevenes muligheter for å lære (Opportunity To Learn, OTL). For å undersøke OTL benyttes «tid brukt til undervisning i naturfag», læreplandekning og ressurser. I dette kapitlet presenteres i tillegg analyser av sammenhenger mellom undervisningskvalitet og elevenes motivasjon og prestasjoner. Dataene som danner bakgrunn for dette kapitlet, er hentet fra elevspørreskjemaet, lærerspørreskjemaet og oppgaveheftene i naturfag.

Kapittel 9 omhandler elevenes hjemmebakgrunn og sammenhengen mellom sosioøkonomisk status og prestasjoner. Et viktig tema i dette kapitlet er å undersøke hvilke faktorer som bidrar til å utjevne forskjeller i prestasjoner som kan knyttes til ulik hjemmebakgrunn. Analysene er basert på data hentet fra oppgaveheftene og elevspørreskjemaet.

Kapittel 10 gir en oppsummering av viktige funn i TIMSS 2015-studien. Spesielt ønsker vi her å sammenholde hvilke faktorer som ut fra våre analyser synes å ha en positiv sammenheng med elevenes læringsutbytte. Vi vil i tillegg peke på funn som er relatert til likeverd, det vil si faktorer som synes å redusere betydningen av hjemmebakgrunn for elevenes læring.

Kapittel 11 er delt i to deler. I den første delen gis mer utfyllende informasjon om TIMSS-undersøkelsene enn det som har vært gitt innledningsvis. Den andre delen inneholder forklaringer av de statistiske begrepene og analysemetodene som er benyttet i det forskningsarbeidet som ligger til grunn for denne boka.

Referanser

Bjørnestad, E. (2009). Seksåringenes klasseromsaktiviteter : en kvalitativ studie av norske førsteklasser og svenske förskoleklasser (Ph.D.), Universitetet i Oslo.

Cliffordson, C. & Gustafsson, J.-E. (2010). Effects of schooling and age on performance in mathematics and science: A between-grade regression discontinuity design with instrumental variables applied to Swedish TIMSS 1995 data. Paper presented at the 4th IEA International Research Conference (IRC), Gothenburg, Sweden.

Grønmo, L.S., Bergem, O.K., Kjærnsli, M., Lie, S. & Turmo, A. (2004). Hva i all verden har skjedd i realfagene? Norske elevers prestasjoner i matematikk og naturfag i TIMSS 2003. Oslo: Institutt for lærerutdanning og skoleutvikling, Universitetet i Oslo.

Grønmo, L.S. & Onstad, T. (red.) (2009). Tegn til bedring: norske elevers prestasjoner i matematikk og naturfag i TIMSS 2007. Oslo: Unipub.

Grønmo, L.S., Onstad, T., Nilsen, T., Hole, A., Aslaksen, H. & Borge, I.C. (2012). Framgang, men langt fram: norske elevers prestasjoner i matematikk og naturfag i TIMSS 2011. Oslo: Akademika forlag.

Kjærnsli, M., Lie, S., Olsen, R.V. & Roe, A. (2007). Tid for tunge løft. Norske elevers kompetanse i naturfag, lesing og matematikk i PISA 2006. Oslo: Universitetsforlaget.

Kjærnsli, M. & Olsen, R.V. (red.) (2013). Fortsatt en vei å gå. Oslo: Universitetsforlaget.

Kjærnsli, M. & Roe, A. (red.) (2010). På rett spor: norske elevers kompetanse i lesing, matematikk og naturfag i PISA 2009. Oslo: Universitetsforlaget.

Kunnskapsdepartementet (2005). Realfag, naturligvis! Strategi for styrking av realfagene 2002–2007. Redigert versjon av januar 2005. Hentet fra https://www.regjeringen.no/no/dokumenter/realfag-naturligvis/id105788/

Kunnskapsdepartementet (2006). Et felles løft for realfagene. Strategi for styrking av realfagene 2006–2009. Hentet fra https://www.regjeringen.no/globalassets/upload/kilde/kd/nyh/2006/0014/ddd/pdfv/290281-strategiplan_for_realfagene.pdf

Kunnskapsdepartementet (2010). Realfag for framtida. Strategi for styrking av realfag og teknologi 2010–2014. Hentet fra https://www.regjeringen.no/globalassets/upload/kd/realfagstrategi.pdf

Kunnskapsdepartementet (2015). Tett på realfag. Nasjonal strategi for realfag i barnehagen og grunnopplæringen 2015–2019. Hentet fra https://www.regjeringen.no/contentassets/869faa81d1d740d297776740e67e3e65/kd_realfagsstrategi.pdf

Kyriakides, L. & Creemers, B.P.M. (2008). Using a multidimensional approach to measure the impact of classroom-level factors upon student achievement: a study testing the validity of the dynamic model. School Effectiveness and School Improvement, 19(2), 183–205. doi:10.1080/09243450802047873

Lie, S., Kjærnsli, M. & Brekke, G. (1997). Hva i all verden skjer i realfagene? Internasjonalt lys på trettenåringers kunnskaper, holdninger og undervisning i norsk skole. Oslo: Institutt for lærerutdanning og skoleutvikling.

Lie, S., Kjærnsli, M., Roe, A. & Turmo, A. (2001). Godt rustet for framtida? Norske 15-åringers kompetanse i lesing og realfag i et internasjonalt perspektiv. Oslo: Institutt for lærerutdanning og skoleutvikling, Universitetet i Oslo.

OECD. (2014). Education at a Glance 2014: OECD Indicators: OECD Publishing.

Olsen, R.V. (2006). A Nordic profile of mathematics achievement: Myth or reality? Northern lights on PISA 2003: A reflection from the Nordic countries, 33–45.