Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

3. Lærerkvalitet, undervisningskvalitet, ‑kvantitet og prestasjon

Analyser av TIMSS 2015-data i naturfag på barnetrinnet

Trude Nilsen er forsker ved ILS og jobber hovedsakelig med analyser av stor-skala-data fra TIMSS, PISA, og TALIS, men veileder også master- og ph.d.-stu-denter. Hun er også leder for: 1) NFR prosjektet TESO (Teachers Effect on Stu-dent Outcome), og 2) forskergruppen LEA sammen med Ronny Scherer. Hun er også med i de internasjonale ekspertgruppene for TIMSS, TALIS og TALIS Star-ting Strong. Hennes forskningsinteresser ligger innen anvendt kvantitativ metodo-logi, analyser av storskaladata, skolemiljø, likeverd, betydningen av lærerkvalitet og undervisningskvalitet og realfagsdidaktikk hvor hun har et stort antall publika-sjoner. Hun har 9 års erfaring med storskalaundersøkelser, 10 års erfaring som lærer og har jobbet med etterutdanning for lærere.

Sigrid Blömeke er professor og leder av CEMO ved UiO. Hun har tidligere blant annet vært professor ved Humboldt-universitetet i Berlin. Hun har et stort antall publikasjoner som spenner bredt, men som vektlegger matematikklæreres kompetanse og undervisningskvalitet. Hun har vært prosjektleder for en rekke store studier, blant annet for TEDS-M i Tyskland. Blömeke har også mye under-visningserfaring og veileder mange master- og ph.d.-studenter.

I dette kapitlet undersøker vi sammenhengene mellom læreres kvalitet, deres undervisningskvalitet samt -kvantitet og elevers prestasjoner i naturfag på 5. trinn. TIMSS 2015-rapporten undersøkte en del av disse relasjonene på 9. trinn. Ellers finnes det ingen undersøkelser av dette i Norge bortsett fra småskalaundersøkelser. Ved strukturell ligningsmodellering på elev- og klassenivå fant vi at lærernes utdanningsnivå, samarbeid med andre lærere, yrkesstolthet og etterutdanning hadde en indirekte sammenheng med elevenes prestasjoner i naturfag via lærernes undervisningskvalitet. I tillegg hadde undervisningstid en positiv og signifikant indirekte sammenheng med elevenes prestasjoner. Læreres selvtillit i naturfagdidaktikk hadde en positiv og signifikant sammenheng med deres undervisningskvalitet, men hadde ikke en indirekte effekt på prestasjoner. Resultatene indikerer på den ene siden at dersom lærere får for liten tid til undervisning, er det en fare for at kvaliteten på undervisningen og elevenes læringsutbytte forringes. På den annen side peker resultatene på hvor viktig det er å få lærerkvalitet implementert i klasserommet framfor bare å satse på høyere formale kvalifikasjoner. Videre forskning trengs særlig på den rollen spesialisering i naturfag spiller, fordi resultatene ikke er entydig.

Summary

In this chapter we examine the relations between teacher quality, instructional quality and quantity and student achievement in science in grade 5. The Norwegian TIMSS 2015 report examined some of these relations in grade 9. Except for this report, there is no research on this in Norway other than small-scale studies. Using multi-level structural equation modeling at the student and class level, we found that teachers’ level of education, peer collaboration, pride of their profession, and professional development had indirect relations with student achievement in science via teachers’ instructional quality. Moreover, time allocated for instruction had a positive and significant indirect relation with student achievement. Teachers’ self-efficacy in pedagogical content knowledge in science had a positive and significant relation with their instructional quality, but no indirect effect on achievement. On the one hand, the results indicate that if teachers are allocated too little time for instruction, there is a risk that the quality of their instruction and student achievement may be impaired. On the other hand, the results indicate the importance of implementing teacher quality through instruction in the classroom, rather than focusing solely on enhancing teachers’ formal qualifications. Further research is needed, specifically on the role of specialization in science as this latter result is ambiguous.

Innledning

Lærere og deres undervisning betyr mer enn noen andre skolefaktorer for elevers prestasjoner (Creemers & Kyriakides, 2008), men sammenhengen mellom lærerkvalitet, undervisningskvalitet og læringsutbytte er komplisert. Mange studier som undersøker hvilke aspekter av læreres kvalitet og deres undervisning som har betydning for elevers læringsutbytte, er gjort i Tyskland og USA (Klieme, Pauli, & Reusser, 2009; Kyriakides, Creemers, Antoniou, & Demetriou, 2010; Raudenbush, 2008). I Tyskland har forskningsfeltet mottatt betydelige ressurser innen dette området, og longitudinelle utvidelser av PISA 2003 og 2012 har blitt gjennomført (Baumert et al., 2010; Nagy, Lüdtke, & Köller, 2016). I USA har forskningsfeltet tradisjonelt også stor relevans (Bryck, 2010; Cohen & Grossman, 2016; Ferguson & Danielson, 2014; Kane & Cantrell, 2010; Kane & Staiger, 2012; Pianta, Hamre, & Allen, 2012; Darling-Hammond & Youngs, 2002).

Disse studiene samt metastudier har funnet signifikante relasjoner mellom undervisningskvalitet og prestasjoner og understreket betydningen av læreres kvalitet for elevers læringsutbytte. Imidlertid fant de ofte at lærerkvalitet ikke har en direkte effekt på elevers læringsutbytte, men en indirekte effekt via læreres undervisningskvalitet (Blömeke, Busse, et al., 2016; Fauth et al., 2014; Goe, 2007; Seidel & Shavelson, 2007; Scherer & Nilsen, 2016). Med andre ord hjelper det muligens ikke at læreren bare har høy utdannelse, spesialisering i faget og god selvtillit hvis disse egenskapene ikke implementeres i klasserommet, og undervisningen har høy kvalitet. Likevel vil en kompetent lærer som regel også gi god undervisning.

I tillegg til undervisningskvalitet er undervisningskvantitet, eller tid brukt til undervisning av faget, viktig. Jo flere timer undervisning elevene får, jo høyere er læringsutbyttet (Scheerens, 2013). Undervisningskvantitet kan også ha betydning for undervisningskvaliteten (Creemers & Kyriakides, 2008; Scheerens, 2013). Dersom lærere har få timer disponibelt til å undervise i faget, og i tillegg et bredt og stort pensum som det skal undervises i, vil dette muligens kunne skape stress og forringe kvaliteten på undervisningen. Den internasjonale rapporten fra TIMSS 2015 viser at Norge har langt færre undervisningstimer i naturfag enn mange andre land (Martin, Mullis, Foy, & Hooper, 2016). Det ville derfor være interessant å inkludere også undervisningskvantitet når man undersøker sammenhenger mellom lærerkvalitet, undervisningskvalitet og prestasjoner i Norge.

Tidligere forskning har vist at sammenhengene mellom de forskjellige aspektene ved lærerkvalitet, undervisningskvalitet og elevers læringsutbytte varierer mye på tvers av kulturer og land, og på tvers av trinn og fag (Blömeke, Olsen, & Suhl, 2016; Seidel & Shavelson, 2007). Det er derfor viktig å undersøke dette i Norge for forskjellige trinn og fag. Forskning på læreres undervisningskvalitet i Norge har stort sett blitt gjort ved småskalaundersøkelser med noen få elever, _klasser eller skoler. Den norske studien LISA (Linking Instruction and Student Achievement), derimot, har undersøkt 50 klasserom med elever på 10. trinn i matematikk og lesing (Klette, Blikstad-Balas, & Roe, 2017). Dette er en videostudie som undersøker sammenhengen mellom undervisningskvalitet og endringer i prestasjoner på nasjonale prøver i matematikk og lesing. Effekter har blitt funnet for lesing, men ikke i matetikk (Klette et al., 2017). Dette kan skyldes at de ikke har tilgang til enkeltelevers skårer, noe som kan skape utfordringer når man skal koble lærerens undervisningskvalitet til elevers prestasjoner. Det kan også skyldes liten variasjon i matematikklæreres undervisningskvalitet. Dataene er i tillegg ikke representative på landnivå, og inkluderer ikke naturfag.

Funn fra TIMSS 2015-studien indikerer noen signifikante sammenhenger mellom undervisningskvalitet og elevers læringsutbytte i matematikk (Bergem, Nilsen, & Scherer, 2016). Videre har man identifisert positive sammenhenger mellom lærerkvalitet, undervisningskvalitet og prestasjoner i naturfag på 9. trinn (Kaarstein et al., 2016). Men denne publikasjonen undersøkte ikke disse sammenhengene for elevers læringsutbytte i naturfag på barnetrinnet. Videre ble det ikke undersøkt om det finnes sammenhenger mellom undervisningskvantitet, undervisningskvalitet og læringsutbytte. Siden alle disse sammenhengene varierer på tvers av land, trinn og fag, viser gjennomgangen av tidligere forskning ovenfor at det er et behov for å undersøke disse sammenhengene for naturfag på barnetrinnet. Derfor stiller vi følgende forskningsspørsmål:

  1. Hvilke relasjoner finnes mellom aspekter av lærerkvalitet, undervisningskvalitet og prestasjoner i naturfag på 5. trinn?

  2. Hvilke relasjoner finnes mellom undervisningstid, undervisningskvalitet og prestasjoner i naturfag på 5. trinn?

  3. Hvilke aspekter av lærerkvalitet og undervisningstid har en direkte sammenheng med prestasjoner, og hvilke har en indirekte sammenheng via læreres undervisningskvalitet?

Teori

Den vanligste måten å definere undervisningskvalitet på i Europa er å bruke tre aspekter av undervisningskvalitet: kognitiv utfordring, støttende læring og klasseledelse (Baumert et al., 2010; Blömeke, Busse, Kaiser, König, & Suhl, 2016; Klieme et al., 2009; Kunter et al., 2013). Denne begrepsforståelsen overlapper mye med den man finner i amerikanske studier (f.eks. Kane & Staiger, 2012; Pianta et al., 2012) og i studier innen feltet educational effectiveness (som er et forskningsfelt som søker å finne hvilke faktorer som fremmer elevers læringsutbytte, f.eks. Creemers & Kyriakides, 2008). Disse studiene inkluderer også et annet aspekt ved undervisningskvalitet: klarhet. Vi vil her gi en kort forklaring på hver av disse fire aspektene ved undervisningskvalitet.

Kognitiv utfordring henspiller på undervisning hvor eleven blir utfordret til å strekke seg litt lenger, hvor elevene må evaluere, integrere og bruke kunnskap i en problemløsningskontekst (Baumert et al., 2010; Hiebert & Grouws, 2007; Klieme et al., 2009). Læreren kan for eksempel be elevene jobbe med oppgaver som ikke har en åpenbar løsning i matematikk, eller bruke utforskende metoder som å tolke data fra eksperimenter i naturfag (Minner, Levy, & Century, 2010).

Støttende læring refererer til undervisning hvor læreren støtter elevene faglig og viser omsorg, lytter til og respekterer elevers ideer og spørsmål, viser interesse for hver enkelt elevs læring, gir konstruktive tilbakemeldinger til elevene og tilpasser undervisningen til enkelteleven (f.eks. Blömeke, Olsen, et al., 2016).

Klarhet reflekterer undervisning som er tydelig, forståelig og klar. Slik undervisning karakteriseres for eksempel ved oppsummering ved slutten av timen, kobling av tidligere underviste og nye temaer og klare læringsmål (Cohen & Grossman, 2016; Nilsen & Gustafsson, 2016; Raudenbush, 2008).

Klasseledelse reflekterer effektiv bruk av tid, god ledelse og disiplin i klassen og henspiller blant annet på det å redusere bråk og fremme orden i klasserommet (van Tartwijk & Hammerness, 2011). Klasseledelse ble ikke målt i TIMSS, og vi kan derfor ikke inkludere denne variabelen.

Undervisningskvalitet er ifølge tidligere forskning avhengig av lærerens kvalitet (Baumert et al., 2010). Meta-analyser og andre studier har delt lærerens kvalitet inn i to: kvalifikasjoner og kompetanse (Blömeke & Delaney, 2014; Goe, 2007; Kuger, Klieme, Jude, & Kaplan, 2016; Seidel & Shavelson, 2007).

Kvalifikasjoner inkluderer f.eks. utdanningsnivå, fagspesialisering, etterutdanning og jobberfaring. Alle disse egenskapene er ment som indikatorer av opportunities to learn, altså muligheter for å lære jobben som lærer (Mc Donnell, 1995). Utdanningsnivå og fagspesialisering reflekterer muligheter til å lære jobben under lærerutdanningen, mens etterutdanning reflekterer mulighetene etter lærerutdanningen og ligger derfor litt nærmere den nåværende lærerhverdagen. Når det gjelder erfaring, har tidligere forskning vist at den kan ha effekt på prestasjoner de første yrkesaktive årene, mens effekten etter hvert flater ut (Clotfelter, Ladd, & Vigdor, 2007).

Kompetanse inkluderer f.eks. kunnskap i faget, fagdidaktikk og pedagogikk, selvtillit og yrkesstolthet. Den internasjonale storskalaundersøkelsen The Teacher Education and Development Study in Mathematics (TEDS-M) målte lærernes kunnskaper (i faget, fagdidaktikk og pedagogikk) for første gang på en stor skala (Döhrmann, Kaiser, & Blömeke, 2014), men TIMSS inkluderer ikke disse variablene. Læreres selvtillit i faget og i fagdidaktikk har imidlertid vist seg å være gode indikatorer på læreres kunnskap, og mange bruker derfor disse målene for å reflektere lærernes kunnskap (Bandura, 1997; Bray-Clark & Bates, 2003). Yrkesstolthet kan sies å være en del av læreres selvtillit. Imidlertid fanger dette begrepet en mer generell type selvtillit, som er forskjellig fra selvtillit i naturfagdidaktikk. Tidligere forskning fra andre land (Goddard, Hoy, & Hoy, 2000) og fra TIMSS 2015 på 9. trinn i Norge (Kaarstein et al., 2016) viste at den var positivt relatert til elevenes prestasjon.

Vi inkluderer også samarbeid med andre lærere som en del av læreres kvalitet, selv om det ikke er like vanlig å gjøre dette, men funn fra USA viste at lærersamarbeid hadde en positiv påvirkning på prestasjoner i matematikk og lesing på 4. trinn i USA (Goddard, Goddard, & Tschannen-Moran, 2007). Samarbeid kan tolkes som en blanding av kvalifikasjon og kompetanse, som i tillegg reflekterer kollektiv samstemthet på en skole. Som en type etterutdanning gir samarbeid mellom lærere en mulighet for tilbakemelding på eget arbeid, og det ser ut til å stimulere endringer i undervisningsopplegg fordi det å diskutere og reflektere rundt fagspørsmål med kollegaer fornyer kunnskap og dermed lærernes kompetanse (Goldsmith et al., 2014). Samtidig må en skole tilrettelegge for samarbeid som en del av hverdagen.

Undervisningskvantitet er forventet å påvirke undervisningskvalitet i tillegg til lærerkvalitet. Tiden tilgjengelig for naturfagundervisning i løpet av en vanlig uke indikerer den kvantitative siden av opportunities to learn og har lenge vært i fokus for forskning. Allerede de første læringsmodeller av Carroll inkluderte denne variabelen, men i senere studier ble undervisningskvantitet stort sett brukt som en direkte prediktor av prestasjon (Carroll, 1963; se også Good, Wiley, & Florez, 2009; Scheerens, 2013). Vi antar derimot at hvis lærerne får liten tid til å gå i dybden, så lider undervisningskvaliteten. Medieringsmodellen undersøker altså om undervisningskvantitet påvirker prestasjoner via undervisningskvalitet.

Elevenes læringsutbytte kan måles gjennom forskjellige egenskaper som motivasjon eller prestasjon. Vi begrenser oss i denne artikkelen til prestasjon i naturfag slik den blir målt i TIMSS, og viser til Nilsen, Scherer og Blömeke (in press) for å lære mer om motivasjon som læringsutbytte i naturfag.

Figur 3.1

Teoretisk modell for sammenhengen mellom lærerkvalitet, undervisningskvantitet, undervisningskvalitet og elevers læringsutbytte.

Figur 3.1 oppsummerer modellen som vi undersøker i dette kapitlet. Vår hovedantagelse er at effekten av både lærerkvalitet og undervisningskvantitet på elevenes prestasjon er mediert gjennom undervisningskvalitet fordi forskere sjelden har funnet en direkte sammenheng. Modellen samstemmer godt med teorien i feltet ved å inkludere hovedkomponentene lærerkvalitet, undervisningskvalitet samt -kvantitet og læringsutbytte, men har en svakhet ved at den kun inkluderer mål som er tilgjengelige fra TIMSS. Det betyr for eksempel at vi ikke har direkte mål på læreres kunnskap eller klasseledelse. Målene er dermed ikke perfekte, men en god tilnærming. Vi vil komme tilbake til begrensningene av vår modell i diskusjonen.

Oppsummeringen av tidligere forskning ovenfor viser at de fleste fokuserer på matematikk innenfor dette feltet. I naturfag derimot er det få som studerer sammenhengen mellom lærerkvalitet, undervisningskvalitet og læringsutbytte. Videre ligger hovedtyngden av denne forskningen i USA og Tyskland. Nyere publikasjoner viser at sammenhengen mellom lærerkvalitet, undervisningskvalitet og læringsutbytte er avhengig av den kulturelle konteksten (Nilsen & Gustafsson, 2016), og vi kan derfor ikke gå ut fra at funn fra USA og Tyskland er generaliserbare til Norge.

Metode

I dette kapitlet beskrives først utvalget og dataene, og deretter diskuterer vi kausalitet og hvilke type slutninger man kan dra på bakgrunn av TIMSS-dataene. Til slutt beskriver vi analysemetodene og hvordan modellene er bygget opp.

Utvalg og data

Utvalget inkluderer elever (N=5651) på 5. trinn og deres lærere (N=297) som deltok i TIMSS studien 2015. Gjennomsnittlig antall elever per klasse er cirka 19. Lærerkvalitet ble målt ved lærernes svar på spørsmål om utdanningsnivå, spesialisering i naturfag, etterutdanning, samarbeid med andre lærere, stolthet av jobben og selvtillit i naturfagdidaktikk. Lærerne rapporterte i tillegg om hvor mye undervisningstid de hadde til naturfag. Undervisningskvalitet ble også målt ved spørsmål til lærerne. Disse inkluderer kognitiv utfordring (f.eks. «Ber elevene gjøre utfordrende oppgaver som krever at de går utover det de har fått undervisning i»), støttende læring (f.eks. «Oppmuntrer elevene til å uttrykke egne ideer i klassen») og klarhet («Knytter nytt innhold til elevens forkunnskaper»). Tabell 3.1 viser en mer detaljert beskrivelse av konstrukter og variabler som inngår i analysen. For deskriptiv informasjon om alle variabler, se websiden til TIMSS internasjonalt (for eksempel her for læreres utdanningsnivå: http://timssandpirls.bc.edu/timss2015/international-results/timss-2015/science/teachers-and-principals-preparation/science-teachers-formal-education/).

Tabell 3.1

Konstrukter og variabler fra TIMSS 2015 som inngår i analysen

LærerspørreskjemaSkalaUtsagn
Utdanningsnivå
(Behandles som en kontinuerlig variabel)
Fempunkts skala: Fra Utdanning utover videregående skole til Universitets- eller høgskoleutdanning på doktorgradsnivå (ph.d.)
Spesialisering i naturfagHvorvidt lærere har spesialisert seg i naturfag: Ja/nei
Etterutdanning
(latent variabel)
Ja/nei om deltagelse i etter- eller videreutdanning de siste to årene
  1. Faglig innhold i naturfag

  2. Undervisningsmetoder i naturfag

  3. Læreplan i naturfag

  4. Integrering av IKT i naturfag

  5. Forbedre elevenes kritiske tenkning eller evner til utforskning

  6. Vurdering i naturfag

  7. Tilpasset opplæring

  8. Integrering av naturfag med andre fag (f.eks. matematikk)

Yrkeserfaring (kontinuerlig variabel)Antall års erfaring
Selvtillit i naturfagdidaktikk
(latent variabel)
Firepunkts skala: fra Lav til Veldig høy
  • Inspirere elever til å lære naturfag

  • Forklare naturfaglige begreper eller prinsipper ved å foreta eksperimenter

  • Gi utfordrende oppgaver til flinke elever

  • Tilpasse undervisningen for å vekke elevenes interesse

  • Hjelpe elevene til å forstå verdien av å lære naturfag

  • Vurdere elevenes forståelse av naturfag

  • Forbedre forståelsen til elever som sliter med faget

  • Gjøre naturfag relevant for elevene

  • Utvikle elevers evne til å reflektere og resonnere

  • Bruke utforskende metoder i naturfagundervisningen

YrkesstolthetFirepunkts skala: fra Aldri eller nesten aldri til Svært ofte Jeg er stolt av jobben jeg gjør
Samarbeid mellom lærere
(latent variabel)
Firepunkts skala: fra Aldri eller nesten aldri til Svært ofte
  • Drøfter hvordan man kan undervise i et spesielt emne

  • Samarbeider om planlegging og utvikling av undervisningsmateriell

  • Samarbeider for å prøve ut nye ideer

  • Samarbeider for å implementere læreplanen

Undervisningstid (kontinuerlig skala)Minutter brukt på naturfagundervisning i løpet av en vanlig uke
Undervisningskvalitet
(latent variabel)
Firepunkts skala: fra Aldri til Hver eller nesten hver time
  • Knytter det de lærer i timen, til elevenes dagligliv

  • Ber elevene forklare svarene sine

  • Ber elevene gjøre utfordrende oppgaver som krever at de går utover det de har fått undervisning i

  • Oppmuntrer til faglige diskusjoner elever imellom

  • Knytter nytt innhold til elevens forkunnskaper

  • Ber elever bestemme sine egne problemløsningsprosedyrer

  • Oppmuntrer elevene til å uttrykke egne ideer i klassen

  • Observere naturfenomener (f.eks. vær eller en plante som gror) og skrive ned hva de ser

  • Utforme eller planlegge eksperimenter

  • Gjennomføre eksperimenter

  • Presentere data fra eksperimenter

  • Tolke data fra eksperimenter

  • Bruke funn fra eksperimenter til å understøtte konklusjoner

Kausalitet

Alle internasjonale storskalaundersøkelser som TIMSS og PISA er tverrsnittsdata som innhenter data på kun ett tidspunkt. Vi kan derfor aldri trekke kausale slutninger om hvorvidt en faktor A kan føre til B; for eksempel kan vi ikke undersøke om lærerkvalitet medfører høyrere læringsutbytte. Vi kan kun undersøke om lærerkvalitet har en sammenheng med læringsutbytte. For å lette forståelse og språkflyt og for å understreke hvilken retning vi har kjørt regresjonen, bruker vi likevel ord som påvirkning og effekt selv om dette strengt tatt er kausalt språk.

Analysemetode

I dette kapitlet bruker vi en kombinasjon av flernivå regresjonsanalyser med strukturell likningsmodellering (SEM = structural equation modelling). Analysene er gjort på elev- og klassenivå samtidig. I tillegg har vi undersøkt hvorvidt forskjellige aspekter av læreres kvalitet har en direkte sammenheng med prestasjoner, eller om det er en indirekte påvirkning via undervisningskvalitet. Dersom det siste er tilfelle, sier vi at undervisningskvalitet medierer sammenhengen mellom lærerkvalitet og prestasjoner.

Flernivåanalyser: Det er tre grunner til å gjøre flernivåanalyser. Dataene i storskalaundersøkelser som TIMSS har et hierarkisk design fordi elever tilhører klasser som tilhører skoler. Slik vil elever innen en klasse ligne mer på hverandre enn dersom de hadde blitt trukket ut tilfeldig fra forskjellige klasser i hele landet. Dette blir rettet opp ved å gjøre flernivåanalyser fordi slike analyser gir et korrekt estimat av målefeil, i motsetning til analyser på kun ett nivå (Hox, 2010).

Det finnes i vårt tilfelle ytterligere to grunner til å gjøre analysene på elev- og klassenivå. Den ene grunnen er at vi ønsker å undersøke om læreren kan gjøre en forskjell for klassen. Det er derfor naturlig å undersøke om det at én klasse presterer bedre enn en annen klasse, henger sammen med lærerens kvalitet og undervisningskvalitet. Det ville ikke vært naturlig å undersøke dette på elevnivå ved å spørre om en elev presterer bedre enn en annen elev på grunn av lærerens kvalitet og undervisningskvalitet. Den andre grunnen til å foreta en flernivåanalyse har sammenheng med intraklassekorrelsjonen (ICC). ICC måler graden av ulikhet mellom skoler eller klasser – i våre variabler og i elevenes prestasjoner – og er et tall mellom 0 og 1. En tommelfingerregel er at når ICC er høyere enn 0,1, så bør man gjøre en flernivåanalyse. For våre data ligger ICC på cirka 0,12, og det er derfor ytterligere en grunn for å foreta flernivåanalyser.

SEM-analyser: Analysen foregår i to steg. I det første steget, som er måledelen, undersøkes relabiliteten og validiteten av de variablene som går inn i analysen, særlig alle latente variabler – som for eksempel selvtillit, som ikke er noe man kan måle direkte, slik som for eksempel høyde. Selvtillit måles derfor ved læreres svar på en mengde utsagn, for eksempel i hvilken grad de har selvtillit til å «[b]ruke utforskende metoder i naturfagundervisningen», eller «[g]i utfordrende oppgaver til flinke elever». For å undersøke hvorvidt de forskjellige utsagnene måler det samme underliggende begrepet, benyttes konfirmatorisk faktoranalyse (CFA = confirmatory factor analyses). Resultater fra CFA-analysene samt mål på hvor godt modellen passer dataene (såkalte model fit) vil til sammen gi oss et mål på reliabiliteten og validiteten av den latente variabelen. Dersom de variablene som skal gå inn i en modell er reliable og valide, går man videre til steg to, som er den strukturelle delen av analysen. Her kjører man regresjonsanalyse for å undersøke sammenhengen mellom for eksempel læreres selvtillit og prestasjoner.

Modellene: Først estimerer vi en modell hvor vi kun undersøker relasjonen mellom undervisningskvalitet og prestasjoner (nullmodell). I denne, og alle resterende modeller hvor undervisningskvalitet inngår, blir undervisningskvalitet modellert på både elev- og klassenivå. Dette gjøres for å kontrollere for elevers individuelle forskjeller. Undervisningskvalitet er et klassefenomen, og vi er interessert i hvorvidt lærerens undervisningskvalitet kan forklare forskjeller mellom klasser (Marsh et al., 2012).

Etter at nullmodellen er estimert, estimerer vi en ny modell for hvert aspekt av lærerkvalitet, hvor vi undersøker sammenhengen mellom lærerkvalitet, undervisningskvalitet og prestasjoner, som vist i figur 3.2. For hver modell undersøker vi om medieringseffekten er signifikant. I de tilfeller hvor denne effekten er signifikant, påvirker lærerkvalitet prestasjoner via undervisningskvalitet. Grunnen til at vi undersøker ett aspekt av lærerkvalitet om gangen, er at disse variablene korrelerer høyt seg imellom, og det betyr at dersom vi hadde inkludert alle variabler i en og samme modell, så kunne resultatene ha blitt feil (Hanushek & Jackson, 2013).

Figur 3.2

Medieringsmodell hvor sammenhengen mellom læreres etterutdanning og prestasjoner blir delvis mediert av undervisningskvalitet.

Resultater

Tabell 3.2 viser sammenhengene mellom lærerkvalitet, undervisningskvantitet, undervisningskvalitet og elevenes prestasjon i naturfag på klassenivå. Kolonnen ytterst til høyre angir om vi har et tilfelle av mediering eller ei, altså om den indirekte effekten er signifikant.

Tabell 3.2

Standardiserte regresjonskoeffisienter på klassenivå og den totale indirekte effekten (standardisert)

VariablerDirekte effekt av variabel på undervisningskvalitetEffekt av undervisningskvalitet på prestasjonDirekte effekt av variabel på prestasjonTotal indirekte effekt
Nullmodell0,42**
Lærer- kvalifikasjonUtdanningsnivå0,26**0,44** –0,20*0,11**
Spesialisering i naturfag0,060,40**–0,14 0,03
Etterutdanning0,11*0,42**–0,150,05*
Yrkeserfaring–0,050,39**0,09–0,02
KompetanseSelvtillit0,21*0,41**–0,060,09
Yrkesstolthet0,22**0,39**0,060,09*
Samarbeid mellom lærere0,41**0,38**0,060,16**
Undervisningstid0,26**0,40**–0,100,10*

* indikerer p<0.05, **indikerer p<0.001

I nullmodellen undersøkte vi kun sammenhengen mellom undervisningskvalitet og elevenes prestasjoner, som var positiv og signifikant. Den standardiserte regresjonskoeffisienten var 0,42, som er en middels sterk til sterk sammenheng i denne konteksten.

I de neste fire modellene undersøkte vi sammenhenger mellom læreres kvalifikasjoner, undervisningskvalitet og elevers prestasjoner. Læreres utdanningsnivå hadde en positiv og signifikant middels sterk sammenheng med undervisningskvalitet (0,26), som igjen hadde signifikant sammenhengen med prestasjon (som nevnt ovenfor). Sammenlagt betyr dette at den indirekte effekten av læreres utdanningsnivå via undervisningskvalitet på elevenes prestasjon er signifikant (0,11). Hvis denne indirekte effekten av utdanningsnivå via undervisningskvalitet blir kontrollert, som det skjer i en medieringsmodell (se figur 3.2), er den direkte effekten fra utdanningsnivå på prestasjon signifikant negativ. Dette er den effekten av utdanningsnivå som virker dersom undervisningskvalitet ikke endrer seg.

Vi undersøkte deretter spesialisering i naturfag som ikke hadde en signifikant sammenheng med undervisningskvalitet eller prestasjon. På samme måte hadde læreres erfaring verken en signifikant sammenheng med undervisningskvalitet eller en indirekte sammenheng med prestasjon.

Etterutdanning hadde derimot en svak, men signifikant positiv sammenheng med undervisningskvalitet (0,11), som lagt sammen med den signifikante sammenhengen mellom etterutdanning og elevenes prestasjon betyr en signifikant og positiv indirekte effekt på prestasjon (0,05).

Når det gjelder lærerkompetanse, hadde både læreres selvtillit og yrkesstolthet en svak, men positiv signifikant sammenheng med undervisningskvalitet (henholdsvis 0.21 eller 0.22). Størrelsen på den indirekte effekten på elevenes prestasjon var for begge variablene den samme (0.09), men fordi størrelsene på målingsfeilene var forskjellige, var den indirekte effekten signifikant bare for yrkesstolthet.

Samarbeid mellom lærere var den variabelen som hadde den sterkeste sammenhengen med undervisningskvalitet (0.41). Den var positiv og signifikant. Samarbeid hadde i tillegg den største indirekte effekten på elevenes prestasjoner (0,16).

Undervisningstid hadde en positiv og signifikant svak sammenheng med undervisningskvalitet (0.26) og en signifikant og positiv indirekte effekt på prestasjoner (0.10).

Diskusjon

I dette kapitlet undersøkte vi sammenhenger mellom aspekter av lærerkvalitet, undervisningskvantitet samt -kvalitet og elevenes prestasjon i naturfag på 5. trinn. I tillegg undersøkte vi om aspektene av lærerkvalitet og undervisningskvantitet hadde en indirekte effekt på prestasjon via undervisningskvalitet.

For å oppsummere fant vi som forventet nesten ingen direkte effekter av lærerkvalitet eller undervisningskvantitet på elevenes prestasjoner. I motsetning hadde, og det var også som forventet, to av fire aspekter av lærerkvalitet (utdanningsnivå og etterutdanning) en indirekte positiv og signifikant sammenheng med elevers presentasjoner via undervisningskvalitet samt én av to aspekter av lærerkompetanse (yrkesstolthet). På samme måte hadde samarbeid mellom lærere (som kan tolkes som en type etterutdanning) en sterk indirekte effekt på elevenes prestasjon, og i tillegg viste det seg at undervisningstid var indirekte og signifikant relatert til elevenes prestasjoner. Læreres selvtillit i naturfagdidaktikk hadde en positiv og signifikant sammenheng med deres undervisningskvalitet, men hadde ikke en indirekte effekt på prestasjoner.

Disse resultatene peker på hvor stor betydningen lærere har, samt hvor viktig det er at de har nok tid til undervisning. Videre viser resultatene at en støttende skolekontekst som legger til rette for samarbeid mellom lærere, er viktig for elevenes prestasjon. Mange av disse funnene for Norge er i tråd med tidligere forskning i andre land (Goddard, Hoy, & Hoy, 2000; Goddard, Goddard, & Tschannen-Moran, 2007; Timperley, Wilson, Barrar, & Fung, 2007; Desimone, 2009; Scheerens, 2013) og viser hvor robust denne forskningen har blitt etter hvert. Flere av våre funn er imidlertid unike for Norge og peker på at lærerkvalifikasjoner er viktigere enn i mange andre land. Vi tolker dette som en følge av et relativt lavt utdanningsnivå i naturfag sett i et internasjonalt perspektiv. Dette har ganske nylig kommet fram – også med data fra fjerde og åttende trinn i naturfag (Kaarstein et al., 2016; Nilsen, Scherer, og Blömeke, in press).

Det er særlig viktig å notere seg at våre resultater i tillegg peker på at funnene gjelder bare hvis lærerkvalitet, samarbeid mellom lærere og undervisningskvantitet kan transformeres i undervisningskvalitet. Det hjelper ikke at lærere blir utdannet på høyt nivå og får mange muligheter til å etterutdanne seg, får nok tid til å undervise i naturfag og er stolte av jobben sin hvis disse egenskapene ikke implementeres i klasserommet, og undervisningen har høy kvalitet. Det at ett aspekt av lærerkvalitet hadde en direkte negativ og signifikant sammenheng med elevers prestasjoner, nemlig læreres utdanningsnivå, forsterker denne tolkningen fordi dette er den effekten av utdanningsnivå som virker dersom undervisningskvalitet ikke endrer seg.

Antall års erfaring hadde hverken en direkte eller indirekte påvirkning på prestasjoner. Disse dataene tillater ikke konklusjoner om hvordan erfaringer påvirker prestasjoner. Tidligere forskning har vist at effekten av erfaring flater ut med antall år i lærerjobben (Clotfelter, Ladd & Vigdor, 2007). For å undersøke dette, trengs mer inngående analyser og videre forskning.

Det er derimot overraskende at heller ikke spesialisering i naturfag hadde en signifikant sammenheng med undervisningskvalitet eller prestasjoner i naturfag, selv om det er i tråd med TIMSS 2015-rapporten for 9. trinn i matematikk (Kaarstein et al., 2016) og med tilsvarende analyser på 4. trinn i naturfag, mens analyser på 8. trinn pekte på en signifikant sammenheng mellom spesialisering og prestasjoner i naturfag (Nilsen, Scherer, og Blömeke, in press). Vi vet ikke hvorfor spesialisering slår ut på disse forskjellige måtene i analysene. Det kan være at spørsmålene til lærerne ikke er detaljert nok, men det kan også være at spesialiseringen i lærerutdanningen påvirker elevers prestasjoner i naturfag i varierende grad, eller det er muligens relatert til kvaliteten i lærerutdanningen. Tidligere forskning har også vist at læreres faglige kunnskaper har større betydning for eldre enn yngre elever (Goe, 2007). I en studie av sammenhenger mellom lærerkvalitet, undervisningskvalitet og elevenes prestasjoner og motivasjon i naturfag på 4. trinn i de nordiske land var et gjennomgående trekk på tvers av alle land at lærernes faglige kompetanse (målt ved selvtillit i faglig kunnskap og spesialisering) så ut til å ha større betydning på 8. enn 4. trinn (Nilsen, Scherer og Blömeke, in press).

Før vi trekker noen konklusjoner er det viktig å nevne begrensningene i vår studie, slik at resultatene ikke blir overtolket. Som sagt bygger analysene på tverrsnittsdata slik at det er vanskelig å trekke kausale konklusjoner. I tillegg gjør vi oppmerksom på at alle analyser ble gjennomført med bare én prediktor inkludert i modellen (se figur 3.2 som et eksempel) fordi prediktorene er sterkt relatert til hverandre. Dette betyr at vi ikke kan være helt sikre på hva som er utslagsgivende til syvende og sist. For å tydeliggjøre dette med et eksempel: Spesialisering i naturfag hadde ingen signifikant påvirkning på undervisningskvalitet eller på elevenes prestasjon. Det er fullt mulig at effekten ble svekket på grunn av forskjeller i lærernes utdanningsnivå eller andre aspekter av lærerkvalitet; med andre ord: Hvis vi hadde hatt en mulighet til å kontrollere utdanningsnivå (eller andre aspekter av lærerkvalitet) i modellen med spesialisering, kunne denne muligens hatt en effekt.

Konklusjon

Til tross for disse begrensningene er det mulig å trekke noen hovedkonklusjoner:

  1. Våre resultater viser at både læreres kvalifikasjoner og kompetanser er viktige for deres undervisningskvalitet og for elevenes læringsutbytte. Men det som skjer i klasserommet er klart viktigst. Lærerutdanningen – og kanskje enda mer etterutdanning av lærere – oppfordres til å rette sin oppmerksomhet særlig til dette poenget og til å finne gode måter for å gi lærere muligheter til å implementere teori i praksis. Ifølge Desimone (2009) bør etterutdanningen blant annet ha fokus på faglig innhold og aktiv læring, og den bør være av en viss lengde dersom lærernes utbytte skal vedvare.

  2. Likevel peker det særnorske funnet på at formelle kvalifikasjoner er viktig, og at det trengs et solid fundament lærere kan bygge på. Lærerutdanningen står muligens foran en utfordring her fordi den strever med å rekruttere nok studenter til naturfag og å få nok plass i læreplanen til en fordypning.

  3. Videre tyder noen overraskende funn i denne konteksten på at det ikke er helt klart hvilken rolle spesialisering i naturfag spiller. Her trengs videre forskning. Det er ikke helt enkelt å tenke seg et design hvor det er mulig å undersøke disse spørsmålene, gitt at variablene er relatert til hverandre, men en stratifisert trekking av lærere som ligner en quasi-eksperimentell design burde kunne minimere disse utfordringene. Videre forskning trengs også når det gjelder rollen læreres erfaring spiller. Her kunne det hjelpe å bruke ikke-lineære (kvadratiske) tilnærmelser i analysen (Clotfelter, Ladd, & Vigdor, 2007).

  4. Det at undervisningstid hadde en positiv og signifikant indirekte sammenheng med elevers prestasjoner, er spesielt interessant i naturfag, hvor dybdelæring har vært problematisk på grunn av det brede pensumet (Eggen et al., 2015). Resultatene indikerer at dersom lærere får for liten tid til undervisning, så forringes kvaliteten på undervisningen og elevenes læringsutbytte. Timetallet i naturfag har nettopp blitt justert opp, og læringsutbyttet i naturfag på 5. trinn i Norge – sett i et nordisk og internasjonalt perspektiv – er høyt. Det kan være at tilstrekkelig med undervisningstid gir læreren muligheter til å diskutere med klassen, til å knytte relasjoner mellom nytt og gammelt stoff, til læring på tvers av emner og fag, til å øke elevers begrepsforståelse og til å gi elever muligheter for utforskende læring. Man får derfor håpe at den nye lærerplanen som er under utvikling, jobber videre med disse utfordringene.

Referanser

Bandura, A. (1997). Self-efficacy: The exercise of control. New York: Freeman.

Baumert, J., Kunter, M., Blum, W., Brunner, M., Voss, T., Jordan, A., … Tsai, Y.-M. (2010). Teachers’ Mathematical Knowledge, Cognitive Activation in the Classroom, and Student Progress. American Educational Research Journal, 47(1), 133–180.

Bergem, O. K., Nilsen, T., & Scherer, R. (2016). Undervisningskvalitet i Matematikk [Instructional quality in Mathematics]. In O. K. Bergem, H. Kaarstein, & T. Nilsen (Eds.), Vi kan lykkes i realfag [We can succeed in mathematics and science]. Oslo: Universitetsforlaget

Blömeke, S., Busse, A., Kaiser, G., König, J., & Suhl, U. (2016). The relation between content-specific and general teacher knowledge and skills. Teaching and Teacher Education, 56, 35–46.

Blömeke, S., & Delaney, S. (2012). Assessment of teacher knowledge across countries: A review of the state of research. International Perspectives on Teacher Knowledge, Beliefs and Opportunities to Learn (pp. 541–585): Cham.: Springer.

Blömeke, S., Olsen, R. V., & Suhl, U. (2016). Relation of Student Achievement to the Quality of Their Teachers and Instructional Quality. In T. Nilsen & J. E. Gustafsson (Eds.), Teacher Quality, Instructional Quality and Student Outcomes (pp. 21–50): Cham.: Springer.

Bray-Clark, N., & Bates, R. (2003). Self-efficacy beliefs and teacher effectiveness: Implications for professional development. Professional Educator, 26(1), 13–22.

Bryck, A. (2010). Organizing schools for improvement: Research on Chicago school improvement indicates that improving elementary schools requires coherent, orchestrated action across five essential supports. Phi Delta Kappan, 91(7), 23–30.

Carroll, J. B. (1963). A model of school learning. Teachers College Record, 64, 723–733.

Clotfelter, C. T., Ladd, H. F., & Vigdor, J. L. (2007). Teacher credentials and student achievement in high school: A cross-subject analysis with student fixed effects. Economics of Education Review 26(6):673–682.

Cohen, J., & Grossman, P. (2016). Respecting complexity in measures of teaching: Keeping students and schools in focus. Teaching and Teacher Education, 55, 308–317.

Creemers, B., & Kyriakides, L. (2008). The dynamics of educational effectiveness. A contribution to policy, practice and theory in contemporary schools. London, Routledge.

Darling-Hammond, L., & Youngs, P. (2002). Defining «highly qualified teachers»: What does «scientifically-based research» actually tell us? Educational researcher, 13–25.

Desimone, L. M. (2009). Improving impact studies of teachers’ professional development: Toward better conceptualizations and measures. Educational researcher, 38(3), 181–199.

Döhrmann, M., Kaiser, G., & Blömeke, S. (2014). The conceptualisation of mathematics competencies in the international teacher education study TEDS-M International perspectives on teacher knowledge, beliefs and opportunities to learn (pp. 431–456): Dordrecht: Springer.

Eggen, P. O., Bøe, M. V., Fimland, N., Johansen, A., Nilsen, T., Olsen, R. V., Reitan, B., Trudeng, M., Tsigarides, K. G., Urdal, H. & Øren, F. (2015). Naturfagene i norsk skole. Retrieved from Utdanningsdirektoratet Oslo.

Fauth, B., Decristan, J., Rieser, S., Klieme, E., & Büttner, G. (2014). Student ratings of teaching quality in primary school: Dimensions and prediction of student outcomes. Learning and Instruction, 29, 1–9.

Ferguson, R. F., & Danielson, C. (2014). How framework for teaching and tripod 7Cs evidence distinguish key components of effective teaching. Designing teacher evaluation systems, 98–143.

Goddard, R. D., Hoy, W. K., & Hoy, A. W. (2000). Collective teacher efficacy: Its meaning, measure, and impact on student achievement. American Educational Research Journal, 37(2), 479–507.

Goddard, Y. L., Goddard, R. D., & Tschannen-Moran, M. (2007). A theoretical and empirical investigation of teacher collaboration for school improvement and student achievement in public elementary schools. Teachers College Record, 109(4), 877–896.

Goe, L. (2007). The Link between Teacher Quality and Student Outcomes: A Research Synthesis. National Comprehensive Center for Teacher Quality.

Goldsmith, L. T., Doerr, H. M., & Lewis, C. C. (2014). Mathematics teachers’ learning: A conceptual framework and synthesis of research. Journal of mathematics teacher education, 17(1), 5–36.

Good, T. L., Wiley, C. R., & Florez, I. R. (2009). Effective teaching: An emerging synthesis. In L. J. Saha & A. G. Dworkin. International handbook of research on teachers and teaching (pp. 803–816): Boston: Springer.

Hanushek, E. A., & Jackson, J. E. (2013). Statistical methods for social scientists. New York: Academic Press.

Hiebert, J., & Grouws, D. A. (2007). The effects of classroom mathematics teaching on students’ learning. Second handbook of research on mathematics teaching and learning, 1, 371–404.

Hox, J. (2010). Multilevel analysis: Techniques and applications. New York: Routledge.

Kane, T., & Cantrell, S. (2010). Learning about teaching: Initial findings from the measures of effective teaching project. MET Project Research Paper, Bill & Melinda Gates Foundation, 9.

Kane, T., & Staiger, D. O. (2012). Gathering Feedback for Teaching: Combining High-Quality Observations with Student Surveys and Achievement Gains. Research Paper. MET Project. Bill & Melinda Gates Foundation.

Kjærnsli, M., & Olsen, R. V. (2013). Fortsatt en vei å gå. Norske elevers kompetanse i matematikk, naturfag og lesing i PISA 2012: Oslo: Universitetsforlaget.

Klette, K., Blikstad-Balas, M., & Roe, A. (2017). Linking Instruction and Student Achievement. A research design for a new generation of classroom studies. Acta Didactica Norge, 11(3), 19, sider.

Klieme, E., Pauli, C., & Reusser, K. (2009). The pythagoras study: Investigating effects of teaching and learning in Swiss and German mathematics classrooms. The power of video studies in investigating teaching and learning in the classroom, 137–160.

Kuger, S., Klieme, E., Jude, N., & Kaplan, D. (2016). Assessing contexts of learning: An international perspective. Springer International Publishing Switzerland.

Kunter, M., Baumert, J., Blum, W., Klusmann, U., Krauss, S., & Neubrand, M. (2013). Cognitive activation in the mathematics classroom and professional competence of teachers: Results from the COACTIV project. Boston MA: Springer US.

Kyriakides, L., Creemers, B., Antoniou, P., & Demetriou, D. (2010). A synthesis of studies searching for school factors: Implications for theory and research. British Educational Research Journal, 36(5), 807–830.

Kaarstein, H., Nilsen, T., & Blömeke, S. (2016). Lærerkompetanse. In O. K. Bergem, H. Kaarstein, & T. Nilsen (Eds.), Vi kan lykkes i realfag. Resultater og analyser fra TIMSS 2015. Oslo: Universitetsforlaget.

Marsh, H. W., Lüdtke, O., Nagengast, B., Trautwein, U., Morin, A. J., Abduljabbar, A. S., & Köller, O. (2012). Classroom climate and contextual effects: Conceptual and methodological issues in the evaluation of group-level effects. Educational Psychologist, 47(2), 106–124.

Martin, M. O., Mullis, I. V. S., Foy, P., & Hooper, M. (2016). TIMSS 2015 International Results in Science. Boston Collage: TIMSS & PIRLS International Study Centre.

McDonnell, L. M. (1995). Opportunity to learn as a research concept and a policy instrument. Educational Evaluation and Policy Analysis, 17 (3), 305–322.

Minner, D. D., Levy, A. J., & Century, J. (2010). Inquiry‐based science instruction–what is it and does it matter? Results from a research synthesis years 1984 to 2002. Journal of Research in Science Teaching, 47(4), 474–496.

Nagy, G., Lüdtke, O., & Köller, O. (2016). Modeling test context effects in longitudinal achievement data: Examining position effects in the longitudinal German PISA 2012 assessment. Psychological test and assessment modeling, 58(4), 641–670.

Nilsen, T., & Gustafsson, J.-E. (Eds.). (2016). Teacher quality, instructional quality and student outcome. Relationships across countries, cohorts and time. (Vol. 2): Cham.: Springer

Nilsen, T., Scherer, R., & Blömeke, S. (in press). The relation of science teachers’ quality and instruction to student motivation and achievement in the 4th and 8th grade: A Nordic perspective. In Northern Lights.

Pianta, R. C., Hamre, B. K., & Allen, J. P. (2012). Teacher-student relationships and engagement: Conceptualizing, measuring, and improving the capacity of classroom interactions. In LS Christenson, A.L. Reschly & C. Wylie (Eds), Handbook of research on student engagement (pp. 365–386): Boston MA, Springer US.

Raudenbush, S. W. (2008). Advancing educational policy by advancing research on instruction. American Educational Research Journal, 45(1), 206–230.

Scheerens, J. (2013). Effectiveness of time investments in education: Insights from a review and meta-analysis. Cham.: Springer Science & Business Media.

Scherer, R., & Nilsen, T. (2016). The Relations Among School Climate, Instructional Quality, and Achievement Motivation in Mathematics. In T. Nilsen & Gustafsson (Ed.), Teacher Quality, Instructional Quality and Student Outcomes. Relationships Across Countries, Cohorts and Time (Vol. 2, pp. 51–79). IEA Amsterdam: Springer.

Seidel, T., & Shavelson, R. J. (2007). Teaching effectiveness research in the past decade: The role of theory and research design in disentangling meta-analysis results. Review of Educational Research, 77(4), 454–499.

Timperley, H., Wilson, A., Barrar, H., & Fung, I. (2007). Teacher professional development and learning: Best evidence synthesis iteration (BES): Wellington: Ministry of Education.

van Tartwijk, J., & Hammerness, K. (2011). The neglected role of classroom management in teacher education. Teaching Education, 22(2), 109–112.

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon