Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

Blinde pletter i den synlige læring - Kritiske kommentarer til «Hattierevolutionen»

Department of Psychology and Behavioural Sciences

Aarhus University

E-mail: jaklit@psy.au.dk

Department of Psychology and Behavioural Sciences

Aarhus University, Bartholins Allé 9, 8000 Aarhus C, Denmark

E-mail: klausn@psy.au.dk

The Blind Spots of Visible Learning. Critical comments to the ‘Hattie revolution’

This article poses a number of critical questions to John Hattie’s work about visible learning and the so-called 'Hattie revolution', which presently dominates Danish educational debate. This article analyzes and discusses Hattie’s methodological presupposition and a number of the theoretical assumptions on which Hattie’s work is founded. It is argued that the large number of meta-analyses which Hattie uses in his work do not only function as scientific documentation, but also as rhetorical components in discussions about what the problems and the solutions might be in today’s educational system. A central aim in Hattie’s work is to develop a theory about what constitutes good learning and good teaching based on the evidence-based measures from a large number of meta-analyses. In the paper, however, we question if this aim is realized in Hattie’s own work.

 

Nøkkelord: Hattie, Method, Visible Learning, Teaching

Siden udgivelsen af bogen om synlig læring med titlen «Visible Learning»1 i 2009 er den newzealandske forsker John Hatties indflydelse på det pædagogiske felt i Danmark blevet stadig større. Faktisk i en grad, så nogle taler om en decideret «Hattierevolution» (Qvortrup 2015) – og «overalt i uddannelsesverdenen synes der at foregå en udvikling i retning af det såkaldte synlig-læring-paradigme» (Hansen, Ratib Lekhai, Nordahl, Norlund, Persson & Qvortrup, 2015, s. 4, vores kursivering).

Hatties oprindelige bog om synlig læring består af et imponerende empirisk materiale og er en syntese af mere end 800 metaanalyser, hvoraf mere end 52.637 individuelle undersøgelser af, hvad der har effekt på elevers præstation, er blevet integreret. Referencelisten består af ikke mindre end 1.700 titler. På tværs af de 8002 metaanalyser finder Hattie 138 enkeltfaktorer, som næsten alle har effekt på elevers præstation. Bogen om synlig læring præsenterer disse faktorer på en rangliste over, hvilke der fungerer godt, og hvilke der fungerer mindre godt.

Hattie opdeler de 138 enkeltfaktorer i 6 tematiske grupper: 1) elevens bidrag til egen læring, 2) hjemmets bidrag til elevers læring, 3) skolens bidrag til elevers læring, 4) lærernes bidrag til elevers læring, 5) pensums bidrag til elevers læring og 6) forskellige undervisningsformers bidrag til elevers læring.

Hatties arbejde og indflydelse taget i betragtning kan det undre, at der i dansk sammenhæng endnu ikke er blevet foretaget en mere indgående kritisk analyse, end tilfældet er. På Skoleportalen (2013) bliver Hattie fremstillet som forskeren par excellence, hvis resultater lærerne i folkeskolen kan (og bør) bygge deres undervisning på, og andetsteds advares der: «De folk, som afviser at bruge Hatties og andres resultater, påtager sig et betydeligt moralsk ansvar» (Hansen et al., 2015, s. 7). Rasmussen (2013) mener f.eks., at «selvom der skal spises brød til Hatties effektangivelser, så er disse bøger en kolossal støtte for skoler og lærere». I forlængelse heraf mener Qvortrup (2015) at kunne tilbagevise den kritik, som Hattie trods alt har mødt, ligesom Fibæk Laursen (2015) hævder at kunne vise, at Hatties resultater, selvom de er hentet fra mange kulturelt forskellige kontekster, kan generaliseres til danske forhold. Hatties læringsbegreb kritiseres af nogle (e.g. Illeris, 2014), mens andre kritiserer Hatties metodiske tilgangsvinkel mere end hans teoretiske antagelser (e.g. Clod, 2014). Nogle forskere hævder endda, at Hatties videnskabelig metode er undergravende for centrale ideer i dansk, skandinavisk og nordeuropæisk pædagogik gennem de seneste 200 år (Rømer, 2016, in press; Tanggaard, Rømer & Brinkmann, 2014). I en sådan polariseret diskussion kan man nemt komme til at forbigå det centrale spørgsmål, som også er denne artikels problemstilling: I hvilken udstrækning lever Hattie op til de eksisterende grundantagelser inden for den forskningstradition, han selv tilhører?

I denne artikel er det vores hensigt at fremføre nogle kommentarer efter kritisk gennemlæsning af Hatties arbejde. I forlængelse af kritiske perspektiver fra internationalt hold (f.eks. Snook, O’Neill Clark, O’Neill, & Harker, 2009; Terhart, 2012) vil vi analysere Hatties konkrete metodiske valg og hans tolkning af sine egne resultater. Ydermere problematiserer vi nogle af de konkrete metaanalyser, som Hatties synteser hviler på. Der er en tendens til, at den store datamængde og anvendelsen af kvantitative metoder mødes med forventning om at få «ret besked» af både forskere og lægmænd (se eksempelvis Qvortrup, 2015; Fibæk Laursen, 2015; Nordahl, 2015), men kvantitative metoder er langtfra ufejlbarlige, og Hattie er ingen undtagelse. Langt de færreste lægmænd, og heller ikke mange forskere, har tid eller mulighed for at grave i mængden af forskning, som ligger til grund for Hatties arbejder. Det betyder, at Hatties metodiske tilgangsvinkler kommer til at fremstå som noget, der ikke kan gøres til genstand for diskussion. Hensigten med denne artikel er at åbne for en kritisk læsning af Hattie med henblik på en kvalificeret diskussion vedrørende brugen af hans resultater i udviklingen af uddannelsessystemet.

Hatties projekt

For at lette læsningen af det følgende vil vi i dette afsnit ganske kort præsentere Hatties projekt. Herunder den nævnte opdeling mellem syntesen af de mange metaanalyser på den ene side og teorien om læring og undervisning på den anden.

Metaanalysen som forskningsredskab

Hatties undersøgelser består af en syntese af en meget stor mængde metaanalyser. Metaanalysen som redskab er blevet udviklet som en specifik form for «review» over et forskningsfelt – en systematisk undersøgelse af centrale træk ved et givent felt – herunder hvordan et fænomen (eksempelvis lektioner eller feedback) operationaliseres, hvad resultaterne peger på og lignende. Metaanalysen går et skridt videre ved at samle alle data fra de inkluderede undersøgelser og identificere resultater på tværs af de forskellige enkeltundersøgelser. Dermed formoder man at kunne undgå svagheder i enkeltundersøgelser og at få data fra langt flere undersøgelsesdeltagere end i hver af de oprindelige undersøgelser.

Hatties to projekter: effektanalyser og udviklingen af en teori for undervisning og læring

Det, der har været størst fokus på, når Hattie er blevet anvendt til at argumentere for eller imod bestemte tiltag inden for undervisning, er resultatet af de mange enkeltfaktorer. For hver af de 138 enkeltfaktorer finder Hattie en såkaldt effektstørrelse, dvs. et tal, der angiver, hvor stor effekt en given intervention har haft. Hattie er imidlertid ganske klar, når det gælder «problemet» med at lade sig guide af de enkelte effektstørrelser: Det er ikke dem, man skal sætte sin lid til – det skal man i stedet til den overordnede «ramme», som Hattie mener leder til en undervisningsteori om synlig læring. Hattie fremhæver selv sin ambition med bogen om synlig læring således:

«(…) to build an explanatory story about the influences on student learning and then to convince the reader of the nature and value of the story by working through the evidence to defend it. It is as much theory generation as it is theory appraisal» (Hattie, 2009, s. 22)

Synlig læring er således rammen, som anvendes til fortolkning af effektstørrelserne og understøttelse af en bestemt forståelse af læring og undervisning. Med andre ord understøtter analysen af enkeltfaktorerne den overordnede fortælling. Dette er også vigtigt i relation til brugen af Hatties forskning i den offentlige debat: Her anvendes enkeltfaktorerne ofte som selvstændigt argument for, om bestemte tiltag er gode eller dårlige. Dette er som sagt ikke Hatties hensigt og kræver derudover som minimum, at man vurderer, om Hatties analyse af den konkrete faktor er holdbar. Nedenstående er vores diskussion af forskellige enkeltfaktorer – og måden, hvorpå Hattie analyserer dem. Vi mener, at to dele af Hatties bog om synlig læring ikke hænger særlig godt sammen: delen, som omhandler udvikling af teorier med hensyn til undervisning, og delen, som viser, hvad der har effekt.

I det følgende vil vi først fokusere på nogle af de metodiske problemer, som kendetegner Hatties arbejde, og derefter vil vi fokusere på den teori om læring og undervisning, som Hattie udvikler.

Metodiske problemstillinger: Grænseværdier, gennemsnit, generalisering, moderatorer samt spredning og kvalitet

Hattie vælger Cut-off-scoren

For hver enkelt af de 138 faktorer, som Hattie (2009) undersøger, udregner han som beskrevet en effektstørrelse. Det viser sig, at næsten alle interventioner (95 pct. ifølge Hattie, s. 15) har positiv effekt – alt virker stort set. Det giver Hattie anledning til at indføre en grænseværdi for, hvornår en effektstørrelse er «stor nok», til at den er relevant at beskæftige sig med.

Hattie beslutter sig for, at cut-off-snittet ligger på d = 0,40 – ud fra en pragmatisk logik, som siger, at cut-off-snittet baseres på gennemsnittet af effektstørrelserne af de 800 metaanalyser, Denne beslutning er ikke nær så uproblematisk, som den i første omgang lyder til at være. Hattie skriver: «This cut was the average effect from 800-plus meta-analyses and the book fully elaborates on the origin of this claim. It is a threshold to create a story (about what is common above and below this effect) (…)» (Hattie, 2010, s. 89, vores kursivering).

Cut-off-scoren er altså først og fremmest et retorisk eller narrativt begreb, der skal bruges til at «skille fårene fra bukkene», altså til at identificere enkeltfaktorer, som bør fremhæves frem for andre. Men størrelsen af en effekt er sjældent det eneste, der skal tages hensyn til. Eksempelvis er effekten af at give mennesker med hjerteproblemer lave doser af aspirin for at forebygge hjerteproblemer = 0,07, hvilket vil sige, at en sådan behandling kun redder 34 ud af 1.000 menneskers liv. Umiddelbart er der tale om en lav effekt, men set i forhold til at man redder 34 menneskers liv, kan det være en indsats, som er værd at foretage. Hatties beslutning om at benytte en cut-off-score på 0,40 er ikke et videnskabeligt «sandt» eller «objektivt» kriterium for, hvornår man skal opfatte en intervention som «betydelig». Det er i øvrigt værd at bemærke, at Hattie altså argumenterer for, at hovedprojektet med bogen om synlig læring er helheden og netop ikke de enkelte effektstørrelser, men alligevel vælger en entydig cut-off-score til at skelne relevante fra irrelevante enkeltfaktorer.

Gennemsnit og generalisering i Hatties syntese skjuler vigtige forskelle

Metaanalyserne, som Hattie bygger sin syntese på, har ikke ensartede standarder for, hvordan de måler effekt. I nogle metaanalyser inddrages undersøgelser, hvor effekten ikke knytter sig til brugen af kontrolgrupper, mens der i andre metaanalyser inddrages undersøgelser med et kontrolgruppedesign. Hvis man f.eks. i én undersøgelse laver pædagogisk intervention og måler effekten før og efter interventionen, er effekten resultatet af en sammenligning af nogle bestemte elever inden for samme intervention (et såkaldt pre-posttest-design). I en kontrolgruppeundersøgelse vil man typisk sammenligne effekten af en intervention i én gruppe (en eksperimentalgruppe) med en kontrolgruppe, der modtager «normal behandling» (treatment as usual). Hvis deltagerne er udvalgt tilfældigt, med hensyn til om de indgår i eksperimentalgruppen eller i kontrolgruppen, betegnes dette som randomiserede kontrollerede forsøg (RKF), hvilket betragtes som den gyldne standard for effektforskning (Kluger & DeNisi, 1996, s. 277; Torgerson & Torgerson, 2008). Pointen er, at der er store usikkerheder forbundet med at vurdere effekternes sammenhæng med interventionen, hvis der ikke benyttes et RKF-design, og det er ikke tydeligt, hvordan Hattie forholder sig til forskellene mellem de forskellige måder at udregne effektscorer på – og om, eller hvordan, han tager højde for dem i sin beregning af de enkelte faktorers effektstørrelser samt i udregningen af den generelle cut-off-score på 0,40 som nævnt ovenfor.

Enkelteffektstørrelser skjuler variation

Når først en samlet effektstørrelse er fundet, kan den meget vel skjule væsentlige forskelle. Det illustrerer vi gennem Hatties beregning af betydningen af lektier, der viser, at måden, hvorpå Hattie generaliserer en bestemt faktor, er med til at skjule effekter, som ligger over cut-off-scoren på d = 0,4 – hvilket er væsentligt ifølge Hattie.

Hattie finder, at effekten af at give eleverne lektier for er 0,29, hvilket tydeligvis falder under Hatties valgte cut-off-score. Dette forhold er blevet udlagt i medierne, som om lektier ikke har nogen betydning (Snook et al., 2009, s. 94). Det gælder også i Danmark, hvor Carboni (2013) har talt med Hattie: «‘Traditionelt hjemmearbejde har en forsvindende lille effekt, og den bliver ringere jo yngre eleverne er’, forklarer den internationale kendis-forsker John Hattie. Lektier kommer så langt nede på hans liste over, hvad der virker, at det ifølge ham ikke giver mening at bruge tid på det» (Carboni, 2013).

Men tallene for effekten af lektier er meget forskellige alt efter skolekonteksten i de forskellige undersøgelser (Snook et al., 2009). Eksempelvis er effekten af lektier i folkeskolen (elementary/primary school) på 0,15 (altså klart under cut-off-scoren på 0,40), mens effekten på gymnasiet (high-schools) er 0,64 (altså klart over cut-off-scoren). Resultaterne synes således at være, at lektier faktisk har en væsentlig betydning for gymnasieelevernes læring, men denne indsigt forsvinder, når der kun arbejdes med et vægtet generelt gennemsnit for betydningen af lektier på 0,29 (Hattie, 2009, s. 234). Hattie erkender, at denne variabilitet findes: «There may be many moderators. For example, the typical effect size of homework is d = 0,29, but the effects are greater for high school students and closer to zero for elementary school students» (Hattie, 2009, s. 17). Men cut-off-scoren er ikke bare højere end 0,40 for studerende på gymnasieniveau – den er ligefrem betydeligt højere. Derudover har det f.eks. også betydning, om eleverne er fagligt stærke eller fagligt svage. Betydningen af lektier i forskellige fag (eksempelvis matematik i forhold til fag som dansk og samfundsfag) forsvinder ligeledes i Hatties generalisering (se Hattie, 2009, s. 234–236). Pointen er, at det store empiriske materiale, som Hattie bruger i sine analyser, undertiden netop ikke synliggør, hvad der virker, men er med til at skjule eller tildække forskelle i, hvad der kan antages at virke (her forstået som: d > 0,40).

Ovenstående afslører et vigtigt forhold med hensyn til Hatties måde at behandle indholdet i de mange metaanalyser på, som er vigtigt at have in mente: at der er tale om en generalisering ud fra en meget overordnet definition af et fænomen (lektier er lektier uanset elevers alder, hvilke fag lektierne gives i mv.) – og tilsyneladende ingen bekymring over tabet af information, som en sådan generalisering foranlediger.

Kompleksitet: Moderatorer, interaktionseffekter og drømmen om enkeltfaktorer

I det følgende vil vi uddybe ovenstående kritik af Hatties nedtoning af variationen inden for de enkelte faktorer, han arbejder med (f.eks. lektier, klassestørrelse, feedback) og påpege, at Hattie ignorerer kompleksiteten, når han i stor udstrækning undlader at forholde sig til, hvordan enkeltfaktorer potentielt interagerer (f.eks. om det gør nogen forskel, hvilken type undervisning der gennemføres, hvis man sænker klassestørrelsen i en klasse med heterogen socioøkonomisk elevsammensætning). Her tales altså om moderatorer og interaktionseffekter mellem enkeltfaktorerne i Hatties analyse. Vi bruger Hatties beregning af klassestørrelse som eksempel og påpeger hovedproblemet: at Hattie operationaliserer klassestørrelse som en gyldig selvstændig analyseenhed, man meningsfuldt kan måle effekten af – uafhængigt af andre forhold.

Ifølge Hattie (2009) er fordelene ved små klasser begrænset set i forhold til store klasser (s. 86), idet effekten af klassestørrelse angives til d = 0,21. Men ser man nærmere efter, indeholder en sådan konklusion en række problemer. Ligesom når vi diskuterer lektier, er der med hensyn til klassestørrelse det problem, at Hatties forskellige undersøgelser operationaliserer begrebet forskelligt (Snook et al., 2009). Hvordan skelner man imellem en stor klasse og en lille klasse? Hvis der er 25 elever i klassen, er der så tale om en stor eller en lille klasse? (McGiverin et al, 1989; Snook et al., 2009). Dette fremgår ikke klart af Hatties analyse. Der er også andre problemer i forhold til afgrænsning af den analyseenhed, vi her vil kalde henholdsvis en stor og en lille klasse, fordi det, som er gældende for en stor og en lille klasse, kan udregnes på forskellige måder (Snook et al., 2009). Er der tale om en udregning, der drejer sig om, hvor mange elever der er på skolen udregnet i forhold til en lærer-elev-ratio, eller om, hvor mange der er indskrevet i de enkelte klasser – eller måske hvor mange elever der rent faktisk møder op til undervisningen i perioden, hvor undersøgelsen pågår? Problemet bliver faktisk mere omfattende, når vi går tættere på de enkelte undersøgelser, fordi her bliver det klart, at det er vanskeligt at afgøre helt præcist, om det er klassestørrelsen, der fører til den begrænsede effekt, eller om der er tale om en række andre variable, der blander sig og gør billedet langt mere mudret. Berger (1982) fremhæver, at det ikke giver mening at bruge klassestørrelse som en analyseenhed i sig selv i forhold til at vurdere, hvilken effekt klassestørrelse har på elevernes præstationer. Berger (1982) fremhæver på baggrund af en analyse af den eksisterende litteratur, at klassestørrelse i sig selv ikke kan forstås som en meningsfuld analyseenhed. I stedet bør klassestørrelse blandt andet forstås i sammenhæng med elevernes evner og sociale baggrund, heterogenitet i klassen, lærernes evner til at undervise, samt hvilke ressourcer lærerne har til rådighed. Et andet problem opstår, når man går tættere på den pædagogiske virkelighed i skolen. På mange skoler går eleverne i forskellige klasser eller arbejder i grupper med varierende antal deltagere (Berger, 1982), og det kan derfor være vanskeligt at afgøre, hvornår eleven er del af en lille klasse, og hvornår han/hun er del af en større klasse. Allerup peger på det samme problem, idet han anfører, at undersøgelse af enkelte variable i en pædagogisk kontekst fører til en problematisk reduktion af kompleksiteten. Det er derimod vigtigt at arbejde med flere variable samtidig (multivariable analyser) for at afdække kompleksiteten inden for et bestemt pædagogisk område (Allerup, 2015, s. 49)3.

Murnane og Levys (1996) undersøgelse illustrerer dette. De undersøgte 15 meget dårligt præsterende folkeskoler i Texas, der havde modtaget økonomiske midler til at nedsætte klassekvotienten (Snook et al., 2009). I 13 af folkeskolerne skete der ikke nævneværdige ændringer i elevernes præstationer, men i 2 af dem benyttede man ændringen af kvotienten til også at ændre den pædagogiske praksis. Her gav den lavere elevkvotient blandt andet mulighed for, at forældre i langt højere grad kunne inddrages i undervisningen, og lærerens undervisning blev ændret, således at undervisningen i langt højere grad fokuserede på at tilpasse undervisningen til den enkelte elev. Konsekvensen af ændringerne for effekten af undervisningen var overvældende, for de to skoler rangerede sig op i midterfeltet i forhold til andre folkeskoler i Texas. Hvis Murnane og Levy (1996) udelukkende havde fokuseret på klassestørrelse, ville de ikke have fanget, at man i nogle skoler fortsatte som vanligt, mens andre benyttede lejligheden til at ændre praksis.

På trods af at Hattie fastslår, at klassestørrelse faktisk er en meningsfuld analyseenhed at arbejde med, overvejer han faktisk, helt relevant, om der i virkeligheden kunne være andre forklaringer på, hvorfor klassestørrelse ikke synes at have den store betydning i forhold til elevernes præstationer, og herunder, om undervisning bør være forskellig i store og små klasser. Endvidere påpeger Hattie, at undervisning i større klasser (30-80 elever) formentlig kræver en dygtig underviser – og at undervisningen i en sådan kontekst form egentlig er særdeles struktureret med fokus på overindlæring af basale færdigheder (Hattie, 2009, s. 87). Altså at den undervisning, der udføres i forskellige undersøgelser faktisk, er forskellig og derfor svært sammenlignelig (vi vender tilbage til Hatties definition af læring sidst i artiklen). Pointen er her ikke at diskutere, hvorvidt Hatties antagelser har hold i virkeligheden, men derimod at pointere, at han selv påpeger det vanskelige i at afgøre, om det er den ensartede undervisning i klasser med få elever, tildelingen af gode undervisere på de større hold eller antallet af elever i klasserne, der er den afgørende variabel i forhold til den målte effekt. Da Hattie tilsyneladende mener, at der kan være vigtige forskelle imellem undervisningen i forskellige størrelser klasser, og da disse overvejelser ikke indarbejdes i hans analyse, må hans angivelse af en entydig d-værdi nødvendigvis anses som problematisk.

Social baggrund spiller en stor rolle, men inddrages ikke i Hatties analyser

Et andet sted, hvor spørgsmålet om moderatorer bliver særligt tydeligt, er i Hatties behandling af elevers socioøkonomiske baggrund. Som i de ovenstående eksempler anvender Hattie ikke socioøkonomisk status som moderator af andre effekter (dvs. han stiller f.eks. ikke spørgsmålet, om effekten af lektier er forskellig hos forskellige socioøkonomiske grupper af high school-elever). Dette fravalg af ydre forhold begrunder Hattie med, at han ønsker at beskæftige sig med de pædagogiske forhold, som undervisere og uddannelsespolitikken kan gøre noget ved (Hattie, 2009, s. x–xi). Da det jo er et legitimt ærinde at vælge at forholde sig til påvirkelige forhold på denne måde, vil dette som nævnt medføre en betydelig reduktion af viden om forskellige indsatser. Imidlertid er den indirekte konsekvens (som nok skyldes den popularitet, Hatties analyser har vundet): Når Hatties forslag til uddannelsespolitiske tiltag ukritisk inddrages i den pædagogiske dagsorden (som det i vidt omfang sker i Danmark), forsvinder «betydningen af elevernes socioøkonomiske baggrund» som vigtigt tema ud af den pædagogiske diskussion. Dette er særlig uheldigt, fordi et af målene for den danske folkeskole er at «mindske betydningen af social baggrund» (UVM, 2016).

Elevernes socioøkomiske baggrund er en af de væsentligste faktorer til forståelsen af deres læringsudbytte i skolen i dag (Snook et al., 2009). Hattie påpeger selv, at en række effektundersøgelser viser, at elevernes socioøkomiske forhold spiller en væsentlig rolle med en effekt på d = 0,57 i forhold til elevernes læring (Hattie, 2009, s. 62). Det er vanskeligt at sige præcist, hvor stor en procentdel af elevernes læring der skyldes elevernes socioøkonomiske baggrund, men der er ingen tvivl om, at den spiller en central rolle. I en OECD-rapport fra 2005 er det første og mest solide fund, at den største kilde til variationen i de studerendes læring skyldes de studerendes socioøkonomiske baggrund – både i forhold til deres holdninger, evner, sociale baggrund og familiebaggrund (OECD, 2005; Blichfeldt, 2011; Snook et al., 2009). Hatties negligering af socioøkonomiske forskelle risikerer at skabe betingelserne for en klasseblind pædagogik i det danske uddannelsessystem.

Mens Hattie som sagt accepterer, at der er meget, som vi i skolen ikke kan gøre noget ved, altså det, som eleverne bærer med sig, undlader han at undersøge sammenhængen mellem socioøkonomisk gruppering og præstation i de enkelte faktorer, som han mener, at vi kan gøre noget ved – og sætter dermed socioøkonomisk status uden for døren i dobbelt betydning.

Manglende kvalitet i metaanalyser anvendt af Hattie

En gennemgående kritik af Hatties metaanalyser omhandler manglende information om kvaliteten af hans anvendte metaanalyser (Snook et al., 2009). Undersøgelser er ikke født lige – nogle er bedre end andre. Man kan i den forbindelse have forskellige kriterier for, hvad der karakteriserer gode eller mindre gode undersøgelser. Vi har tidligere nævnt radomiserede kontrollerede forsøg, som anses for at være «den gyldne standard» inden for kvantitativ forskning (Torgerson & Torgerson, 2008). Metaanalyser baseret på RKF-forskning alene ville derfor blive betragtet som bedre end forskning baseret på andre designs, når det gælder om at afdække effekten af bestemte interventioner.

I forbindelse med sin bog om synlig læring fremhæver Hattie, at han ikke finder det vigtigt at undersøge kvaliteten af de forskellige undersøgelser, som han analyserer: «(This) is not a book about criticism of research and I have deliberately not included much about moderators of research findings based on research attributes (quality of study, nature of design) not because these are unimportant … but because they have been dealt with elsewhere» (s. ix, vores kursivering).

Hattie beskæftiger sig altså ikke med potentielle problemer i sin egen undersøgelse, men henviser i stedet til andre, der har beskæftiget sig med problemer i forbindelse med metaanalyser alment 4. Med andre ord: Hattie forholder sig ikke direkte til kvaliteten af sin egen undersøgelse.

I nogle udvalgte sammenhænge forholder Hattie sig imidlertid alligevel til kvaliteten af nogle inddragede metaanalyser, men dette hverken konsekvent eller systematisk. Når Hattie eksempelvis forholder sig til forskning i læringsstile, fremhæver han, at en række af de metaanalyser, der er lavet inden for dette felt: «include so many errors that they should be exluded» (s. 196), og kommenterer om andre: «some of the sample sizes were tiny» (s. 196). Her fravælger Hattie altså alligevel nogle undersøgelser på grund af manglende kvalitet. Et andet eksempel finder vi, når Hattie sammenligner effekten af at gå i Charterskoler5 versus almindelige skoler (s. 75). På det område findes kun en enkelt metanalyse, der peger på, at effekten af at gå i Charterskoler i forhold til almindelige skoler er på 0,20. Men Hattie undersøger kvaliteten af undersøgelserne, som metaanalyserne indeholder, og konkluderer: «when the lower quality studies were excluded, this difference dropped to zero» (Snook et al., 2009, s. 76). Denne varierende inddragelse af delstudiers kvalitet er igen et eksempel på, at der i Hatties arbejder indgår et væsentligt tolkningsarbejde, som ikke er dikteret af de empiriske resultater, som Hattie bryster sig med er de væsentlige.

Feedback: En kort gennemgang af udvalgte metaanalyser i forhold til validitet, transparens og brugen af kontrolgrupper

Dette afsnit indeholder en kort caseanalyse af en enkelt af de af Hattie udledte faktorer (feedback) med formålet at samle vore kritikpunkter vedrørende Hatties syntese. Faktoren feedback er udvalgt, fordi den hører til i toppen af Hatties rangering af enkeltfaktorer (nr. 10 med effektstørrelsen d = 0,73), og fordi han bruger meget energi på netop dette emne i sin argumentation for synlig læring. I anden sammenhæng har Hattie pointeret vigtigheden af feedback i artiklen «The Power of Feedback» skrevet sammen med Timperley (Hattie & Timperley, 2007), hvor feedback beskrives som et særdeles stærkt pædagogisk redskab. Den samme store tiltro til betydningen af feedback findes i bogen om synlig læring, hvor Hattie pointerer: «Thus, when feedback is combined with effective instruction in classrooms, it can be very powerful in enhancing learning» (Hattie, 2009, s. 178). Hatties syntese er problematisk, fordi den giver indtryk af, at Hatties analyser indeholder alt, hvad der er at sige om et bestemt undervisningsmæssigt fænomen, hvilket vi her forsøger at vise langtfra er tilfældet. En række andre metaanalyser og reviews af feedback har en langt mere flertydig vurdering af effekten af feedback end den, vi finder hos Hattie. I et review over formativ feedback, og i forlængelse af Kruger og DeNisi (1996), fremhæver Shute (2008): «Within this large body of feedback research, there are many conflicting findings and no consistent pattern of results» (s. 153). Bredden af fænomenet feedback varierer betydeligt i de anvendte metaanalyser. I en af metaanalyserne (i.e. Kluger & DeNisi, 1996) anvendes begrebet «feedback intervention», der dækker et meget bredt spektrum af feedbacksituationer, mens en anden metaanalyse (i.e. Swanson & Lussier, 2001) omhandler noget, som Hattie kalder feedback, til «Dynamic assessment» (en bestemt måde at kunne hjælpe elever i løbet af en testsituation). Det vil blive uddybet i det følgende.

De fem «tunge» feedbackmetaanalyser

I sin bog om synlig læring definerer Hattie feedback således: «(…) feedback is information provided by an agent (e.g. teacher, peer, book, parent, or one own experience) about aspects of one’s performance or understanding» (Hattie, 2009, s. 174). Videre uddyber Hattie: «Feedback is a ‘consequence’ of performance» (Hattie, 2009, s. 174), og der er ingen tvivl hos Hattie om, at i en pædagogisk sammenhæng er feedback en central måde at lære på, og at det er i den sammenhæng, at feedbackbegrebets væsentlighed skal forstås: «In summary, feedback is what happens second, is one of the most powerful influences on learning, occurs too rarely, and needs to be more fully researched by qualitatively and quantitatively investigating how feedback works in the classroom and learning process» (s. 178).

Uenigheden vedrørende betydningen af feedback vil vi komme nærmere ind på ved at kigge på fem af de metaanalyser, som Hattie bygger sin beregning på. Hatties syntese omkring feedbackområdet består af 23 metaanalyser inkluderende 67.931 personer, hvor effekten af at bruge undervisningsstrategier, der ifølge Hattie lægger vægt på feedback, hedder d = 0,73 – altså en særdeles høj effekt. Hvis vi kigger nærmere på de 23 metaanalyser, som Hattie henviser til i sin syntese af feedbackforskningen, er 5 af dem særlig tunge, fordi de inkluderer 62.761 personer svarende til 92 pct. af det samlede «sample». I det følgende vil kigge nærmere på kvaliteten af disse 5 metaanalyser (i.e. Lysakowski & Walberg (1980); Lysakowski & Walberg (1982); Kluger & DeNisi (1996); Witt, Wheeless & Allen (2006) samt Swanson & Lussier (2001)). Det vil vi gøre ud fra følgende kriterier:

  1. Er undersøgelserne valide, dvs. måler/undersøger de det, som Hattie siger, at de gør? (feedback).

  2. Er metaanalyserne transparente, altså er det muligt at undersøge kvaliteten af de enkelte studier i metaanalyserne?

  3. Brugen af randomiserede kontrolgruppestudier. Som nævnt ovenfor anses studier, som inkluderer kontrolgrupper, for at være af højere kvalitet.

Som tabel 1 viser, er det vores vurdering, at i fire af de fem «tungeste» undersøgelser, der nævnes i forbindelse med Hatties afdækning af feedback, er det begrebsmæssigt uklart, om de opererer med et feedbackbegreb, der er identisk med Hatties (se også Blichfeldt, 2011). Ligeledes peger vores analyse på, at transparensen er lav i to ud af fem undersøgelser, samt at der kun i én ud af de fem undersøgelser konsekvent arbejdes med et kontrolgruppedesign.

Det er i øvrigt interessant, at undersøgelsen af Kluger og DeNisi (1996), som Hattie (Hattie, 2009, s. 175) betegner som «the most systematic study addressing the effects of various types of feedback», når frem til, at feedbackinterventioner har en effektstørrelse på d = 0,38 – altså en langt lavere effektvurdering end de 0,73, som Hattie når frem til. Derudover har 32 pct. af de undersøgelser, der er inkluderet i Kluger og DeNisis undersøgelse, en negativ effekt på læreprocessen – hvilket i øvrigt også er i strid med Hatties antagelse om, at «næsten alt virker». Kluger og DeNisi (1996) betegner derfor feedback som et tveægget sværd, som både kan føre til, at eleverne lærer enten markant mere eller markant mindre. Det er ligeledes interessant i en dansk sammenhæng, at en undersøgelse fra SFI af Winther og Nielsen (2013) – som Fibæk Laursen (2015, s. 39) betegner som en af de «største og metodisk mest avancerede undersøgelser af, hvad der fremmer danske elevers læring» – finder, at feedback ikke har nogen som helst effekt i forhold til elevernes læring.

Tabel 1. Oversigt over de fem store undersøgelser med fokus på feedback

Undersøgelser

Validitet

Empirisk fokus og transparens

Kommentarer

Lysakowski og Walberg, 1980

Fokus på reinforceringsteknikker.

Uklar relation til feedback/lav validitet

Lav transparens.

Kontrolgrupper: Ingen undersøgelser nævnt, som indgår i metaanalysen

Artiklen definerer ikke nærmere, hvad der forstås ved reinforceringsteknikker

Lysakowski og Walberg, 1982

Fokus på korrektiv feedback

Uklar relation til feedback i pædagogiske situationer/lav validitet

Høj transparens. Kontrolgrupper: Inkluderer kun undersøgelser med kontrolgruppedesign

Korrektiv feedback knytter sig til alene til feedback givet i forbindelse med testsituationen. Altså ikke den feedback, der gives i forbindelse med instruktion og undervisning

Kluger og DeNisi, 1996

Fokus på feedbackintervention.

Klar fokus på feedback i pædagogiske situationer/høj validitet

Høj transparens.

Kontrolgrupper: Inkluderer kun undersøgelser med kontrolgruppedesign

Her arbejdes der med et feedbackbegreb, der ligger tæt på Hatties.

Witt, Wheeless & Allen, 2006

21.171 deltagere/81 undersøgelser

Fokus på lærernærvær og elevudbytte.

Uklar relation til feedback i pædagogiske situationer/lav validitet

Lav transparens.

Kontrolgrupper: Arbejder ikke konsekvent med kontrolgruppedesign.

Fokus for denne undersøgelse ligger på forholdet mellem lærerens nærvær og elevernes udbytte.

Feedbackbegrebet nævnes ikke.

Swanson & Lussier, 2001

Fokus på dynamisk «assessment»

Uklar relation til feedback i pædagogiske situationer/lav validitet

Høj transparens.

Kontrolgrupper: Arbejder ikke konsekvent med kontrolgruppedesign.

 

Hatties bog om synlig læring udtrykker stor optimisme mht. muligheden for at forbedre undervisning og øge elevers præstation. Et af problemerne med denne lærings- og undervisningseufori er, at den ikke altid er båret af den empiriske dokumentation, som Hattie ynder at understrege er nødvendig for, at vi kan udtale os om en given pædagogisk intervention. Netop dette mener vi, at eksemplet med feedback dokumenterer.

Synlig læring og undervisning

Synlig læring, direkte instruktion og feedback

På trods af at Hatties syntese bygger på en overvældende mængde undersøgelser, hviler hans grundlæggende tilgang på en række teoretiske antagelser om, hvad læring og undervisning egentlig er for nogle processer. Som allerede nævnt i indledningen af denne artikel har Hattie to hovedformål med sin bog om synlig læring. Det ene er at lave en syntese over de mange metaanalyser og udvikle et enkelt effektmål for hver af de 138 interventioner, som Hattie undersøger. Det andet projekt er at udvikle en teori om god undervisning. At Hattie har to projekter i bogen om synlig læring, viser sig blandt andet i måden, hvorpå han benytter sine metaanalyser. Som allerede nævnt benytter Hattie sine metaanalyser til at udvikle en effektstørrelse, der viser, om effekten af en bestemt intervention ligger højt eller lavt, men til den egentlige teoriudvikling bruger Hattie i flere tilfælde andre kilder. Hvis vi ser på afsnittet, hvor Hattie beskæftiger sig med feedback (Hattie, 2009, s. 173–178), refererer han til forskellige kilder, hvoraf kun en enkelt (Kluger & DeNisi, 1996) er hentet fra metaanalyserne, hvorpå han bygger sin beregning af effekten af feedback. Den samme tendens ser vi i afsnittet om direkte instruktion, som er centralt for Hatties undervisningsmodel (direkte instruktion). Her udgør kun en enkelt af fire kilder en af de anvendte metaanalyser (i.e. Adams & Engelmann, 1996). Et dybere problem er, at de to projekter (hhv. empirisk afdækning og teori om undervisning) hænger dårligt sammen, hvilket uddybes i det følgende.

Overordnet er Hattie inspireret af Bereiters tredeling af læreprocessen i en fysisk verden, en subjektiv verden og en begrebsmæssig verden. Bereiters noget uklare begrebsbrug bliver tolket af Hattie, som om der må være tale om tre forståelser (eller læreprocesser): overfladelæring, dybdelæring og en konstrueret læringsforståelse. Denne tredeling er inspireret af Biggs’ SOLO-taksonomier (se Biggs & Collins, 1982; Collins & Biggs, 1979) (Hattie, 2009, s. 28–29). Overfladelæring dækker over tilegnelse i form af forståelse af facts og viden. Dybdelæring involverer, som ordet antyder, en dybere og mere udfordrende læreproces. Her skelner Hattie mellem to former for dybdelæring: den relationelle og den elaborerede. Den tredje dimension i Hatties forståelse af læringsprocessen betegnes den konstruerende dimension af læreprocessen, som fokuserer på, at eleven benytter sig af sin tilegnede viden til at konstruere nye tilgange til måderne, hvorpå de engagerer sig i dybdelæring eller overfladelæring (Hattie, 2009, s. 29).

Hattie kritiserer meget af nutidens undervisning for aldrig at nå videre end til overfladelæringsniveauet. Han afviser ikke overfladelæringsniveauet som uvæsentligt, men søger derimod at integrere overfladelæringsaspektet i sin samlede model over læreprocessen. Hattie understreger, at modellen: «has proven most valuable both in developing models of teaching and learning and also in our understanding of assessment» (s. 29).

Imidlertid siger Hattie ikke noget om, hvilke(n) af de tre former for læring der fremmes ved de forskellige undervisningsformer, som han fremhæver som virkningsfulde. Med andre ord ved vi i virkeligheden ikke, om alle de undervisningsformer, Hattie understreger som effektfulde, fører til overfladelæring – til dybdelæring – eller til konstruerende læring. Hattie nævner selv dette som en begrænsning ved hele hans projekt:

«It is the case that most tests used in the studies in these meta-analyses are particularly effective at measuring surface features, somewhat effective at measuring deep learning, but rarely effective at measuring the construct representation that students build from their classroom experiences. (…) A limitation of the results in this book is that they are more related to the surface and deep knowing and less to conceptual understanding» (Hattie, 2009, s. 249).

Grundlæggende er det problematisk, at Hatties første projekt (beregning af effektmål) ikke understøtter Hatties andet projekt: udvikling af en almen forståelse af, hvad der kendetegner god læring – og dermed også god undervisning. Der er ikke kun tale om en «limitation», som Hattie siger i citatet ovenfor, men om et meget mere grundlæggende problem knyttet til måden, som forholdet mellem teori og empiri etableres på inden for forskningstraditionen, som Hattie er fortaler for. Ligesom det fremhæves flere steder i denne artikel, har Hatties store mængde empiri med øje for at udvikle effektmål vanskeligt ved at fange kompleksiteten i den pædagogiske praksis, hvilket, som påpeget ovenfor, er årsagen til, at mange nuancer og forskelle forsvinder. På samme måde vil vi hævde, at samme problem også afspejles i Hatties vanskeligheder ved at fange kvaliteten i det læringsbegreb, som han gerne ser udfoldet i sin teori. Når der mangler begrebsmæssige differentieringer i det empiriske materiale til «opfangelse» af de mange forskelle, der hersker i praksis, forsvinder helt naturligt også Hatties mulighed for at udvikle forskellene i forsøg på at skabe bestemte teorier om læring og undervisning.

Et andet problem med hensyn til Hatties forståelse af læring er, at det repræsenterer et ganske snævert læringsbegreb (Sjøberg, 2012), som alene fokuserer på informationsbehandling eller videnstilegnelse ud fra et meget lærerstyret perspektiv. Med dette perspektiv er der naturligvis en række præstationer, som ikke tematiseres, for eksempel præstationer vedrørende elevernes personlige eller etiske habitus, deres glæde ved at lære eller lyst til at engagere sig i samfundsmæssige forhold. Hattie er selv klar over, at hans arbejde er stærkt begrænset, hvad angår det læringsbegreb, som spiller en dominerende rolle for de undersøgelser, han beskæftiger sig med. Som nævnt i citatet oven for (Hattie, 2009, s. 209) forsvinder de kreative, selvstændige og kritiske dimensioner ud af den pædagogiske praksis, hvis man følger Hatties anbefalinger. Og set i en større uddannelsespolitisk sammenhæng er problemet, at Hatties undersøgelser og resultater inddrages ukritisk i den danske uddannelsespraksis, altså uden at der spørges til, om de kundskaber, som fremhæves som vigtige i de forskellige metaanalyser, også er de kundskaber, som man ønsker, at uddannelsessystemet skal fremelske i forhold til at udvikle et demokratisk sindelag – set i forhold til det enkelte individs egen personlige dannelse og erhvervslivets efterspørgsel efter kreativ arbejdskraft.

Konklusion

Vi ønsker med denne artikel at påpege, at det er muligt at sætte spørgsmålstegn ved Hatties arbejde og hele den «Hattierevolution», som er betegnende for modtagelsen af Hatties resultater. Vi fremhæver en række områder, hvor Hatties valg har konsekvenser, der nemt overses i den almindelige brug af hans syntese, og vi hævder, at Hatties tendens til generalisering betyder, at ganske mange detaljer og kontekstuelle faktorer ekskluderes fra Hatties rapportering af effektstørrelser. Samtidig sætter vi spørgsmålstegn ved kvaliteten af Hatties undersøgelse, idet han tydeligvis ikke ønsker at forholde sig til kvaliteten af de inddragede metaanalyser, som indgår i beregningen af enkeltfaktorers effektstørrelse.

I dette afsluttende afsnit vil vi perspektivere vores kritik med, hvad vi har valgt at kalde fire ambivalenser hos Hattie. Det forholder sig nemlig sådan, hvilket også gerne skulle fremgå af artiklen, at de kritikker, vi (og andre) har af Hatties metodiske valg, er blevet kommenteret af Hattie – både inden og efter publiceringen af bogen om synlig læring. Hattie er åben for kritik og diskussion samt gennemsigtig med hensyn til mange af de valg, han har truffet. En sådan forskningsmæssig gennemsigtighed er en akademisk dyd og gør en diskussion nemmere. Men at være gennemsigtig med hensyn til sine valg er per definition ikke det samme, som at disse valg dermed er retfærdiggjort. I denne afsluttende del vil vi pege på, hvorledes Hatties gennemsigtighed er med til at tydeliggøre i hvert tilfælde fire væsentlige ambivalenser.

Teori kontra enkeltfaktorer

Som det fremgår af vores artikel, fremhæver Hattie selv sit projekt som et forsøg på at udvikle og teste en teori om synlig læring – samt at der snarere er tale om et abduktivt frem for enten et induktivt eller deduktivt forehavende. Det betyder, at Hattie forstår «læren», han drager af empirien, som værende basis for et forståelsesmæssigt (intuitivt) spring angående, hvad undervisning er, men ikke for en implementering af en samlet teori. Samtidig har hver enkeltfaktor fået en effektstørrelse og er blevet rangordnet, og Hattie bruger cut-off-scoren på d = 0,40 til at sortere værdifulde faktorer fra mindre værdifulde. Feedback bliver for eksempel gentagne gange fremstillet som et effektivt redskab, fordi en høj effektscore kan præsenteres. Det er der intet abduktivt i, men det lykkes ikke for Hattie at udvikle et kvantitativt empirisk grundlag for sin teori om læring og undervisning, fordi han ikke er i stand til at påvise, om effekterne af metaanalyserne fører til «god» læring. Her forstås god læring som enten overfladelæring, dybdelæring eller konceptuel læring.

Enkeltfaktorer kontra moderatorer

I nærværende artikel har vi brugt ganske meget plads på at dokumentere og sætte spørgsmålstegn ved måden, hvorpå Hattie forholder sig til kompleksiteten, der kendetegner en pædagogisk situation. Forestillingen om, at det er muligt at isolere enkeltfaktorer, er problematisk, både fordi elever med forskellig alder og baggrund kan reagere forskelligt i relation til «den samme» intervention (som i eksemplet med lektier) – men også, fordi der kan være sammenfald af effekten af flere forskellige interventioner, hvis de implementeres sideløbende. Dilemmaet ligger i, at forsimplingen i Hatties synteser betyder, at det er vanskeligt at anvende den udledte viden på praktikerniveau.

Kvantitet kontra kvalitet

Et separat spørgsmål er, hvorfor vurderingen af de inkluderede metaanalysers kvalitet ikke har spillet en rolle for Hattie. I eksemplet med feedback mener vi at kunne vise, at der er ganske betydelige problemer forbundet med at lave en samlet vurdering af området, samtidig med at andre (og i øvrigt Hattie selv) viser, at området er fyldt med faldgruber. Der er en tendens til, at Hatties omfattende brug af et overvældende antal metaanalyser i stedet for at underbygge en hypotese fungerer som retorisk strategi til sikre effekterne af metaanalysernes offentlige gennemslagskraft (Sjøberg, 2012). Dilemmaet ligger i, at denne retoriske strategi forudsætter, at Hattie benytter stort set alle de metaanalyser, der findes på et område – uden at skele til kvaliteten af disse metaanalyser.

Videnskabelig nuance kontra praktisk anvendelighed

Måske er det væsentligste dilemma, som Hattie har måttet håndtere, dilemmaet mellem på den ene side videnskabelige diskussioner og nuancer og på den anden side ønsket om en klar og handlingsorienteret teori om god undervisning og læring. Den evidensbaserede forskning, som Hatties arbejde er en del af, har en konkret, praksisrettet dagsorden: at producere viden, der kan gøre politikere, skoleledere og lærere i stand til at forbedre deres praksis (Levin, 2004; Slavin, 2002). Det er også i denne sammenhæng, at Hatties ønske om at skabe «en historie» om sine mange fund skal ses. (Over-)generaliseringerne, vi mener, Hattie er skyldig i, betyder, at vi frem for større klarhed omkring undervisningseffekter nærmere ser en babylonisk forvirring i horisonten. På den ene side inden for forskningen, hvor de løse begrebslige forståelser af f.eks. feedback ikke hjælper til at konkretisere, hvad der skal forstås ved feedback – og forvirringen om fænomenet fortsætter under dække af et generaliseret og alt for alment argument om, at det «virker». På praksissiden er det muligt, at Hatties opfattelse af, hvad læring og undervisning er (ideen om synlig læring), finder tilslutning, men hvis det betyder, at forskellige politikere, forskere, ledere og lærere alle står med hver sin enkeltfaktor, som Hattie har vist «virker», vil den babyloniske forvirring også indfinde sig på praksisfeltet.

Litteratur

Allerup, P. (2015) Hatties brug af effect size som rangordning af pædagogiske indsatser. Paideia: tidsskrift for professionel pædagogisk praksis, nr. 9, s. 42–51.

Adams, G.L. & Engelmann, S. (1996). Research on direct instruction: 20 Years beyond DISTAR. Seattle WA: Educational Achievement Systems.

Berger, M.A. (1982). Class size is not the issue. National Institute of Education, Washington, DC. Paper presented at the annual meeting of the National School Boards Association, Atlanta, GA, April 17–20, 1982. (ERIC Document Reproduction Service No. ED 231061) Bourke.

Biggs, J.B., & Collis, K.F. (1982). Evaluating the quality of learning: the SOLO taxonomy (structure of the observed learning outcome). New York: Academic Press.

Blichfeldt, J.F. (2011) Om gyldig forskning og bruk av forsknings- og testresultater. Bedre Skole nr. 4/2011, s. 12–17.

Carboni, M. (2013). Forskere: Nytænk lektierne. Skolebørn – Magasin for forældre til børn i folkeskolen, juni. Retrieved from http://www.skoleborn.dk/juni_2013/side-3.html

Clod, S. (2014). John Hattie: En revolutionær uddannelsesforsker? Voksenuddannelse, 108, s.13–18.

Collins, R.C. & Biggs, J.B. (1979). Classroom examples of cognitive development phenomena: The SOLO taxonomy. Final report. Woden, ACT: Educational Research and Development Committee.

Cronbach, L. (1957). The Two Disciplines of Scientific Psychology. American Psychologist, 12, s. 671–684.

Cronbach, L.J. (1975). Beyond the two disciplines of scientific psychology. American Psychologist, 30(2), s. 116–127.

Cronbach, L.J., & Snow, R.E. (1977). Aptitude and Instructional Methods. New York: Irvington Publishers.

Fibæk Laursen, P. (2015) Er Hattie og co. gyldige i Danmark? Paideia: tidsskrift for professionel pædagogisk praksis, nr. 9, s. 33–41.

Gage, N.L., & Needels, M.C. (1989). Process-Product Research on Teaching: A Review of Criticisms. The Elementary School Journal, 89(3), s. 253. http://doi. org/10,1086/461577

Gage, N. (1989). The Paradigm Wars and Their Aftermath A «Historical» Sketch of Research on Teaching Since 1989. Educational Researcher, 18(7), s. 4–10, http://doi.org/10,3102/0013189X018007004

Garrison, J.W., & Macmillan, C.J.B. (1984). A Philosophical Critique of Process-Product Research on Teaching. Educational Theory, 34(3), s. 255–274.

Garrison, J.W., & Macmillan, C.J.B. (1994). Process-product Research on Teaching: Ten Years Later. Educational Theory, 44(4), s. 385–397.

Hansen, O., Lekhai, R., Nordahl, T., Norlund, A., Persson, B. & Qvortrup, L. (2015). Leder – temanummer om synlig læring. Paideia: tidsskrift for professionel pædagogisk praksis, nr. 9, s. 4–8

Hattie, J. (2013) Synlig læring for lærere. Frederikshavn: Dafolo.

Hattie, J. (2009) Visible learning: a synthesis of over 800 meta-analyses relating to achievement. London: Routledge.

Hattie, J. (2010). «On Being a ‘Critic and Conscience of Society’: The Role of the Education Academic in Public Debates», New Zealand Journal of Educational Studies, vol. 45, nr. 1, s. 85–96.

Hattie, J.A. & Timperley, H. (2007). The Power of feedback. Review of Educational Research, 77 (1), s. 81–112.

Kluger, A. N., and DeNisi, A. (1996). The Effects of Feedback Intervention on Performance: A Historical Review, a Meta-Analysis, and a Preliminary Feedback Intervention Theory. Psychological Bulletin, 119(2): s. 254–84.

Illeris, K. (2014): Læring i konkurrencestaten – kapløb eller bæredygtighed. Frederiksberg: Samfundslitteratur.

Lipsey, M. W. & Wilson, D. B. (1993). The efficacy of psychological, educational, and behavioral treatment: Confirmation from meta-analysis. American Psychologist, 48 (12), 1181–1209.

Levin, J. R. (2004). Random Thoughts on the (In)credibility of Educational-Psychological Intervention Research. Educational Psychologist, 39(3), 173–184. http://doi.org/10.1207/s15326985ep3903_3

Lysakowski, R.S. & Walberg, H.J. (1980) Classroom reinforcement. Evaluation in Education. 4, s. 114–115

Lysakowski, R.S. & Walberg, H.J. (1981) Classroom reinforcement and learning. The Journal of Educational Research, 75(2).

Lysakowski, R.S. & Walberg, H.J. (1982) Instructional effects of cues, participation and corrective feedback: A quantitative synthesis. American Educational Research Association, 19(4), s. 559–578.

McGiverin, J., Gilman, D., & Tillitski, C. (1989). A Meta-Analysis of the Relation between Class Size and Achievement. The Elementary School Journal, Vol. 90, nr. 1, s. 47–56.

Murnane, R. & Cohen D. (1986). Merit pay and the evaluation problem: Why most meritpay plans fail and a few survive. Harvard Education Review, 56(1), s. 1–17.

Miller, P.H. (1983). Theories of Developmental Psychology. San Francisco: W.H. Freeman and Company.

Nielsen, K. og Tanggaard, L. (2011) Pædagogisk psykologi – en grundbog. Frederiksberg: Samfundslitteratur.

Nordahl, T. (2015) Visible Learning som grunnlag for evidens og forbedringsarbeid i utdanningsystemet. Paideia: tidsskrift for professionel pædagogisk praksis Nr. 9, s. 61–69.

OECD. (2005). Teachers matter: Attracting, developing and retaining effective teachers. Overview. Paris, France: OECD. http://www.oecd.org/dataoecd/39/47/34990905. pdf (retrieved 13/3/2016).

Qvortrup, L. (2015) Baggrund for og diskussioner af Visible Learning med særligt henblik på lærings- og vidensbegrebet. Paideia: tidsskrift for professionel pædagogisk praksis, 9, s. 22–33.

Rømer, T. (2016). Kritik af Hatties teori om «Visible learning». Retrived 20 februar, 2016 fra http://www.thomasaastruproemer.dk/kritik-af-john-hatties-teori-om-visible-learning.html.

Skoleportalen (2013). www.skoleportalen.dk,.nr. 3 – retrived 18/3 2016.

Slavin, R. E. (2002). Evidence-Based Education Policies: Transforming Educational Practice and Research. Educational Researcher, 31(7), s. 15–21. http://doi. org/10.3102/0013189X031007015

Snook, I., O’Neill, J., Clark, J., O’Neill, A.-M., & Harker, R. (2009). Invisible learnings? A commentary on John Hattie’s book: Visible learning: A synthesis of over 800meta-analyses relating to achievement. New Zealand Journal of Educational Studies, 44, s. 93–106.

Shute, V.J. (2008). Focus on formative feedback. Review of Educational Research, 78 (1), s. 153–189.

Sjøberg, S. (2012). «Visible Learning» Ny giv for norsk skole. Utdanning nr. 21/14 desember 2012, s. 44–47.

Swanson, H.,L., & Lussier, C., L., (2001). A Selective Synthesis of the Experimental Literature on Dynamic Assessment. Review of Educational Research, vol. 71, nr. 2, s. 321–363.

Tanggaard, L. Rømer, T. og Brinkmann, S. (2014). Uren Pædagogik 2. Aarhus: Klim.

Terhart, E. (2012). «Has John Hattie really found the holy grail of research on teaching? An extended review of Visible Learning», Curriculum Studies, vol. 43, nr. 3, s. 425–438.

Topphol, A.K. (2011) Kan vi stole på statistikkbruken i utdanningsforskinga? Norsk Pedagogisk Tidsskrift, 95(6), s. 460–471.

Torgerson, D. & Torgerson, C. (2008). Designing and running randomized trials in health, education and the social sciences. Basingstoke: Palgrave Macmillan.

Undervisningsministeriet (2016). Om nationale mål. http://www.uvm.dk/Uddannelser/Folkeskolen/Folkeskolens-maal-love-og-regler/Nationale-maal/Om-nationale-maal; retrieved 18/3 2016.

Winther, S. og Nielsen, V.L. (2013) Lærere, undervisning og elevpræstationer i folkeskolen. København: SFI.

Witt, P.L., Wheeless, L.R., & Allen, M. (2006). A relationship between teacher immediacy and student learning: A meta-ansalysis. In B.M. Gayle, R.W. Preiss, N. Burrell & M. Allen (Eds.) Classroom communication and instructional processes: Advances through meta-analysis. (s. 149–168). Mahwah, NJ: Lawrence Erlbaum Associates.

1Når vi taler om Hatties bog om synlig læring, er det bogen «Visible learning – A Synthesis of Over 800 Meta-Analyses Relating to Achievement», vi henviser til.
2Siden 2009 har Hattie løbende opdateret antallet af metaanalyser, der indgår i hans undersøgelser, og med udgivelsen af «Visible Learning for Teachers» (Hattie, 2012), der blev oversat til dansk med titlen «Synlig læring – for lærere» (2013), er der nu mere end 900 metaanalyser bag Hatties konklusioner og 150 faktorer i de samme 6 tematiske grupper.
3For en kritisk diskussion af Hatties (2009) brug af statistik se: Allerup, 2015 og Topphol, 2011
4Hattie henviser til tre referencer (Lipsey & Wilson, 1993; Sipe & Curlette, 1996a; Sipe & Curlette, 1996b). Det har ikke været muligt at få fat i Sipe og Curlette, 1996b, eftersom der er tale om en henvisning til et paper fra en konference. De to resterende artikler beskæftiger sig alment (og primært positivt) med metaanalyser.
5Charterskoler er offentligt støttede skoler, der er i mindre grad er offentligt regulerede sammenlignet med offentlige skoler (Hattie, 2009, s. 75–76).

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon