Oppgrader til nyeste versjon av Internet eksplorer for best mulig visning av siden. Klikk her for for å skjule denne meldingen
Ikke pålogget
{{session.user.firstName}} {{session.user.lastName}}
Du har tilgang til Idunn gjennom , & {{sessionPartyGroup.name}}

1  Rammer og metoder for PIRLS 2016



Olaug Strand er ph.d.-stipendiat i PIRLS-prosjektet ved Lesesenteret, Universitetet i Stavanger. Hennes fagkompetanse er knyttet til norsk som andrespråk, norsk og historie. Hun har bakgrunn som lærer for ungdom og voksne.



Egil Gabrielsen er dr.philos. og dosent i pedagogikk ved Nasjonalt senter for leseopplæring og leseforsking (Lesesenteret), Universitetet i Stavanger og nasjonal prosjektleder for PIRLS 2016 i Norge. Han har lang erfaring med undervisning i lærerutdanningene og på ulike videreutdanningsnivåer innenfor spesialpedagogikk. Gabrielsen har også vært norsk prosjektleder i IALS (International Adult Literacy Survey) og ALL (Adult Literacy and Life Skills).

SammendragEngelsk sammendrag

PIRLS kartlegger leseferdighetene til elever rundt 10-årsalderen. Resultatene gir grunnlag for internasjonale sammenligninger og måler trender i leseutviklingen. Artikkelen redegjør for undersøkelsens historikk, teoretiske rammeverk og metodegrunnlag. Videre gis det en beskrivelse av utvalgsprosedyrer, planlegging og gjennomføring av den norske delen av PIRLS 2016. I Norge deltok nærmere 8600 elever fra 4. og 5. trinn på 161 skoler. Elevene på 5. trinn gjennomførte både den tradisjonelle papirbaserte prøven og den nye elektroniske leseprøven; ePIRLS.

NØKKELORD: PIRLS, lesing, Reading literacy, metode, utvalg, mestringsnivå

PIRLS assesses reading literacy among 10-year-olds. Results allow for international comparison, as well as measurement of trends in reading development. This article provides an overview of the history of PIRLS, its theoretical framework and methodology. Further, it provides a description of the sampling procedures, planning and implementation in Norway. Approximately 8,600 Norwegian 4th and 5th graders from 161 schools participated. The 5th grade students completed both the traditional paper-based PIRLS and the new computer-based ePIRLS.

Keywords: PIRLS, reading, Reading literacy, method, sample, benchmark

Introduksjon

Hvor godt klarer vi å nyttiggjøre oss den flommen av skriftbasert informasjon vi møter i dagliglivet, i skolesammenheng og i arbeidslivet? Spørsmålet antyder bakgrunnen for den økte interessen for å kartlegge leseferdighet i de senere tiårene; en interesse som har resultert i flere store internasjonale undersøkelser med fokus på lesekompetansen hos barn (PIRLS1), unge (PISA2) og voksne (IALS3, ALL4 og PIAAC5). Voksenundersøkelsene har vist at gode leseferdigheter gir uttelling på viktige livsområder som utdanning, arbeidssituasjon, familierelasjoner og samfunnsdeltakelse. Tilsvarende bekrefter de samme undersøkelsene at personer med svake leseferdigheter har en økt risiko for å oppleve begrensninger i sin livsutfoldelse. Dette omfatter mulighetene for å fullføre planlagte utdanningsløp og det å få adgang til – og bli værende – i et stadig mer krevende arbeidsmarked, ofte kombinert med psykiske og fysiske helseproblemer (Bynner & Parsons, 2010; Gabrielsen, Haslund & Lagerstrøm, 2005; Lundetræ & Gabrielsen, 2016; OECD, 2013; Reder, 2010). PIRLS kartlegger leseferdighet på et tidspunkt hvor det er gode muligheter for å identifisere og følge opp elever som har sakket akterut i leseutviklingen. Slik kan en unngå at de fortsetter skoleløpet og møter voksenlivet med utilstrekkelige ferdigheter på dette viktige funksjonsområdet.

I fortsettelsen gir vi en oversikt over de mest sentrale elementene i PIRLS – som grunnlag for lesingen av de øvrige artiklene i denne antologien. Vi skisserer kort teorigrunnlaget og rammene for deltakelse, og presenterer så en mer detaljert oversikt av gjennomføringen av PIRLS 2016 i Norge; utvalgsprosedyrene, piloteringen, datainnsamlingen, databearbeidingen og rapporteringen.

Hva er PIRLS?

Første gang Norge deltok i en internasjonal leseundersøkelse, var i 1991. RLS (Reading Literacy Study) var forløperen til både PIRLS (Progress in International Reading Literacy Study) og PISA (The Program for International Student Assessment). RLS var rettet mot 9-åringer og 14-åringer, og 32 land deltok (Elley, 1992). Mot slutten av 1990-tallet tok så IEA (The International Association for the Evaluation of Educational Achievement) initiativet til den første PIRLS-undersøkelsen, parallelt med at OECD (Organisation for Economic Co-operation and Development) gjennomførte den første PISA-undersøkelsen i 2000. Mens PIRLS er en ren leseundersøkelse for 10-åringer, har PISA fokus på lese-, regne- og naturfaglige ferdigheter hos elevene ved 15-årsalderen. PISA gjennomføres hvert 3. år, og de tre fagområdene veksler mellom å være hovedområde i undersøkelsen.

PIRLS kartlegger og sammenligner leseferdighetene til elever rundt 10-årsalderen. I Norge vil det si elever på 4. og 5. trinn. IEA har vært ansvarlig for utvikling, koordinering og gjennomføring av PIRLS fra oppstarten i 2001 og i de påfølgende rundene i 2006, 2011 og 2016. Femårssyklusen gjør det mulig å følge utviklingen av elevenes leseferdigheter over tid. PIRLS-undersøkelsen består av lesehefter med tekster og oppgaver samt spørreskjemaer til elevene, foresatte, lærere og skoleledelsen.

Nytt i 2016 er ePIRLS, som er en elektronisk versjon av undersøkelsen. Formålet med ePIRLS er å undersøke elevenes evne til å hente og bruke informasjon de får ved å navigere på fiktive nettsider. ePIRLS ble gjennomført i 14 av de 50 deltakerlandene, inkludert i Norge på 5. trinn.

I den norske PIRLS-undersøkelsen er også en standardisert ordkjedeprøve inkludert på begge trinn. Denne sikrer oss mer detaljert informasjon om elevenes ordavkodingsferdigheter, som er en forutsetning for utvikling av leseforståelse. Innen leseforskning er «The simple view of reading» (Hoover & Gough, 1990) en anerkjent teori der kjernen er at lesing er produktet av de to komponentene avkoding og leseforståelse. Ordkjedeprøven har en tidsramme på fire minutter.6

I en utdanningskontekst har PIRLS, som en av de store internasjonale undersøkelsene Norge deltar i, bidratt med viktig informasjon om elevenes leseforståelse. Gjennom systematisk kartlegging av elevenes leseferdigheter får vi mulighet til å undersøke trend og således se om norske elever følger den utviklingen i lesing som er ønskelig. Dette er informasjon norsk skole kan nyttiggjøre seg av. Både for forskere og norske skolepolitikere er det viktig med validerte målinger slik at vi kan vende blikket utover, og ikke bare innover. Det er derfor nødvendig med et felles måleinstrument for å kunne si noe om hvordan norske elever ligger an i forhold til elever i land det er naturlig å sammenligne seg med. Ettersom PIRLS måler leseferdigheter så pass tidlig i elevenes skoleløp, kan undersøkelsen betraktes som en viktig kvalitetsindikator på lesekompetanse ved slutten av det som gjerne omtales som den grunnleggende leseopplæringen. De fleste elever vil på dette stadiet i opplæringsløpet ha lært å lese, og er i starten på en fase hvor de skal lese for å lære. Pedagogisk erfaring og forskning viser at dette er et godt tidspunkt for å kunne foreta justeringer som kan sikre en positiv videre leseutvikling for elevene. Videre er det en fordel at det gjøres en sammenligning av resultatene mellom landene som deltar i PIRLS, slik at vi får en pekepinn på hvordan norske elever hevder seg internasjonalt.

For å kunne foreta internasjonale sammenligninger tilstrebes en så lik alderssammensetning som mulig. Dette gir noen utfordringer ettersom kompetansemål for leseopplæringen og tidspunkt for skolestart varierer i deltakerlandene. Norge introduserte med grunnskolereformen L97 (Kirke-, utdannings- og forskningsdepartementet, 1996) skolestart for 6-åringer. Sentralt var premisset om læring gjennom lek, og at man skulle kombinere det beste fra barnehagen og fra skolen de første årene. I 2006 ble L97 erstattet av Kunnskapsløftet (LK06) (Utdanningsdirektoratet, 2006). Her er lesing presisert som en av de fem grunnleggende ferdighetene som skal inngå i alle fag gjennom hele skoleløpet. I norskfaget starter den formelle leseopplæringen på 1. trinn.

I PIRLS er 4. trinn hovedtrinnet. Fra Norges side ble det tidlig på 2000-tallet argumentert med at formell leseopplæring etter L97 først startet på 2. trinn, og at det derfor var det mest riktige å også inkludere 5. trinn. Siden 2006 har Norge derfor hatt utvalg av elever fra både 4. og 5. trinn. I 2006 og 2011 var fortsatt 4. trinn definert som det norske hovedtrinnet, samtidig som en gjennomførte PIRLS med et redusert utvalg på 5. trinn. I PIRLS 2016 hadde Norge fulle utvalg både på 4. og 5. trinn, og det er 5. trinn som nå defineres som vårt hovedtrinn. Dette er begrunnet med at våre nordiske naboland nå har et tilbud for alle 6-åringer som langt på vei inneholder de samme elementene med hensyn til leseopplæring som det norske 1. trinn (LK06).7 For mer informasjon om deltakerlandenes skolesystemer henviser vi til PIRLS Encyclopedia (Mullis, Martin, Goh & Prendergast, 2017).

ePIRLS

I moderne kunnskaps- og informasjonssamfunn er en ikke lenger så opptatt av om vi kan lese, men er mer interessert i å vite hvor godt vi leser. I dette ligger blant annet det at vi stadig bruker mer tid på digitale medier, sammenlignet med å lese tradisjonelle papirbaserte tekster som bøker (se for eksempel Duncan, McGeown, Griffiths, Stothard & Dobai, 2016).

ePIRLS er den digitale utgaven av PIRLS, og den måler online informational reading, eller hva vi også kaller nettlesing innenfor New digital literacies (Afflerbach & Cho, 2009; Buckingham, 2015; Mullis & Martin, 2015). Prøven er designet for å undersøke elevenes evner til å bruke Internett i en skolekontekst, og den ble utviklet som en tilpasning til den økende bruken av Internett som informasjonskilde både på skolen og i samfunnet generelt (Mullis & Martin, 2015). Ettersom nettlesing blir ansett som en nødvendig ferdighet for å fungere i et moderne lese- og skrivekontekstualisert samfunn, og i økende grad er i ferd med å bli en integrert del i mange lands læreplaner, blir en digital undersøkelse ansett som et nødvendig tillegg til den tradisjonelle papir og penn-undersøkelsen (Mullis og Martin, 2015, s. 22). ePIRLS er en PC-basert undersøkelse som prøver elevene i ferdigheter knyttet til lesing av ulike typer informasjon. Prøven kjennetegnes ved at brukeren møter irrelevant eller forstyrrende informasjon på nettsiden, og må søke og sortere i tekst på ulike sider før man får tak i den informasjonen som trengs. Hver oppgave involverer i gjennomsnitt tre nettsider og en tekstmengde på omtrent 1000 ord som elevene må navigere seg gjennom. Elevene mister ikke poeng ved å navigere feil, eller ved ikke å ta den mest effektive veien fram mot målet, men taper tid. ePIRLS inneholder fem faktatekster som alle speiler tekster fra reelle internettsider. 20 oppgaver er knyttet til hver tekst. Hver elev arbeidet med to av de fem tekstene. De to tekstene var lagt inn på en minnepinne som var koblet til den enkelte elevens datamaskin før elevene kom inn i klasserommet på den andre prøvedagen.

Organiseringen av PIRLS

Norge har deltatt i alle fire rundene av PIRLS. Nasjonalt senter for leseopplæring og leseforsking (Lesesenteret) ved Universitetet i Stavanger har hele tiden hatt oppdraget som nasjonal koordinator med ansvar for gjennomføring og rapportering fra den norske delen av PIRLS. Kirke-, utdannings- og forskningsdepartementet (i 2001) og senere Utdanningsdirektoratet har vært oppdragsgivere.

50 land deltok i PIRLS 2016. Antall deltakerland har økt for hver runde. I 2001 deltok 35 land, 41 land i 2006 og 48 land i 2011. Når det gjelder de nordiske landene, har Sverige deltatt i alle de foregående rundene på lik linje med Norge. Danmark har deltatt siden 2006, Island deltok bare i 2001 og 2006, og Finland har deltatt i 2011 og i 2016.

The TIMSS & PIRLS International Study Center ved Boston College i USA har det internasjonale hovedansvaret for organiseringen og gjennomføringen av PIRLS. I hvert deltakerland er det en nasjonal koordinator, NRC (National Research Coordinator), som har ansvaret for den nasjonale gjennomføringen. IEA-sekretariatet i Amsterdam kontrollerer utførelsen av PIRLS i de enkelte landene. Dette blir gjort av observatører fra IEA som følger alle ledd i PIRLS-gjennomføringen. Det vil blant annet si oversettelse av prøvemateriell og spørreskjema, utprøving i pilotundersøkelsen og den endelige gjennomføringen av undersøkelsen ute på deltakerskolene. Kontrollørene besøker ti prosent av skolene den dagen prøven gjennomføres, og rapporterer direkte til IEA sentralt. I tillegg avlegger Lesesenteret et besøk til ytterligere ti prosent av deltakerskolene.

Det norske utvalget

Norsk utvalgsplan for både pilot- og hovedundersøkelsen i PIRLS 2016 ble utarbeidet av Statistics Canada med utgangspunkt i opplysninger fra Utdanningsdirektoratet. Det gjøres et uttrekk av alle landets grunnskoler som sikrer et representativt utvalg, og som muliggjør en generalisering til elevgruppen. Utvalget av skoler baserer seg på en stratifisering som sikrer at sentrale demografiske hensyn blir ivaretatt, som geografiske forhold, kommunestørrelse, skolestørrelse og klassestørrelse. Før utvalget gjøres, blir enkelte skoler utelatt fra en eventuell deltakelse. I Norge gjelder dette først og fremst skoler hvor det undervises etter den samiske læreplanen, og hvor førstespråket er samisk. Skoler tilknyttet sykehusundervisning blir også holdt utenfor trekkgrunnlaget. I PIRLS 2016 er eksklusjonsraten på to prosent. Skolene trekkes så ut tilfeldig, «vektet» etter de demografiske prinsippene nevnt ovenfor. Deretter trekkes inntil to klasser på hvert trinn fra den enkelte skolen. Ved å trekke hele klasser gis det muligheter til for eksempel å undersøke klasserelaterte forhold.

Rektor ved deltakerskolene har mulighet til å frita elever etter visse kriterier. Utgangspunktet er at alle skal delta, men fritak kan gjøres etter skjønn dersom eleven har et psykisk eller fysisk handikap som gjør det urimelig å delta. For dårlige norskkunnskaper kan også være et gyldig kriterium for fritak. I 2016 utgjorde denne typen frafall tre prosent. Det samlede norske frafallet var fem prosent på begge trinn, noe som ligger innenfor den akseptable grensen satt av IEA.

I de tidligere rundene av PIRLS har det vært mulig for skolene å avstå fra deltakelse. I forkant av PIRLS 2016 bestemte Kunnskapsdepartementet at deltakelse i de internasjonale undersøkelsene skal være obligatorisk for skoler som blir trukket ut. Tabell 1.1 viser at det i tidligere runder av PIRLS har vært nødvendig å engasjere opptil 35 «erstatningsskoler». Erstatningsskoler har en lignende profil som opprinnelige skoler, men regnes i statistisk sammenheng ikke som ideelle deltakerskoler. For mange slike løsninger kan derfor bidra til å svekke utvalgskvaliteten. Vi ser av tabellen at det endelige antallet deltakerskoler i de tre første rundene av PIRLS var betydelig færre enn opprinnelig planlagt i Norge.

Tabell 1.1.

Oversikt over skoledeltakelse i PIRLS i Norge.

ÅrOpprinnelig uttrukne skolerAntall opprinnelige skoler som deltok Erstatningsskoler som deltokSkoler som deltok i alt
2016162155 6161
2011150 8535120
200617811817135
200116211917136

Det er derfor liten tvil om at vedtaket om å gjøre deltakelsen i PIRLS obligatorisk har medvirket til at en denne gangen har sikret seg et mer representativt utvalg for den norske delen av undersøkelsen. Dette styrker undersøkelsens troverdighet og relevans.

Gjennomføring og databehandling i PIRLS og ePIRLS 2016

I vår første kontakt med deltakerskolene i PIRLS 2016 ba vi rektor om å oppnevne en skolekoordinator. Vedkommende skulle være Lesesenterets kontaktperson og ha ansvar for planlegging og gjennomføring av PIRLS på sin skole. Skolekoordinatoren sto for utfylling og anonymisering av elevlister, utlevering og innsamling samt returnering av datamaterialet tilbake til Lesesenteret. De samme rutinene ble fulgt både i pilotstudien og i hovedundersøkelsen. 29 skoler deltok i pilotundersøkelsen i mars 2015, og som vist i tabell 1.1 deltok 161 skoler i hovedundersøkelsen.

Vinteren 2015 inviterte vi skolekoordinatorene i pilotstudien til samlinger på fire steder rundt i landet. 22 av de 29 skolekoordinatorene deltok på en dagssamling hvor opplegget for PIRLS ble gjennomgått. I februar 2016 ble det gjennomført tilsvarende samlinger på ni ulike steder i landet, og da deltok 159 av de 161 skolekoordinatorene. Denne gangen gikk samlingene over to dager, hvor første dag var forbeholdt forberedelse til gjennomføringen av PIRLS. Den andre dagen var en kursdag med tittelen «Fortsettende leseundervisning», ledet av fagpersoner fra Lesesenteret og Skrivesenteret.8 Kurstilbudet på dag 2 var også åpent for interesserte lærere fra alle landets grunnskoler. I underkant av 800 lærere deltok på de ni kursdagene.

Hovedundersøkelsen i Norge ble gjennomført i løpet av fire uker i april 2016. Elevene på 4. trinn arbeidet med PIRLS innenfor en ramme på tre klokketimer. Hver elev arbeidet med to typer tekster: en litterær og en faktabasert. Hver del hadde en tidsramme på førti minutter, med en pause mellom. Ordkjedeprøven var tilknyttet siste del, og etter en ny pause svarte elevene på spørreskjemaet.

Tilsvarende opplegg gjaldt for elevene på 5. trinn på deres første prøvedag. I tillegg gjennomførte disse elevene ePIRLS senere i samme uke. Den elektroniske versjonen ble utført på PC. Elevene løste oppgavene ved å søke etter informasjon via den simulerte nettleseren Google. Fra fiktive nettsider var utfordringen å finne relevant informasjon til å kunne svare på oppgavene. Til slutt besvarte elevene et kort spørreskjema om egen bruk av digitale medier. Det var lagt inn et kvarters pause mellom de to delene, og tidsrammen var også her inntil 40 minutter i hver økt.

Tabell 1.2.

Oversikt over elevdeltakelse og svarprosent på spørreskjema i alle PIRLS-rundene i Norge.

ÅrAntall elever 4. trinnAntall elever 5. trinnSvarprosent foreldreskjema Begge trinnSvarprosent lærerskjema Begge trinnSvarprosent rektorskjema Begge trinn
201643544232 ePIRLS 36149699 99
2011321113158997 96
2006386018089398 95
200134599199100

Foresatte fikk tilsendt informasjon om PIRLS og en papirversjon av spørreskjemaet i god tid før elevene gjennomførte leseprøven. Vi ser av tabell 1.2 at andelen utfylte og returnerte foreldreskjema var svært høy i 2016. Skolelederne og lærerne besvarte sine spørreskjema digitalt, og svarene ble sendt direkte til IEA Data Processing Centre (DPC) i Hamburg. Tabell 1.2 viser at oppslutningen fra disse to gruppene også var svært god, noe den også har vært i tidligere runder.

Videre viser tabellen at på 5. trinn var det færre elever som fullførte ePIRLS sammenlignet med PIRLS. Likevel er deltakelsen på ePIRLS over 80 prosent, som er kravet IEA har satt for å kunne delta i den internasjonale sammenligningen av resultatene. Frafallet i ePIRLS skyldes i all hovedsak ulike tekniske utfordringer knyttet til gjennomføringen. Ettersom det var første gang en elektronisk versjon ble brukt, var det naturligvis vanskelig å på forhånd forutse alt som kunne oppstå. Tilsvarende tekniske problemer er registrert i alle de 14 landene som gjennomførte ePIRLS. Elevsvarene fra ePIRLS ble sendt direkte til DPC i Hamburg. For ekstra sikkerhet ble besvarelsene også lagret på minnepinner og returnert til Lesesenteret sammen med øvrig materiell. Alle elevbesvarelser organiseres etter et ID-nummer som følger spørreskjemaene tilhørende den enkelte eleven. Alle personopplysninger og besvarelser var anonymisert. Etter sortering ble også det øvrige materiellet sendt videre til DPC for skanning. Her ble flervalgsoppgavene skåret direkte, mens de åpne svarene, både fra leseheftene og ePIRLS, ble returnert til Lesesenteret for skåring og reskåring i henhold til fastsatte prosedyrer.

En gruppe på 17 personer gjennomførte det omfattende skåringsarbeidet i løpet av sommermånedene 2016 på Lesesenteret. Arbeidet inkluderte også ordkjedeprøven. Den høye deltakerprosenten både med hensyn til elever og av utfylte bakgrunnsskjema har gitt oss et datagrunnlag av meget solid kvalitet. Denne er ytterligere styrket ved et svært godt utført skåringsarbeid av de åpne elevsvarene, med en interskårer-reliabilitet9 på over 0,98.

Bakgrunnsinformasjonen i PIRLS

I tillegg til informasjon om elevenes leseferdigheter gir PIRLS oss en betydelig mengde bakgrunnsinformasjon fra de fire allerede omtalte spørreskjemaene som besvares av henholdsvis elevene, foresatte, lærer med ansvar for norskundervisningen og skoleledelsen. Spørsmålene dreier seg om forhold som har vist seg å ha betydning for utvikling av gode leseferdigheter. Vi får således et godt helhetlig bilde av elevens lesesituasjon.

Elevene fyller ut et skjema med spørsmål om blant annet leseaktiviteter, interesser, undervisning og trivsel på skolen. De blir også bedt om å vurdere sin egen leseferdighet. 5.-trinnselevene som gjennomførte ePIRLS, får også noen spørsmål om bruk og tilgjengelighet av digitale medier. Foresatte besvarer spørsmål om egen lesing, leseaktivitet i hjemmet før barnet begynte på skolen, og om rutiner rundt leksearbeid. Norsklærerne besvarer et skjema med spørsmål om blant annet egen utdanning, egen lesing, læringsmiljøet ved skolen, organisering av leseundervisningen i klassen, bruk av ulike læringsressurser og om igangsetting av tiltak når lesevansker observeres blant elevene. Skoleledelsen får spørsmål om skolestørrelse, undervisningstid, ressurser og teknologibruk ved skolen og ulike kvaliteter ved skolemiljøet.

I likhet med leseheftene gjennomgår også spørreskjemaene en omfattende revisjon og vurderingsprosess av en internasjonal ekspertgruppe. En slik revisjon er nødvendig for å tilpasse spørsmålene til forandringer i skolen og samfunnet, men det er lagt vekt på at endringer i minst mulig grad skal påvirke mulighetene for å kunne undersøke trend. De reviderte spørreskjemaene ble prøvd ut i alle deltakerlandene i 2015, før den endelige utformingen ble bestemt.

I tillegg til de obligatoriske spørsmålene som er omtalt foran, har deltakerlandene mulighet til å gjøre enkelte landtilpassete endringer. Noen spørsmål har derfor svaralternativer som er landspesifikke. I tillegg har det enkelte deltakerlandet mulighet for å innlemme noen egne spørsmål i spørreskjemaene. I 2016 har Norge inkludert noen utdypende spørsmål knyttet til elevenes motivasjon for lesing. Disse er samordnet med blant annet de andre nordiske deltakerlandene.

Teorigrunnlag

I PIRLS vektlegges forståelsesaspektet i lesing, og det at vi i hovedsak leser av to grunner: fordi vi søker kunnskap og informasjon, og for vår fornøyelses skyld (Mullis & Martin, 2015). Lesing har således en verdi både i en utdanningskontekst, men også for leseren selv. Lesebegrepet inkluderer evnen til å forstå tekstinnholdet og selv anvende denne forståelsen med utgangspunkt i de skriftspråklige rammene som gjelder i samfunnet. I PIRLS defineres lesing (Reading literacy) slik:

Lesing er evnen til å forstå og å bruke de skriftlige språkformene som kreves av samfunnet eller som verdsettes av individet selv. Unge lesere kan skape mening fra forskjellige tekster. De leser for å lære, for å delta i grupper med lesere i skolen og hverdagslivet, og de leser for sin fornøyelses skyld. (Etter oversettelse fra Solheim i Gabrielsen & Solheim, 2013)

Undersøkelsens omfattende teorigrunnlag redegjøres for i sin helhet i PIRLS’ rammeverk (Mullis & Martin, 2015). Her har vi imidlertid valgt å kun omtale relevante deler av teorien som kan bidra til en større forståelse av rammene og metodene i PIRLS. Hvilke mekanismer som er involvert i evnen til å kunne lese, er i PIRLS-rammeverket forklart ut fra et utvalg teorier som ser på Reading literacy som både en konstruktiv og som en interaktiv prosess. Oppsummert kjennetegnes leseprosessen av flere mekanismer som virker sammen og utgjør leserens samlede lesekompetanse. I PIRLS-sammenheng kjennetegnes leseprosessen av disse mekanismene:

  • Mening konstrueres i interaksjonen mellom leser og tekst, i konteksten av den bestemte leseopplevelsen.

  • Lesere er aktive i meningskonstruksjonen og kan reflektere over hva de leser, samtidig som de benytter seg av effektive lesestrategier.

  • I forkant, under og etter lesing benytter leseren seg av et repertoar av lingvistiske, kognitive og metakognitive ferdigheter samt sin bakgrunnskunnskap for å konstruere mening.

Evnen til å lese er operasjonalisert gjennom hovedområdene hensikt og leseforståelsesprosesser, som vist i tabell 1.3.

Tabell 1.3.

Operasjonalisering av Reading literacy i PIRLS.

Ferdighetsfordeling
Hensikten med lesingPIRLSePIRLS
Å tilegne seg litterær erfaring50 %
Å tilegne seg og bruke informasjon50 %100 %
Leseforståelsesprosesser
1. Finne og hente ut eksplisitt informasjon fra teksten20 %20 %
2. Trekke enkle slutninger30 %30 %
3. Tolke og sammenholde informasjon30 %30 %
4. Vurdere språk, innhold og virkemidler i teksten20 %20 %

(Forfatternes oversettelse etter Mullis & Martin, 2015, s. 12–13)

Ferdighetsfordelingen viser hvordan leseheftene er utformet for å måle hensikten med lesing og leseforståelsesprosessene i henholdsvis PIRLS og ePIRLS. Når det gjelder lesing av litterære tekster, er hensikten å skape et engasjement eller en opplevelse hos elevene. De skal gjennom oppgavene vise at de blir involvert i hendelser, karakterer, følelser, ideer eller andre forhold fra teksten. Den mest brukte sjangeren i litterære tekster i PIRLS er narrativ fiksjon, nettopp for å få fram et engasjement hos unge lesere. Når det kommer til lesing av faktatekster, er disse ulike i form og innhold. Elevene skal evne å trekke ut og bruke informasjonen i varierende grad. Noen av oppgavene krever kritisk refleksjon og at elevene er i stand til å tolke informasjonen. Oppgavene har varierende vanskelighetsgrad, som i hovedsak bestemmes av tekstenes lengde, syntaktisk kompleksitet, nivå av abstraksjon og struktur.

Hensikten med lesingen og forståelsen av lesingen er to prosesser som virker sammen, slik at de totalt sett gir et samlet bilde av elevenes lesekompetanse. Dermed er leseferdighetene som måles i PIRLS, langt mer omfattende enn bare den tekniske avkodingen. Tekniske leseferdigheter som avkodings- og ordgjenkjenningsferdigheter er en forutsetning for å oppnå god leseforståelse. PIRLS-undersøkelsen gir i utgangspunktet ingen informasjon om denne viktige komponenten i lesing, og derfor har Norge valgt å inkludere en ordkjedeprøve.10

Generelt om tekstene

Undersøkelsen er utformet slik at den skal være mulig å gjennomføre på tvers av deltakerlandenes kulturelle og skolepolitiske forskjeller. Det betyr at tekstene og oppgavene ikke er tilpasset det enkelte lands læreplan, og ferdighetene som vektlegges i PIRLS, kan avvike noe fra hva som fokuseres på i nasjonal skolekontekst. Det er et uttalt mål fra IEA at utformingen av deres internasjonale undersøkelser skal speile elevenes ferdigheter etter hvilke krav et moderne kunnskapssamfunn stiller, og dermed i hvilken grad det enkelte lands skolesystem klarer å sette elevene i stand til å møte disse kravene (Mullis & Martin, 2015). Det som undersøkes i PIRLS, kan derfor sies å dreie seg om hvorvidt elevene har den lesekompetansen som kreves i et tekstorientert samfunn. PIRLS er dermed et viktig bidrag også inn i norsk skole, ettersom ferdighetene som måles i denne undersøkelsen, er avgjørende for å nå de norske kompetansemålene. Undersøkelsen endrer seg nødvendigvis noe mellom syklusene for å være i tråd med samfunnsutviklingen. Således kan innføringen av ePIRLS i 2016 sees på som et tilsvar til den økende teknologiske tilnærmingen skolen og samfunnet generelt står overfor.

Tekstene som blir valgt ut til bruk i leseprøvene, skal ifølge PIRLSʼ rammeverk (Mullis & Martin, 2015) følge krav til:

  • Spesifikasjoner knyttet til klarhet og sammenheng i teksten.

  • Tema som fungerer internasjonalt og på tvers av kulturer.

  • Temaene skal være interessante og engasjerende for de fleste i målgruppen.

  • Teksten må være utformet på en slik måte at den egner seg til å måle forståelsesprosessene på de ulike ferdighetsnivåene.

  • Tekstene skal reflektere autentiske tekster som elevene møter enten i skolehverdagen eller i miljø utenfor skolen.

  • Tekstene må kunne oversettes til alle aktuelle språk uten at klarhet, sammenheng eller lingvistiske krav svekkes.

I 2016 er det anvendt tolv tekster; seks litterære og seks faktatekster. Til den enkelte teksten gis det mellom 12 og 17 spørsmål. Rundt halvparten av disse er flervalgspørsmål, mens resten er åpne spørsmål hvor elevene selv skal formulere svarene. For å kunne måle utvikling i leseferdighet over tid er det nødvendig å beholde tekster fra tidligere runder av PIRLS, såkalte trendtekster. Trendtekstene er ikke tilgjengelige for offentligheten. I 2016 var det med to tekster fra 2001, to tekster fra 2006 og to tekster fra 2011, i tillegg til de seks nye tekstene. Tekstene er kombinert på forskjellige måter i 15 ulike oppgavehefter. Det 16. heftet, PIRLS Reader (R), skiller seg ut fra de øvrige 15. Det består av to separate hefter, ett med lesetekstene, og ett med oppgavene. Tanken bak dette designet er at det skal representere et mer realistisk leseformat og ikke ha et typisk prøvedesign.

Med dette prøvedesignet får elevene i en klasse ulike tekster og oppgaver, noe som betyr at enkeltresultater ikke kan sammenlignes. Oppgaveheftene fordeles i hver klasse ved hjelp av et eget dataprogram som skal sikre at alle elevene har like stor sjanse for å få hvilket som helst av heftene. Prøvedesignet gjør det mulig å la et tilfeldig utvalg arbeide med et stort antall tekster, noe som gir god informasjon om leseferdigheten i utvalget.

Alle deltakerlandene har vært inkludert i den krevende utvelgingen av tekstene og i utformingen av oppgavene. Med utgangspunkt i de spesifiserte kravene til tekstene ble alle landene invitert til å sende inn forslag til nye tekster til PIRLS 2016. Det kom inn nærmere 100 forslag som ble gjennomgått og vurdert av en internasjonal ekspertgruppe. Gruppen valgte ut ti tekster, som igjen ble vurdert på et National Research Coordinator (NRC)-møte i 2014. Utformingen av forslag til oppgaver til de nye tekstene ble utarbeidet på dette møtet, og senere bearbeidet av ekspertgruppen, før landene fikk disse til oversettelse. Åtte tekster ble valgt ut til pilotundersøkelsen, som alle deltakerlandene var pålagt å gjennomføre i 2015. Med bakgrunn i erfaringer og resultater fra piloteringen valgte et nytt NRC-møte ut de seks nye tekstene og oppgavene som skulle inngå i hovedundersøkelsen.

I Norge er alle oppgaveheftene oversatt til både bokmål og nynorsk. Dette gjelder også for spørreskjemaene til elever og foresatte, mens de digitale spørreskjemaene til lærere og skoleledelse bare ble oversatt til bokmål. Lesesenteret samarbeidet med en statsautorisert translatør i fullføringen av dette arbeidet, og etter godkjenning av translatører engasjert av IEA ble det endelige kartleggingsmaterialet ferdigstilt til bruk i PIRLS 2016 i Norge.

De litterære tekstene

De litterære tekstene er korte, avsluttede fortellinger. Det inkluderes illustrasjoner knyttet til innholdet. De seks tekstene inneholder fortellinger fra varierte omgivelser. Tekstene består av rundt 800 ord, og i hver historie er det to hovedpersoner og en handling med en eller to sentrale hendelser. Flere stiler og språklige særtrekk er representert, som for eksempel fortelling i første person, humor, dialog og metaforer.

Faktatekstene

Faktatekstene består av et utvalg tekster som varierer mellom 600 og 900 ord. De inneholder illustrasjoner som diagrammer, kart, fotografier og tabeller. Tematisk varieres det mellom emner fra naturfag, biografier og historie til praktisk informasjon. Tekstene er strukturert på forskjellige måter, for eksempel med utgangspunkt i logikk, argumentasjon, kronologi og emne. Flere av dem gjør også bruk av undertitler eller lister.

Flervalgsspørsmål og åpne spørsmål

Etter å ha lest gjennom en tekst blir elevene bedt om å svare på spørsmål. Rundt halvparten er som nevnt flervalgsspørsmål, hvor elevene må velge mellom fire ulike svaralternativ, hvorav det alltid bare er ett riktig svar. Den andre halvparten er åpne spørsmål hvor elevene selv må formulere et svar. Flervalgsspørsmålene gir ett poeng for riktig svar, mens på de åpne spørsmålene kan eleven få ett, to eller tre poeng. Antall oppnåelige poeng vises med tall ved siden av spørsmålet, og elevene blir forklart hva dette betyr, før de begynner å arbeide med oppgavene.

Hva kan elevene på de ulike mestringsnivåene?

En av utfordringene ved utformingen av en internasjonal leseundersøkelse er å omsette tallene i tabellene til meningsfulle beskrivelser. Det ligger et omfattende arbeid bak utviklingen av leseundersøkelsen slik at den avspeiler viktige områder av leseferdigheten, og at resultatene fra de ulike landene lar seg sammenligne. Bakgrunnen for utviklingen av leseprøven og metode for skalering er beskrevet i PIRLS’ rammeverk (Mullis & Martin, 2015) og i Methods and Procedures in PIRLS 2016 (TIMSS & PIRLS International Study Center, 2017). Det generelle ferdighetsnivået for hvert deltakerland presenteres gjennom en poengskala. I tillegg er det utarbeidet fire mestringsnivåer som beskriver hvilke ferdigheter i leseforståelse poenggrensene viser til. Mestringsnivåene skal forstås som et hierarkisk, men overlappende system hvor man gradvis behersker flere og flere av ferdighetene. Det betyr at jo høyere nivå som mestres, dess bedre vil de underliggende nivåene også mestres (Mejding & Rønberg, 2012). De fire mestringsnivåene er avgrenset slik: For å nå opp på nivå 4, avansert nivå, kreves det 625 poeng eller mer. Nivå 3, høyt mestringsnivå, krever 550 poeng eller mer, ved middels mestringsnivå oppnår elevene 475 poeng eller mer, og elever som oppnår minimum 400 poeng, ligger på nivå 1, lavt mestringsnivå.11 Elever som ikke oppnår 400 poeng, ligger under nivå 1, som ikke har en spesifikk beskrivelse. Maks poengsum er satt til 950. Under følger en beskrivelse av innholdet i de fire mestringsnivåene.

Beskrivelse av PIRLS’ internasjonale mestringsnivåer i lesing12

Inndelingen i de fire mestringsnivåene har blitt brukt i PIRLS siden 2001, men innholdet og beskrivelsene av ferdighetene tilpasses noe den enkelte syklusen. Denne versjonen av mestringsnivåene er oversatt og tilpasset et norsk språk av forfatterne med utgangspunkt i PIRLS 2016 International Results in Reading (Mullis, Martin, Foy & Hooper, 2017a).

Avansert mestringsnivå, ≥ 625 poeng

Elever på et avansert mestringsnivå er i stand til å lese, forstå og anvende relativt kompliserte tekster. De kan samordne ulike deler av teksten og trekke logiske slutninger, for således å kunne presentere en helhetsforståelse med forankring i teksten.

Ved lesing av relativt komplekse litterære tekster kan elevene:

  • Tolke hendelsesforløp og karaktertrekk for å beskrive årsaker, drivkrefter, følelser og utvikling av karakterer tuftet på tekstbasert støtte

  • Vise evne til å vurdere effekten av forfatters språk- og stilvalg

Ved lesing av relativt komplekse faktatekster kan elevene:

  • Finne og bruke relevant, kompleks informasjon fra ulike deler av teksten, og kunne underbygge standpunkt med argumenter fra teksten

  • Samordne informasjon på tvers av teksten for å forklare og vise viktigheten av sammenhenger og handlingsforløp

  • Vise evne til å vurdere visuelle og tekstuelle trekk for å overveie forfatters motiv

Høyt mestringsnivå, ≥ 550 poeng

Elevene på dette nivået er hva vi vil kalle gode lesere. De har et godt overblikk over teksten og er i stand til å analysere detaljer samtidig som de evner å sette elementer fra teksten inn i en større sammenheng.

Ved lesing av relativt komplekse litterære tekster kan elevene:

  • Finne relevante handlingsforløp og viktige detaljer i teksten

  • Trekke slutninger for å forklare sammenhenger mellom intensjoner, handlinger, hendelser og følelser basert på støtte fra teksten

  • Tolke og samordne hendelsesforløp og karakterenes handlinger, trekk og følelser ettersom de utvikles gjennom teksten

  • Gjenkjenne bruken av noen språklige virkemidler som metaforer, språklig tone og billedbruk

Ved lesing av relativt komplekse faktatekster kan elevene:

  • Finne relevant informasjon fra en kompakt tekst eller komplisert tabell

  • Trekke slutninger om logiske sammenhenger for å komme fram til forklaringer og årsakssammenhenger

  • Bruke tekstlig og visuell informasjon for å tolke sammenhenger mellom forskjellige temaer i teksten

  • Gjøre vurderinger og generaliseringer basert på innhold og elementer fra teksten

Middels mestringsnivå, ≥ 475 poeng

Elevene på et middels mestringsnivå skal være i stand til å gjenkjenne sentrale begivenheter i en fortelling, følge et handlingsforløp og kunne se sammenhenger på tvers i teksten.

Ved lesing av en kombinasjon av enklere og relativt komplekse litterære tekster kan elevene:

  • Finne, gjenkjenne og gjengi eksplisitt uttrykte handlinger, hendelser og følelser på en selvstendig måte

  • Trekke enkle slutninger om hovedpersonenes egenskaper, følelser og motiver

  • Tolke opplagte årsakssammenhenger med støtte fra argumenter i teksten og vise til eksempler

  • Vise begynnende kjennskap til språkvalg i teksten som virkemidler og stiler

Ved lesing av en kombinasjon av enklere og relativt komplekse faktatekster kan elevene:

  • Finne og gjengi to eller tre opplysninger fra teksten som det spørres etter

  • Trekke enkle slutninger for å produsere faktabaserte forklaringer

  • Gjøre enkle tolkninger og bruke informasjon for å gi forklaringer på hendelser

Lavt mestringsnivå, ≥ 400 poeng

Elever på et lavt mestringsnivå kjennetegnes blant annet av at de kan finne fram til og gjengi tydelig formulerte opplysninger fra teksten. De har problemer med å holde tråden i et handlingsforløp og gjenkjenne sammenhenger på tvers av teksten.

Ved lesing av enklere litterære tekster kan elevene:

  • Finne og gjengi eksplisitt uttrykte opplysninger, handlinger eller ideer

  • Trekke enkle slutninger om begivenheter og årsakssammenhenger

  • Gjøre enkle tolkninger av handlingsmomenter og sentrale motiv

Ved lesing av enklere faktatekster kan elevene:

  • Finne og gjengi eksplisitte opplysninger fra teksten og fra andre tekstuelle elementer som for eksempel kart og diagrammer

  • Trekke enkle slutninger om årsaksforhold, hendelser og beskrivelser

Rapportering i PIRLS

IEA har hatt hovedansvaret for den internasjonale rapporteringen fra PIRLS. I 2001, 2006 og 2011 ble det utarbeidet en internasjonal hovedrapport for hvert år (Mullis, Martin, Gonzalez & Kennedy (2003); Mullis, Martin, Kennedy & Foy (2007); Mullis, Martin, Kennedy & Foy (2012)). 2016-runden rapporteres i to hovedrapporter: en for PIRLS, som følger samme mal som i de tidligere rundene, og en som rapporterer resultatene for de 14 landene som gjennomførte ePIRLS (Mullis et al., 2017a; Mullis, Martin, Foy & Hooper, 2017b).

I tillegg utarbeider de fleste landene, i likhet med Norge, nasjonale rapporter.

Tekniske rapporter og rammeverk med redegjørelse for design og metode publiseres i etterkant av de internasjonale hovedrapportene. I tillegg trykkes Encyclopedia fra det enkelte deltakerlandet til hver runde. Her presenteres hvert av deltakerlandene i et eget kapittel. Kapitlene inneholder informasjon om organiseringen av blant annet landenes skolesystem, læreplaner og lærerutdanning. Dette er viktig bakgrunnsinformasjon når man skal sammenligne PIRLS-resultatene mellom landene. Alle publikasjonene om PIRLS er tilgjengelige på TIMSS og PIRLS sin offisielle nettside: http://timss.bc.edu og IEAs ILSA-Gateway.org.

Referanser

Afflerbach, P., og Cho, C. (2009). Identifying and describing constructively responsive comprehension strategies in new and traditional forms of reading.

Buckingham, D. (2015). Defining digital literacy – what do young people need to know about digital media? Nordic journal of digital literacy [elektronisk ressurs] no. 10:21–35.

Bynner, J. og Parsons, S. (2010). Insights into basic skills from a UK longitudinal study. I: S. Reder & J. Bynner red. Tracking Adult Literacy and Numeracy Skills: Findings from Longitudinal Research, p. 27 – 58. New York: Routledge.

Duncan, L.G., McGeown, S.P., Griffiths, Y.M., Stothard, S.E., & Dobai, A. (2016). Adolescent reading skill and engagement with digital and traditional literacies as predictors of reading comprehension. British Journal of Psychology, 107(2), 209–238. doi: 10.1111/bjop.12134

Elley, W.B. (1992). How in the world do students read : IEA study of reading literacy. The Hague: The International Association for the Evaluation of Educational Achievement, IEA.

Gabrielsen, E., Haslund, J., Lagerstrøm, B.O. (2005). Lese- og mestringskompetanse i den norske voksenbefolkningen: resultater fra «Adult literacy and life skills» (ALL). Stavanger: Nasjonalt senter for leseopplæring og leseforsking, Universitetet i Stavanger.

Gabrielsen, E. og Solheim G.R., red. (2013). Over kneiken? : leseferdighet på 4. og 5. trinn i et tiårsperspektiv. Oslo: Akademika.

Gabrielsen, E., Hovig, J.B., Rongved, E., Strand, O., Støle, H. & Toft, T.E. (2017). Godt nytt! Norske resultater fra PIRLS 2016. Lesesenteret, Universitetet i Stavanger.

Hoover, W., & Gough, P. (1990). The simple view of reading. An Interdisciplinary Journal, 2(2), 127–160. doi: 10.1007/BF00401799.

Kirke-, utdannings- og forskningsdepartementet (1996). Læreplanverket for den 10-årige grunnskolen. Oslo: Nasjonalt læremiddelsenter.

Lundetræ, K. & Gabrielsen, E. (2016). Relationship between literacy skills and self-reported health in the Nordic countries. Scandinavian Journal of Public Health 2016; Volum 44.(8) s. 758–764.

Mejding, Jan & F.-J. Louise Rønberg (2012). PIRLS 2011: En international undersøgelse om læsekompetance i 4. klasse. København: Institut for Uddannelse og Pædagogik, Aarhus Universitet.

Mullis, I.V.S., M.O. Martin, E.J. Gonzalez & A.M. Kennedy, red. (2003). PIRLS 2001 international report IEA's study of Reading Literacy Achievement in Primary Schools in 35 countries. Boston: International Study Center, Lynch School of Education, Boston College.

Mullis, I.V. S., M. O. Martin, A. M. Kennedy & P. Foy, red. (2007). PIRLS 2006 International Report IEA's progress in International Reading Literacy Study in Primary Schools in 40 countries. Boston: TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.

Mullis, I.V.S. & M.O. Martin, red. (2015). PIRLS 2016 Assessment Framework. 2 utg. Boston: TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.

Mullis, I.V.S., M.O. Martin, P. Foy & K.T. Drucker, red. (2012). PIRLS 2011 International Results in Reading. 2 utg. Boston: TIMSS & PIRLS International Study Center Lynch School of Education, Boston College.

Mullis, I.V.S., Martin, M.O., Goh, S. & Prendergast, C. (2017). PIRLS 2016 Encyclopedia: Education Policy and Curriculum in Reading. Hentet fra: http://timssandpirls.bc.edu/pirls2016/encyclopedia/

Mullis, I.V.S., Martin, M.O., Foy, P. & Hooper, M. (2017a). PIRLS 2016 International Results in Reading. Hentet fra Boston College, TIMSS & PIRLS International Study Center website: https://timssandpirls.bc.edu/pirls2016/international-results/.

Mullis, I.V.S., Martin, M.O., Foy, P. & Hooper, M. (2017b). ePIRLS 2016 International Results in Online Informational Reading. Hentet fra Boston College, TIMSS & PIRLS International Study Center website: https://timssandpirls.bc.edu/epirls2016/international-results/

OECD (2013). OECD skills outlook: First results from the survey of adult skills. OECD Publishing. http://dx.doi.org/10.1787/978926404256-en.

Reder, S. (2010). The development of literacy and numeracy in adult life. I: S. Reder & J. Bynner (red.) Tracking Adult Literacy and Numeracy Skills: Findings from Longitudinal Research, p. 27 – 58. New York: Routledge.

Solheim, R.G. (2013). PIRLS 2011 – oppbygning og metode. I: E. Gabrielsen & R.G. Solheim Over kneiken? Leseferdighet på 4. og 5. trinn i et tiårsperspektiv, no1(1), 13–25.

Utdanningsdirektoratet (2006). Læreplanverket for Kunnskapsløftet (Midlertidig utg. juni 2006). Oslo: Utdanningsdirektoratet.

Nettsider

IEAs fellesside for internasjonale undersøkelser: www.ILSA-Gateway.org

TIMSS & PIRLS International Study Center: http://timss.bc.edu

1Progress in International Reading Literacy Study
2Programme for International Student Assessment
3International Survey of Adult Literacy
4Adult Literacy and Life Skills
5Programme for International Assessment of Adult Competencies
6For mer om ordkjedeprøven viser vi til artikkel 5 (Lundetræ og Mossige) i denne boken.
7Se nærmere omtale og referanser i artikkel 2 (Gabrielsen og Hovig).
8Nasjonalt senter for skriveopplæring og skriveforsking, NTNU
9Samsvaret mellom resultatet til to uavhengige skårere.
10Se artikkel 5 (Lundetræ og Mossige) for en nærmere beskrivelse av ordkjedeprøven.
11Se artikkel 2 (Gabrielsen og Hovig) for en oversikt over hvordan norske elever fordeler seg på de fire mestringsnivåene.
12For eksempler på oppgaver til de ulike ferdighetskravene: Se rapporten Godt nytt (2017).

Idunn bruker informasjonskapsler (cookies). Ved å fortsette å bruke nettsiden godtar du dette. Klikk her for mer informasjon