Aktuellt om internationella studier

Population, urval och genomförande

För att få reda på hur det går för svenska elever i de olika studierna behöver inte alla elever i Sverige delta. Studierna genomförs endast på ett urval av skolor och elever men resultaten gäller för alla elever i den årskurs eller ålder som man vill uttala sig om i studien, det vill säga den målpopulation som studien har definierat.

Det är ungefär 150 skolor och cirka 5 000 elever som ingår i urvalen och det här bestäms utifrån internationella regelverk. I ett första steg väljs skolenheter ut slumpmässigt så att vi får ett representativt urval av skolenheter. Det betyder till exempel att både stora och små skolor ingår i studierna, precis som fristående och kommunala skolor samt skolor på landsbygden och i städer. Därefter dras sedan slumpmässigt de elever som ska genomföra studien från dessa skolenheter.

Innan skolorna väljs ut upprättas en ram över alla skolenheter som kan tänkas ha elever som enligt den aktuella studien ingår i målpopulationen. Det är viktigt att alla skolenheter inkluderas i urvalsramen så att inga elever riskerar att missas. I detta arbete utgår vi från de skolenhets- och elevregister som Skolverket förfogar över, vilket sammantaget gör att de urvalsramar som tas fram för Sveriges räkning håller väldigt hög kvalité.

En del elever ska inte delta i studierna av olika anledningar. Proven som eleverna i Sverige genomför är på svenska och det finns nästan inga möjligheter att tillgodose elevers eventuella behov av olika anpassningar i provet, som eleverna till exempel får i de nationella proven. Det innebär att en del elever inte ges förutsättningar att visa sina kunskaper i de ämnen som studierna mäter. Av denna anledning har de internationella regelverken bestämt att vissa elever ska exkluderas från studierna. Det handlar om elever med olika funktionsnedsättningar men också om språkbegränsningar.

Exkluderingarna görs för att få bättre jämförelser över tid samt ökade möjligheter till jämförelser mellan de deltagande länderna. Det senare med anledning av att de deltagande länderna har betydande skillnader i hur deras skolsystem ser ut. Men gemensamt för alla studier är att man arbetar för att inkludera så många elever som möjligt. Därför betonar Skolverket vikten av att så många elever som möjligt deltar samt följer upp i princip alla exkluderingar som görs ute på de deltagande skolorna.

Inför själva genomförandet kontaktar Skolverket de skolor som ska ingå i studien samt planerar för när och hur genomförandet ska ske. I samband med detta genomför Skolverket ett flertal aktiviteter för att öka kunskapen ute på skolorna, både om studiens innehåll och syften så väl som vad som förväntas av de deltagande skolorna så att resultatet av genomförandet blir så korrekt och rättvisande som möjligt.

Därefter får de utvalda eleverna vid ett särskilt tillfälle besvara ett digitalt prov samt besvara en enkät. Det tar ungefär tre timmar att genomföra studien för eleverna. Lärare och rektorer får besvara enkäter och i några av studierna får också elevernas vårdnadshavare besvara en enkät. Dessa enkäter bidrar med viktig bakgrundinformation som är relevant för att förstå och tolka studiernas resultat.

Provens konstruktion ger en hög tillförlitlighet

I de internationella studierna vill man mäta kunskaper i ämnen som till exempel läsförståelse, matematik, naturvetenskap, datorkunskap och demokrati- och medborgarkunskap. Länderna som deltar är med och bestämmer vad det är för kunskaper man tycker att elever ska kunna inom dessa områden. För att kunna säga hur det går för ett lands elever i de olika ämnena behöver man en stor mängd provuppgifter som tillsammans ger en tillförlitlig bild, både sett ur ett innehållsligt och ett mättekniskt perspektiv, över de kunskaper man vill mäta.

En enskild elev kan inte besvara så många provfrågor själv, det skulle ta alldeles för lång tid. Därför har man konstruerat flera olika prov vilka var för sig endast omfattar ett färre antal provfrågor. Sett över alla provhäften finns emellertid alla de provuppgifter med som man behöver för att på ett tillförlitligt sätt mäta det som den aktuella studien ämnar mäta.

Provhäftena överlappar dessutom varandra till viss del sett till de provuppgifter de innehåller, vilket gör att alla provuppgifter blir ihoplänkade. Man kan säga att vi har ett stort prov för hela Sverige men där de utvalda eleverna endast besvarar en liten del var. Detta kallas för en roterande provdesign och ger tillförlitliga resultat på riksnivå.

Proven genomfördes tidigare på papper, men har på senare år kommit att genomföras digitalt där eleverna gör proven på dator eller surfplatta. Denna digitalisering har medfört att nya mer innovativa kunskapsområden och provformat har kunnat realiseras.

Som exempel på det senare har till exempel PISA-studien gått från ett traditionellt testande till ett så kallat adaptivt testande. Med adaptivt testande menas att eleven som gör provet i större utsträckning får möta provuppgifter som motsvarar dennas kunskapsnivå. Vilket ger en högre mätsäkerhet.

För att resultaten ska vara jämförbara över tid är en del av provfrågorna exakt desamma som vid tidigare genomförda studier.

Vissa provfrågor är flervalsfrågor och en del av frågorna är öppna frågor där eleverna får skriva sina svar eller visa sina uträkningar. De öppna frågor som inte kan automaträttas får en bedömning av utbildade kodare. I Sverige är det forskare på olika lärosäten som ansvarar för att centralt koda alla elevsvar utifrån en bedömning av vad som är rätt eller fel.

Denna kodning görs utifrån internationellt bestämda manualer och alla länders kodare får en gemensam utbildning. För att kodningen ska bli så bra som möjligt så bedöms cirka hälften av alla elevsvar två gånger men av olika kodare. På detta sätt mäter man reliabiliteten i kodningen, det vill säga hur tillförlitlig bedömningen anses vara. Om samma elevsvar får olika bedömningar av olika kodare blir reliabiliteten låg och kodningen behöver ibland göras om.

För att säkerställa att bedömningen av elevsvaren görs på samma sätt över tid får varje land koda om elevsvar från tidigare studier. Dessutom ingår också ett antal engelska elevsvar som är samma för alla deltagande länder för att så långt som möjligt garantera att länder inte gör olika bedömningar.

Komplex mätmodell ger komplexa data

De metoder som används i de internationella studierna, för att få data av hög kvalitet, är till sin karaktär väldigt komplexa. Vi har till exempel redan nämnt att urvalen görs som så kallade flerstegsurval samt att kunskapsproven tillämpar det som kallas roterande design. Att metoderna är komplexa medför att de data som de genererar också är komplexa. Det finns därför flera aspekter som är viktiga att känna till samt nödvändiga att hantera på korrekt vis då data ska användas och analyseras.

Som vi redan nämnt så är de internationella studierna urvalsstudier och urvalsstudier är alltid behäftade med ett mätfel som kommer sig av att vi endast mäter kunskaper hos ett urval av elever, inte hela rikets alla elever. Detta mätfel brukar kallas urvalsfel men är inte det enda mätfelet vi behöver förhålla oss till då vi ska analysera resultatdata från de internationella studierna. Det finns flera källor till mätfel och för att få korrekta resultat behöver man ta hänsyn till alla dessa felkällor i de analyser man gör.

I alla internationella kunskapsmätningar där Sverige deltar tillämpas det som kallas modern testteori, eller Item Response Theory (IRT). IRT är och har varit det ledande angreppsättet för kunskapsmätande inom psykometrin de senaste 30 åren.

IRT gör det möjligt att placera eleverna och deras kunskapsnivåer på samma skala som provuppgifterna. En skala som går från lättare till svårare vad det gäller provuppgifter samt från lägre till högre kunskapsnivå då det gäller elever. En annan sak som IRT ger möjlighet till är att skatta provuppgifternas egenskaper. Med egenskaper menar vi deras svårighetsgrad, diskrimineringsgrad (det vill säga hur väl en provuppgift kan differentiera mellan två elever med olika kunskapsnivå) samt möjlighet till att gissa rätt.

Dessa egenskaper, som brukar kallas parametrar, estimeras med hjälp av de resultat som elevernas provdeltagande givit upphov till. Vi kan dock aldrig veta de exakta egenskaper en provuppgift har. På samma vis kan vi inte veta en elevs exakta kunskapsnivå baserat på hur denna har presterat på ett visst prov. Vi kommer alltid att ha ett mätfel som påverkas av hur pass tillförlitligt det aktuella provet är.

IRT gör det också möjligt att bedöma hur pass bra eller dålig mätsäkerheten är på olika delar av skalan. Till exempel om vi har många observationer på en del av skalan så har vi mer information där och får således en bättre mätsäkerhet jämfört med en annan del av skalan där vi har få observationer.

Vid konstruktion av prov i de internationella studierna är praxis att optimera testen utifrån där de flesta av eleverna befinner sig längs kunskapsskalan, i möjligaste mån strävar man efter en provuppgiftsfördelning som speglar elevernas kunskapsfördelning. Detta innebär, då det finns färre elever ute i kunskapsfördelningens ”svansar”, att det även i fördelningen över provuppgifter finns färre uppgifter ute i svansarna.

Sammantaget medför detta att mätosäkerheten ökar ju längre utåt ändarna av fördelningen man befinner sig. Det vill säga, mätosäkerheten är större bland de hög- respektive lågpresterande eleverna samt för de svåra respektive lätta provuppgifterna. Detta är anledningen till att man i till exempel PISA har börjat använda sig av adaptivt testande. Det ger möjlighet för hög- och lågpresterande elever att i större utsträckning möta uppgifter som motsvarar deras kunskapsnivå och då ökar mätsäkerheten även ute i ändarna av fördelningen.

Resultatmått och analys

Eftersom respektive elev endast besvarar ett begränsat antal provuppgifter i förhållande till den totala mängden provuppgifter medför den roterande designen att varje elev inte svarar på ett stort antal frågor, man får ett stort så kallat partiellt bortfall. För att hantera det mätfel som detta medför, och samtidigt eliminera potentiella risker för systematiska mätfel på gruppnivå, behöver så kallade plausibla värden genereras och sedermera användas vid analys. Så i stället för endast ett resultat i till exempel matematik eller naturvetenskap kommer varje enskild elev som har deltagit i studien ha en uppsättning resultat, det vill säga plausibla värden. Hur stor den uppsättningen är beror på vilken internationell studie vi betraktar. I regel är antalet plausibla värden som behövs för att få tillförlitliga resultat på riksnivå mellan fem och tio per elev och ämne.

De plausibla värdena genereras med hjälp av avancerade statistiska metoder. Mer konkret kan man säga att man kombinerar en elevs faktiska resultat med sådan relevant bakgrundsinformation som har betydelse för elevernas resultat, så att vi får en bättre bild av hur elevens kunskaper hade sett ut om den hade gjort alla provets provuppgifter.

Viktigt att notera är att även om de plausibla värdena för en enskild elev förväntas spegla den elevens kunskapsnivå, är de plausibla värdena inget annat än troliga värden genererade från en statistisk modell. Det innebär att för vissa elever kan kunskapsnivån överskattas och för andra elever kan kunskapsnivån underskattas.

De plausibla värdena kan därför inte användas som ett mått på en enskild elevs kunskapsnivå. Inte heller för den genomsnittliga kunskapsnivån på en skola. Däremot kan den genomsnittliga kunskapsnivån, baserade på ca 5 000 elever, användas som ett mått på ett lands kunskapsnivå. Detta för att slumpmässiga avvikelser jämnar ut sig i det långa loppet.

Utöver de källor till slumpmässiga mätfel vi precis har gått igenom och som vi behöver ta hänsyn till vid analys, tillkommer ett ytterligare slumpmässigt mätfel då vi vill studera trend, det vill säga när vi jämför en studies resultat från ett tillfälle med resultaten från samma studie fast från ett annat tillfälle. Detta mätfel kallas länkningsfel och kommer sig av att man behöver kalibrera respektive mättillfälles skala med varandra så att de blir helt jämförbara. Utan denna kalibrering av skalan kan man inte uttala sig om ett land eller en viss elevgrupp har blivit bättre eller sämre jämfört med ett tidigare mättillfälle.

Korrekt hantering av data är en nödvändighet

Sammanfattningsvis, då man har sina resultatdata på plats och vill ta fram deskriptioner eller göra analyser, är det viktigt att veta vad det finns för osäkerheter med data samt att man inkluderar och hantera dessa osäkerheter på ett korrekt vis. Om man inte gör det finns det en uppenbar risk att man som en konsekvens av detta drar felaktiga slutsatser.