ICILS: en studie om digital kompetens

Ladda ned en sammanfattande infografik av hur urvalsstudier fungerar. Pdf, 613 kB. (Pdf, 613 kB)

Sverige deltar i flera olika internationella studier som syftar till att mäta elevers kunskaper i olika ämnen samt attityder till skolan. Sverige deltar i dessa studier för att se hur det går för svensk skola i relation till andra länder men framför allt för att kunna följa kunskapsutvecklingen i den svenska skolan över tid.

Sverige har deltagit i internationella kunskapsmätningar sedan 1960-talet och de studier som vi nu deltar i är PISA, TIMSS, PIRLS, ICCS och ICILS. Dessa studier återkommer med jämna mellanrum och mäter kunskaper i olika ämnen och i olika årskurser. Dessutom deltar Sverige i TALIS, som är en enkätstudie till rektorer och lärare.

De resultat som framkommer från studierna utgör ett viktigt underlag i arbetet med att förbättra den svenska skolan. Men hur går en studie till?

Population, urval och genomförande

För att få reda på hur det går för svenska elever i de olika studierna behöver inte alla elever i Sverige delta. Studierna genomförs endast på ett urval av skolor och elever men resultaten gäller för alla elever i den årskurs eller ålder som man vill uttala sig om i studien, det vill säga den målpopulation som studien har definierat.

Det är ungefär 150 skolor och cirka 5 000 elever som ingår i urvalen och det här bestäms utifrån internationella regelverk. I ett första steg väljs skolenheter ut slumpmässigt så att vi får ett representativt urval av skolenheter. Det betyder till exempel att både stora och små skolor ingår i studierna, precis som fristående och kommunala skolor samt skolor på landsbygden och i städer. Därefter dras sedan slumpmässigt de elever som ska genomföra studien från dessa skolenheter.

Innan skolorna väljs ut upprättas en ram över alla skolenheter som kan tänkas ha elever som enligt den aktuella studien ingår i målpopulationen. Det är viktigt att alla skolenheter inkluderas i urvalsramen så att inga elever riskerar att missas. I detta arbete utgår vi från de skolenhets- och elevregister som Skolverket förfogar över, vilket sammantaget gör att de urvalsramar som tas fram för Sveriges räkning håller väldigt hög kvalité.

En del elever ska inte delta i studierna av olika anledningar. Proven som eleverna i Sverige genomför är på svenska och det finns nästan inga möjligheter att tillgodose elevers eventuella behov av olika anpassningar i provet, som eleverna till exempel får i de nationella proven. Det innebär att en del elever inte ges förutsättningar att visa sina kunskaper i de ämnen som studierna mäter. Av denna anledning har de internationella regelverken bestämt att vissa elever ska exkluderas från studierna. Det handlar om elever med olika funktionsnedsättningar men också om språkbegränsningar.

Exkluderingarna görs för att få bättre jämförelser över tid samt ökade möjligheter till jämförelser mellan de deltagande länderna. Det senare med anledning av att de deltagande länderna har betydande skillnader i hur deras skolsystem ser ut. Men gemensamt för alla studier är att man arbetar för att inkludera så många elever som möjligt. Därför betonar Skolverket vikten av att så många elever som möjligt deltar samt följer upp i princip alla exkluderingar som görs ute på de deltagande skolorna.

Inför själva genomförandet kontaktar Skolverket de skolor som ska ingå i studien samt planerar för när och hur genomförandet ska ske. I samband med detta genomför Skolverket ett flertal aktiviteter för att öka kunskapen ute på skolorna, både om studiens innehåll och syften så väl som vad som förväntas av de deltagande skolorna så att resultatet av genomförandet blir så korrekt och rättvisande som möjligt.

Därefter får de utvalda eleverna vid ett särskilt tillfälle besvara ett digitalt prov samt besvara en enkät. Det tar ungefär tre timmar att genomföra studien för eleverna. Lärare och rektorer får besvara enkäter och i några av studierna får också elevernas vårdnadshavare besvara en enkät. Dessa enkäter bidrar med viktig bakgrundinformation som är relevant för att förstå och tolka studiernas resultat.

Provens konstruktion ger en hög tillförlitlighet

I de internationella studierna vill man mäta kunskaper i ämnen som till exempel läsförståelse, matematik, naturvetenskap, datorkunskap och demokrati- och medborgarkunskap. Länderna som deltar är med och bestämmer vad det är för kunskaper man tycker att elever ska kunna inom dessa områden. För att kunna säga hur det går för ett lands elever i de olika ämnena behöver man en stor mängd provuppgifter som tillsammans ger en tillförlitlig bild, både sett ur ett innehållsligt och ett mättekniskt perspektiv, över de kunskaper man vill mäta.

En enskild elev kan inte besvara så många provfrågor själv, det skulle ta alldeles för lång tid. Därför har man konstruerat flera olika prov vilka var för sig endast omfattar ett färre antal provfrågor. Sett över alla provhäften finns emellertid alla de provuppgifter med som man behöver för att på ett tillförlitligt sätt mäta det som den aktuella studien ämnar mäta.

Provhäftena överlappar dessutom varandra till viss del sett till de provuppgifter de innehåller, vilket gör att alla provuppgifter blir ihoplänkade. Man kan säga att vi har ett stort prov för hela Sverige men där de utvalda eleverna endast besvarar en liten del var. Detta kallas för en roterande provdesign och ger tillförlitliga resultat på riksnivå.

Proven genomfördes tidigare på papper, men har på senare år kommit att genomföras digitalt där eleverna gör proven på dator eller surfplatta. Denna digitalisering har medfört att nya mer innovativa kunskapsområden och provformat har kunnat realiseras.

Som exempel på det senare har till exempel PISA-studien gått från ett traditionellt testande till ett så kallat adaptivt testande. Med adaptivt testande menas att eleven som gör provet i större utsträckning får möta provuppgifter som motsvarar dennas kunskapsnivå. Vilket ger en högre mätsäkerhet.

För att resultaten ska vara jämförbara över tid är en del av provfrågorna exakt desamma som vid tidigare genomförda studier.

Vissa provfrågor är flervalsfrågor och en del av frågorna är öppna frågor där eleverna får skriva sina svar eller visa sina uträkningar. De öppna frågor som inte kan automaträttas får en bedömning av utbildade kodare. I Sverige är det forskare på olika lärosäten som ansvarar för att centralt koda alla elevsvar utifrån en bedömning av vad som är rätt eller fel.

Denna kodning görs utifrån internationellt bestämda manualer och alla länders kodare får en gemensam utbildning. För att kodningen ska bli så bra som möjligt så bedöms cirka hälften av alla elevsvar två gånger men av olika kodare. På detta sätt mäter man reliabiliteten i kodningen, det vill säga hur tillförlitlig bedömningen anses vara. Om samma elevsvar får olika bedömningar av olika kodare blir reliabiliteten låg och kodningen behöver ibland göras om.

För att säkerställa att bedömningen av elevsvaren görs på samma sätt över tid får varje land koda om elevsvar från tidigare studier. Dessutom ingår också ett antal engelska elevsvar som är samma för alla deltagande länder för att så långt som möjligt garantera att länder inte gör olika bedömningar.

Komplex mätmodell ger komplexa data

De metoder som används i de internationella studierna, för att få data av hög kvalitet, är till sin karaktär väldigt komplexa. Vi har till exempel redan nämnt att urvalen görs som så kallade flerstegsurval samt att kunskapsproven tillämpar det som kallas roterande design. Att metoderna är komplexa medför att de data som de genererar också är komplexa. Det finns därför flera aspekter som är viktiga att känna till samt nödvändiga att hantera på korrekt vis då data ska användas och analyseras.

Som vi redan nämnt så är de internationella studierna urvalsstudier och urvalsstudier är alltid behäftade med ett mätfel som kommer sig av att vi endast mäter kunskaper hos ett urval av elever, inte hela rikets alla elever. Detta mätfel brukar kallas urvalsfel men är inte det enda mätfelet vi behöver förhålla oss till då vi ska analysera resultatdata från de internationella studierna. Det finns flera källor till mätfel och för att få korrekta resultat behöver man ta hänsyn till alla dessa felkällor i de analyser man gör.

I alla internationella kunskapsmätningar där Sverige deltar tillämpas det som kallas modern testteori, eller Item Response Theory (IRT). IRT är och har varit det ledande angreppsättet för kunskapsmätande inom psykometrin de senaste 30 åren.

IRT gör det möjligt att placera eleverna och deras kunskapsnivåer på samma skala som provuppgifterna. En skala som går från lättare till svårare vad det gäller provuppgifter samt från lägre till högre kunskapsnivå då det gäller elever. En annan sak som IRT ger möjlighet till är att skatta provuppgifternas egenskaper. Med egenskaper menar vi deras svårighetsgrad, diskrimineringsgrad (det vill säga hur väl en provuppgift kan differentiera mellan två elever med olika kunskapsnivå) samt möjlighet till att gissa rätt.

Dessa egenskaper, som brukar kallas parametrar, estimeras med hjälp av de resultat som elevernas provdeltagande givit upphov till. Vi kan dock aldrig veta de exakta egenskaper en provuppgift har. På samma vis kan vi inte veta en elevs exakta kunskapsnivå baserat på hur denna har presterat på ett visst prov. Vi kommer alltid att ha ett mätfel som påverkas av hur pass tillförlitligt det aktuella provet är.

IRT gör det också möjligt att bedöma hur pass bra eller dålig mätsäkerheten är på olika delar av skalan. Till exempel om vi har många observationer på en del av skalan så har vi mer information där och får således en bättre mätsäkerhet jämfört med en annan del av skalan där vi har få observationer.

Vid konstruktion av prov i de internationella studierna är praxis att optimera testen utifrån där de flesta av eleverna befinner sig längs kunskapsskalan, i möjligaste mån strävar man efter en provuppgiftsfördelning som speglar elevernas kunskapsfördelning. Detta innebär, då det finns färre elever ute i kunskapsfördelningens ”svansar”, att det även i fördelningen över provuppgifter finns färre uppgifter ute i svansarna.

Sammantaget medför detta att mätosäkerheten ökar ju längre utåt ändarna av fördelningen man befinner sig. Det vill säga, mätosäkerheten är större bland de hög- respektive lågpresterande eleverna samt för de svåra respektive lätta provuppgifterna. Detta är anledningen till att man i till exempel PISA har börjat använda sig av adaptivt testande. Det ger möjlighet för hög- och lågpresterande elever att i större utsträckning möta uppgifter som motsvarar deras kunskapsnivå och då ökar mätsäkerheten även ute i ändarna av fördelningen.

Resultatmått och analys

Eftersom respektive elev endast besvarar ett begränsat antal provuppgifter i förhållande till den totala mängden provuppgifter medför den roterande designen att varje elev inte svarar på ett stort antal frågor, man får ett stort så kallat partiellt bortfall. För att hantera det mätfel som detta medför, och samtidigt eliminera potentiella risker för systematiska mätfel på gruppnivå, behöver så kallade plausibla värden genereras och sedermera användas vid analys. Så i stället för endast ett resultat i till exempel matematik eller naturvetenskap kommer varje enskild elev som har deltagit i studien ha en uppsättning resultat, det vill säga plausibla värden. Hur stor den uppsättningen är beror på vilken internationell studie vi betraktar. I regel är antalet plausibla värden som behövs för att få tillförlitliga resultat på riksnivå mellan fem och tio per elev och ämne.

De plausibla värdena genereras med hjälp av avancerade statistiska metoder. Mer konkret kan man säga att man kombinerar en elevs faktiska resultat med sådan relevant bakgrundsinformation som har betydelse för elevernas resultat, så att vi får en bättre bild av hur elevens kunskaper hade sett ut om den hade gjort alla provets provuppgifter.

Viktigt att notera är att även om de plausibla värdena för en enskild elev förväntas spegla den elevens kunskapsnivå, är de plausibla värdena inget annat än troliga värden genererade från en statistisk modell. Det innebär att för vissa elever kan kunskapsnivån överskattas och för andra elever kan kunskapsnivån underskattas.

De plausibla värdena kan därför inte användas som ett mått på en enskild elevs kunskapsnivå. Inte heller för den genomsnittliga kunskapsnivån på en skola. Däremot kan den genomsnittliga kunskapsnivån, baserade på ca 5 000 elever, användas som ett mått på ett lands kunskapsnivå. Detta för att slumpmässiga avvikelser jämnar ut sig i det långa loppet.

Utöver de källor till slumpmässiga mätfel vi precis har gått igenom och som vi behöver ta hänsyn till vid analys, tillkommer ett ytterligare slumpmässigt mätfel då vi vill studera trend, det vill säga när vi jämför en studies resultat från ett tillfälle med resultaten från samma studie fast från ett annat tillfälle. Detta mätfel kallas länkningsfel och kommer sig av att man behöver kalibrera respektive mättillfälles skala med varandra så att de blir helt jämförbara. Utan denna kalibrering av skalan kan man inte uttala sig om ett land eller en viss elevgrupp har blivit bättre eller sämre jämfört med ett tidigare mättillfälle.

Korrekt hantering av data är en nödvändighet

Sammanfattningsvis, då man har sina resultatdata på plats och vill ta fram deskriptioner eller göra analyser, är det viktigt att veta vad det finns för osäkerheter med data samt att man inkluderar och hantera dessa osäkerheter på ett korrekt vis. Om man inte gör det finns det en uppenbar risk att man som en konsekvens av detta drar felaktiga slutsatser.

För vilket ändamål samlas uppgifter in och behandlas?

All hantering av personuppgifter i den internationella studien ICILS 2023 (International Computer and Information Literacy Study) sker på den rättsliga grunden att den är nödvändig för att Skolverket ska kunna utföra en uppgift av allmänt intresse. I detta fall handlar det om att se till att Sverige deltar i internationella kunskapsmätningar och andra individbaserade kunskapsmätningar på skolans område för att utvärdera och följa upp svensk skola. Uppgifterna samlas in för att möjliggöra genomförandet av ICILS i enlighet med de krav som finns för studien. Personuppgiftsbehandlingen sker i enlighet med EU:s allmänna dataskyddsförordning (GDPR) samt lagen (2018:218) med kompletterande bestämmelser till EU:s dataskyddsförordning.

Vilken information samlas in?

Eleverna på de deltagande skolorna ombeds fylla i en enkät för att ge information om deras användning av och inställning till digitala verktyg i skolan såväl som i hemmet. En del bakgrundsinformation samlas in för ändamålet (kön, ålder, födelsedatum, huruvida vårdnadshavarna är födda i Sverige eller inte). Även i en lärarenkät efterfrågas vissa personuppgifter (kön).

Deltagandet i ICILS är inte obligatoriskt för eleverna. Eleverna har också möjlighet att hoppa över enskilda frågor i enkäten eller när som helst avbryta sitt deltagande.

Vilken typ av data samlas in?

När de som deltar i ICILS-studien har fyllt i enkäten sparar Skolverket svaren och lagrar dem i form av koder som representerar de olika svaren (ett svar på en flervalsfråga eller ja/nej-markering kodas med exempelvis en etta eller en tvåa). Informationen i sig kan inte användas för att identifiera enskilda respondenter efter namn, men ett unikt elev-ID registreras för att kunna särskilja eleverna i genomförandet. Kopplingen mellan detta ID och elevnamnet är känt endast för Skolverket och skolsamordnare ute på de deltagande skolorna. Detta delas inte med IEA (International Association for the Evaluation of Educational Achievement) som är den internationellt ansvariga organisationen som sammanställer alla deltagande länders data, eller någon annan tredje part.

Efter insamlingen av data i studien gallras alla elevnamn och den databas som används för analyser och publicering byter ut alla elev-ID mot nya ID-nummer, som inte kan identifieras av de deltagande skolorna eller eleverna.

Var, hur och hur länge lagras data från ICILS?

ICILS-data lagras säkert och kan inte nås av externa personer eller system. Alla anställda vid IEA samt kontrakterade konsulter till IEA, som får tillgång till uppgifterna för behandling, har dessutom blivit informerade om vad som utgör en acceptabel behandling av data och har undertecknat ett sekretessavtal.

Uppgifterna lagras på följande sätt:

Uppgifterna lagras på Skolverkets server. Alla personuppgifter gallras hos Skolverket när studien är avslutad. Svarsdata lagras på obestämd tid så att de förblir tillgängliga för analys, utan namn men kopplade till ID-nummer som genererats inom ICILS-studien. Dessa svar resulterar så småningom i en databas som gör det möjligt för forskare att jämföra utbildningssystem mellan olika länder (se Allmänhetens tillgänglighet nedan). Uppgifterna behandlas centralt hos IEA i Hamburg, Tyskland.

Med vem och hur delas data från ICILS?

Svarsuppgifter skickas från Skolverket till IEA, i pseudonymiserad form. Det innebär att uppgifterna behandlas på ett sådant sätt att personuppgifterna inte längre kan hänföras till en specifik person utan att ytterligare information används. Sådan ytterligare information hålls separat och omfattas av tekniska och organisatoriska åtgärder för att säkerställa att personuppgifterna inte tillskrivs en identifierad eller identifierbar fysisk person.

Tillgänglighet för allmänheten

Den slutliga internationella forskningsdatabasen kommer att vara tillgänglig för allmänheten från IEA:s webbplats. All data i databasen är i pseudonym form och kan inte kopplas till enskilda personer.

Länk till IEA:s webbplats om ICILS, på engelska Länk till annan webbplats.

Automatiserat beslutsfattande och profilering

Inget automatiserat beslutsfattande, inklusive profilering, genomförs.

Registrerades rättigheter

Den registrerade (respondenterna) har de rättigheter som nämns i artikel 15-20 i dataskyddsförordningen; den registrerades rätt till tillgång (artikel 15), rätt till rättelse (artikel 16), rätt till radering ”rätten att bli bortglömd” (artikel 17), rätt till begränsning av behandling (artikel 18), den personuppgiftsansvariges anmälningsskyldighet (artikel 19), rätt till dataportabilitet (artikel 20).

Skolverket är personuppgiftsansvarig vilket bland annat innebär att Skolverket är skyldig att på begäran av dig rätta uppgifter som är felaktiga, ofullständiga eller missvisande. Du har också rätt att gratis en gång per år begära ett registerutdrag för att kontrollera vilken information som finns registrerad om er. Om du anser att Skolverket har behandlat era personuppgifter felaktigt har du rätt att vända dig till Integritetsskyddsmyndigheten (www.imy.se) med ett klagomål. Du kan även kontakta vårt dataskyddsombud på dataskyddsombudet@skolverket.se.

Kontaktuppgifter till registeransvariga

Skolverket
Svetsarvägen 16
171 41 Solna
Tel (växel): 08-527 332 00
E-post: skolverket@skolverket.se

IEA
Keizersgracht 311
1016 EE Amsterdam
Nederländerna
Telephone: +31 20 625 3625
E-post: secretariat@iea.nl