Rammeverk for kartleggingsprøver

Formål

Formålet med kartleggingsprøvene er å finne elever som trenger ekstra oppfølging for å kunne følge forventet progresjon i begynneropplæringen.

Utdanningsdirektoratet forvalter kartleggingsprøver i lesing og regning for 1. og 3. trinn. Prøvene i lesing og regning for 3. trinn er obligatoriske å gjennomføre for skolene.
Skoleeier1 er ansvarlig for at elevene gjennomfører obligatoriske prøver. Skolene kan frita elever som oppfyller gitte vilkår.

Skolene skal ikke rapportere resultatene til Utdanningsdirektoratet.

Historikk for kartleggingsprøver

I St.meld. nr. 31 (2007 – 2008) Kvalitet i skolen, la Regjeringen fram planer for videreutvikling av det nasjonale prøvesystemet, herunder kartleggingsprøvene. Obligatoriske kartleggingsprøver i leseferdighet og tallforståelse og regneferdighet for 2. trinn ble gjennomført første gang i 2008. Obligatoriske prøver i leseferdighet for 1. og 3. trinn ble innført i hhv. 2009 og 2010. Prøver i tallforståelse og regneferdighet for 1. og 3. trinn ble innført i hhv. 2011 og 2010, og ble tilbudt skoler og skoleeiere som frivillige prøver.

Kartleggingsprøve i engelsk og kartleggingsprøve i digitale ferdigheter ble gjennomført første gang i hhv. 2011 og 2013, som frivillige, elektroniske prøver.

Hvorfor rammeverk for kartleggingsprøver?

Rammeverk for kartleggingsprøver skal etablere et felles grunnlag for utforming, gjennomføring, analyse og rapportering av kartleggingsprøvene. Ved å beskrive prøvenes innhold og form skal rammeverket bidra til klarhet og åpenhet rundt kartleggingsprøvene. Det er også et grunnlag for kvalitetssikring av prøvene. Rammeverket definerer formålet med kartleggingsprøver og beskriver prøvenes konstrukt. Det angir felles retningslinjer og psykometriske krav til utforming av prøvene og for rapportering.

Rammeverket skal sikre stabilitet og kvalitet i arbeidet med prøvene. Utdanningsdirektoratet har ansvar for å følge opp og revidere rammeverket på bakgrunn av erfaringer fra prøvegjennomføringer.

Organisering av arbeidet med kartleggingsprøver

Arbeidet med kartleggingsprøver omfatter og involverer flere fagmiljøer med ulike oppgaver og ulike ansvarsområder. Nærmere rolleavklaringer er beskrevet i gjeldende avtaler med institusjoner som skal utarbeide de ulike prøvene og med en ekstern kvalitetssikrer.

Ansvarsfordeling i arbeidet med kartleggingsprøver

Utdanningsdirektoratet skal

• utvikle og gjennomføre kartleggingsprøver på oppdrag fra Kunnskapsdepartementet
• utforme rammeverk forankret i gjeldende læreplanverk
• inngå avtaler med institusjoner som skal utarbeide prøvene og med ekstern kvalitetssikrer
• godkjenne de ferdige prøvene
• utvikle og drifte Utdanningsdirektoratets prøvetjeneste og udir.no
• informere om og administrere gjennomføringen av prøvene, behandle data i henhold til personopplysningsloven og håndtere eventuelle pressehenvendelser

Ekstern kvalitetssikrer skal

• kvalitetssikre konstrukter, oppgaver og oppfølgingsgrenser underveis i prøveutviklingen, samt foreslå nødvendige forbedringer, på grunnlag av tekniske rapporter fra utprøvinger
• kvalitetssikre de endelige prøvene i sin helhet før gjennomføring

Prøveutvikler skal

• utarbeide prøver med tilhørende støttemateriell
• informere om og administrere utprøvinger i prøveutviklingsfasen
• dokumentere arbeidet med prøveutvikling i en teknisk rapport
• analysere data fra gjennomføring og foreslå nødvendige endringer i prøven og i støttemateriellet

Prøvene og tilhørende støttemateriell er Utdanningsdirektoratets eiendom, og kan ikke distribueres uten avtale med Utdanningsdirektoratet.

1 Kommunen er skoleeier for offentlige grunnskoler (opplæringsloven § 13-1). For friskoler er styret det øverste ansvarlige organ (friskoleloven § 5-1).

Kartleggingsprøver på 1. – 3. trinn

Utdanningsdirektoratet utvikler og tilbyr disse prøvene

• Lesing (1. og 3. trinn). Prøven for 1. trinn er frivillig, prøven for 3. trinn er obligatorisk.
• Regning (1. og 3. trinn). Prøven for 1. trinn er frivillig, prøven for 3. trinn er obligatorisk.

Hva skal kartleggingsprøvene måle? – Prøvenes konstrukt

Formålet med kartleggingsprøvene er å finne elever som trenger ekstra oppfølging for å følge forventet progresjon i begynneropplæringen. Det er læreplanverket som er utgangspunktet for hva prøvene skal måle. Forskning om begynneropplæringen er et viktig grunnlag for utvikling av prøvene. Dette er spesielt viktig for prøvene på 1. trinn siden læreplanene ikke har kompetansemål på dette trinnet.

Det overordnede konstruktet for det som måles i kartleggingsprøven er leseforståelse. Leseforståelse er produktet av den tolkningsprosessen vi kaller lesing. Prøvene består av fire delprøver. For første trinn består prøven av delprøver i vokabular, ordlesing, setningslesing og staving. For tredje trinn består prøven av delprøver i ordlesing, vokabular, lesing av tekst og staving. Disse delprøvene er i rådende teorier regnet som premisser for leseforståelse, og er her valgt ut blant en rekke andre slike premisser. Disse er valgt fordi de ut fra analyser viser hvilke oppgaveformater som best predikerer vansker med leseforståelse på senere års trinn.

Lesing på samisk

Felles for kartleggingsprøvene i lesing på samisk for begge trinn og alle tre språkene, er at de utvikles med utgangspunkt i LK20S, altså Overordnet del – verdier og prinsipper for grunnopplæringen og de gjeldende samiske læreplanene for fag. En svært stor andel av elever med samisk som førstespråk følger det samiske læreplanverket. Det er derfor naturlig å ta utgangspunkt i dette. Der vil likevel finnes noen elever som kun har faget samisk som førstespråk, og følger norske læreplaner i de andre fagene.
Prøvene består av tre delprøver: En prøve i vokabular, en prøve i ordlesing og en prøve i setningslesing/tekstlesing.

På 1.- 4. trinn er det matematikkfaget som har hovedansvaret for å utvikle elevenes grunnleggende ferdigheter i regning. I forskningslitteraturen som beskriver grunnleggende kunnskaper og ferdigheter i regning, er det ikke enighet om en enkelt definisjon av disse ferdighetene. Samtidig er det enighet om hva den tidlige matematikkundervisningen bør fokusere på, og noen komponenter går igjen. Disse komponentene kan knyttes til tre overordnede områder: Å telle, tallforståelse og å regne med tall. Det er ingen skarp grense mellom disse områdene. De er tett sammenflettet, overlapper og danner til sammen et viktig grunnlag for å kunne utvikle en mer helhetlig matematisk kompetanse senere i skoleløpet.

Kartleggingsprøven i regning måler elevenes kompetanse i regning i form av de tre områdene.

Å telle

Å telle innebærer å kunne navnene i tallrekka, telle med en-til-en korrespondanse, forstå prinsippene ved ordinalitet og kardinalitet, telle forlengs og baklengs fra et vilkårlig tall og telle grupper.

Tallforståelse

Tallforståelse innebærer å ha kunnskaper om og forståelse av tall og ulike representasjoner av tall, kvantitet og matematiske begreper og symboler. Videre innebærer det å kunne gruppere og dele opp mengder, ha forståelse for tallinja og posisjonssystemet, estimering, sammenligning og sortering, tallmønstre.

Å regne med tall

Å regne med tall innebærer å kunne addere og subtrahere tall ved hjelp av kunnskaper om tall, egne strategier og regnestrategier, og å kunne løse både oppstilte og anvendte problemer.

Reliabilitet og validitet

For at prøvene skal oppfylle formålet med å identifisere elever som kan trenge ekstra oppfølging, må prøvene måle så presist som mulig rundt oppfølgingsgrensen2. Reliabiliteten til kartleggingsprøvene skal estimeres ved hjelp av den betingede målefeilen (CSEM), altså målefeil gitt elevens ferdighetsnivå. Prøvene skal konstrueres slik at den betingede målefeilen i prøvene er så lav som mulig rundt oppfølgingsgrensen.
I tillegg skal den endelige prøvens indre konsistens også rapporteres med en alpha- koeffisient. Det er et krav at alpha-koeffisienten skal være over 0,8.

Prøveutvikler må beregne og begrunne prøvens reliabilitet.

Validitet refererer til i hvilken grad empiriske bevis og teorier støtter en gitt tolkning og en gitt bruk av et prøveresultat. I kartleggingsprøvene vil det innebære en vurdering av om oppgavene i den enkelte prøve kan betraktes som en gyldig tolkning av den grunnleggende ferdigheten som skal måles. Validiteten skal forankres i læreplanverket og i forskning om begynneropplæringen. Prøveutviklerne må empirisk og teoretisk belegge prøvens validitet.

Validering innebærer å samle og evaluere argumenter for og imot en gitt tolkning og en gitt bruk av et prøveresultat. I praksis er validering kvalitetssikring og dokumentasjon som har som mål å underbygge at prøveresultatet er et gyldig uttrykk for hvorvidt eleven har behov for oppfølging. Det finns flere anerkjente modeller som kan brukes i valideringsarbeidet, slik som APA-modellen, Kane (2013) og Bachman & Palmer (2010). Dersom prøveutvikler legger andre modeller til grunn, må dette beskrives og begrunnes i den tekniske rapporten.
Utdanningsdirektoratet stiller også andre krav til prøvenes og oppgavenes kvalitet. Disse er beskrevet i prøvespesifikasjonen for den enkelte prøve.

Noen elever trenger ekstra støtte i opplæringen for å kunne ha tilstrekkelig progresjon i læringsløpet. Dersom det ikke blir satt i verk tiltak tidlig i opplæringsløpet, kan læringsutfordringene utvikle seg og bli forsterket over tid. Oppfølgingsgrensen skal vise hvilke elever som kan trenge ekstra oppfølging. Prøveutvikler beregner grensen for den enkelte prøven og validerer den. Det er viktig at prøveutvikler belegger oppfølgingsgrensen både teoretisk, empirisk og kvalitativt.

Oppfølgingsgrensen er tett knyttet til innholdet i prøvene og beregnes på bakgrunn av en faglig vurdering som gjøres av prøveutvikler. Denne vurderingen skal dokumenteres i teknisk rapport.

Kartleggingsprøvene skal prøves ut før endelig prøve kan godkjennes. Fordi prøvene skal brukes over flere år, er det viktig med god utprøving av både oppgaver og prøven som helhet, slik at resultatene fra utprøvingene er robuste. Dette innebærer at alle oppgaver må prøves ut minst to ganger. Basert på analyser av resultatene fra utprøvingene, utarbeider prøveutvikler forslag til endelig prøve som sluttutprøves. Forslag til endelig prøve skal prøves ut på et utvalg elever som er tilstrekkelig for å sikre at prøven fanger opp riktig andel elever som skal identifiseres.

Utdanningsdirektoratet godkjenner forslag til endelig prøve.

Vedlikehold av prøvene

Prøveutvikler skal vedlikeholde kartleggingsprøvene og tilhørende materiale så lenge dette er i bruk i regi av Utdanningsdirektoratet. Dette innebærer å analysere data fra den årlige gjennomføringen for å sikre at prøvene ikke endrer egenskaper over tid og at oppfølgingsgrensen fortsatt er valid. Prøveutvikler skal også ved behov foreslå og følge opp nødvendige justeringer i prøvene og tilhørende materiale for å opprettholde validiteten og reliabiliteten.

Prøveutvikler skal utarbeide tekniske rapporter til prøvene. Det skal utarbeides to ulike typer rapporter, en hovedrapport og oppfølgingsrapporter.

Hovedrapport

Prøveutvikler skal utarbeide en hovedrapport i forbindelse med utviklingen av prøven. Denne rapporten skal fylle tre funksjoner. Hovedrapporten skal

1. dokumentere prøvens reliabilitet og validitet, oppfølgingsgrensens validitet og prøvens tekniske egenskaper.
2. dokumentere prosessen med å utvikle prøven
3. fungere som grunnlag for dialog mellom prøveutvikler, ekstern kvalitetssikrer og Utdanningsdirektoratet underveis i prøveutviklingsprosessen

Hovedrapporten skal minimum inneholde

• beskrivelse av og begrunnelse for valg av IRT-modell og analyseopplegg
• beskrivelse av både validering (prosessen) og validiteten til prøven. Et minstekrav er at denne redegjør for konstruktrepresentasjonen og validiteten til oppfølgingsgrensen.
• beskrivelse av gjennomføring av og resultater fra alle tidlige utprøvinger
• beskrivelse av gjennomføring av og resultater fra sluttutprøving og forslag til endelig prøve
• analyse av resultater fra første ordinære gjennomføring

De ulike delene som til sammen skal utgjøre hovedrapporten, skal leveres til Utdanningsdirektoratet underveis i prosessen. Tabellen under angir nærmere hva de ulike delene skal inneholde og når de skal leveres. Prøveutvikler skal levere endelig hovedrapport med alle deler etter at prøven er gjennomført som ordinær prøve første gang.

Hovedrapporten skal også inneholde en sammenfattende oversikt over prøven i sin helhet. I denne oversikten skal antall oppgaver inngå, antall elever i utprøving samt nærmere beskrivelse av utvalget, mål for reliabilitet og empiriske sammenhenger med andre delprøver og /eller andre eksterne kriteriemål. Her kan også overgripende problemstillinger knyttet til reliabilitet og validitet inngå.

I et avsluttende avsnitt skal prøveutformer gi noen allmenne vurderinger av prøven, tolkninger av resultatene (ved endelig gjennomføring), samt betraktninger om eventuelle endringer av prøven som kan synes nødvendig.

Oppfølgingsrapport

Skolene skal bruke kartleggingsprøvene over flere år og punkt 3.5 i rammeverket beskriver krav til oppfølging i hele prøvens levetid. Etter hver ny gjennomføring av en prøve, skal prøveutvikler derfor utarbeide en kortere oppfølgingsrapport som oppsummerer analyse av data fra siste gjennomføring. I rapporten skal prøveutvikler også foreslå eventuelle tiltak, dersom analysene viser at det er nødvendig å gjøre justeringer i prøven eller tilhørende materiell for å opprettholde validiteten og reliabiliteten.

Krav til prøveformat

Prøvene er digitale, og prøveutvikler skal utvikle prøvene i det til enhver tid gjeldende prøvegjennomføringssystemet. Skolene skal kunne benytte ulike digitale enheter ved gjennomføring av prøvene.

Krav til støtteressurser

Prøveutvikler skal levere forslag innhold til støtteressurser, og innholdet kvalitetssikres av Utdanningsdirektoratet. Målgruppen for støtteressursene er skoler og lærere som skal gjennomføre prøven og følge opp resultatene.

Støtteressursene skal underbygge resultatvisningen. Resultatvisningen viser kun resultater for de elevene som er under oppfølgingsgrensen.