Rammeverk for kartleggingsprøver

Reliabilitet og validitet

For at prøvene skal oppfylle formålet med å identifisere elever som kan trenge ekstra oppfølging, må prøvene måle så presist som mulig rundt oppfølgingsgrensen2. Reliabiliteten til kartleggingsprøvene skal estimeres ved hjelp av den betingede målefeilen (CSEM), altså målefeil gitt elevens ferdighetsnivå. Prøvene skal konstrueres slik at den betingede målefeilen i prøvene er så lav som mulig rundt oppfølgingsgrensen.
I tillegg skal den endelige prøvens indre konsistens også rapporteres med en alpha- koeffisient. Det er et krav at alpha-koeffisienten skal være over 0,8.

Prøveutvikler må beregne og begrunne prøvens reliabilitet.

Validitet refererer til i hvilken grad empiriske bevis og teorier støtter en gitt tolkning og en gitt bruk av et prøveresultat. I kartleggingsprøvene vil det innebære en vurdering av om oppgavene i den enkelte prøve kan betraktes som en gyldig tolkning av den grunnleggende ferdigheten som skal måles. Validiteten skal forankres i læreplanverket og i forskning om begynneropplæringen. Prøveutviklerne må empirisk og teoretisk belegge prøvens validitet.

Validering innebærer å samle og evaluere argumenter for og imot en gitt tolkning og en gitt bruk av et prøveresultat. I praksis er validering kvalitetssikring og dokumentasjon som har som mål å underbygge at prøveresultatet er et gyldig uttrykk for hvorvidt eleven har behov for oppfølging. Det finns flere anerkjente modeller som kan brukes i valideringsarbeidet, slik som APA-modellen, Kane (2013) og Bachman & Palmer (2010). Dersom prøveutvikler legger andre modeller til grunn, må dette beskrives og begrunnes i den tekniske rapporten.
Utdanningsdirektoratet stiller også andre krav til prøvenes og oppgavenes kvalitet. Disse er beskrevet i prøvespesifikasjonen for den enkelte prøve.

Noen elever trenger ekstra støtte i opplæringen for å kunne ha tilstrekkelig progresjon i læringsløpet. Dersom det ikke blir satt i verk tiltak tidlig i opplæringsløpet, kan læringsutfordringene utvikle seg og bli forsterket over tid. Oppfølgingsgrensen skal vise hvilke elever som kan trenge ekstra oppfølging. Prøveutvikler beregner grensen for den enkelte prøven og validerer den. Det er viktig at prøveutvikler belegger oppfølgingsgrensen både teoretisk, empirisk og kvalitativt.

Oppfølgingsgrensen er tett knyttet til innholdet i prøvene og beregnes på bakgrunn av en faglig vurdering som gjøres av prøveutvikler. Denne vurderingen skal dokumenteres i teknisk rapport.

Kartleggingsprøvene skal prøves ut før endelig prøve kan godkjennes. Fordi prøvene skal brukes over flere år, er det viktig med god utprøving av både oppgaver og prøven som helhet, slik at resultatene fra utprøvingene er robuste. Dette innebærer at alle oppgaver må prøves ut minst to ganger. Basert på analyser av resultatene fra utprøvingene, utarbeider prøveutvikler forslag til endelig prøve som sluttutprøves. Forslag til endelig prøve skal prøves ut på et utvalg elever som er tilstrekkelig for å sikre at prøven fanger opp riktig andel elever som skal identifiseres.

Utdanningsdirektoratet godkjenner forslag til endelig prøve.

Vedlikehold av prøvene

Prøveutvikler skal vedlikeholde kartleggingsprøvene og tilhørende materiale så lenge dette er i bruk i regi av Utdanningsdirektoratet. Dette innebærer å analysere data fra den årlige gjennomføringen for å sikre at prøvene ikke endrer egenskaper over tid og at oppfølgingsgrensen fortsatt er valid. Prøveutvikler skal også ved behov foreslå og følge opp nødvendige justeringer i prøvene og tilhørende materiale for å opprettholde validiteten og reliabiliteten.

Prøveutvikler skal utarbeide tekniske rapporter til prøvene. Det skal utarbeides to ulike typer rapporter, en hovedrapport og oppfølgingsrapporter.

Hovedrapport

Prøveutvikler skal utarbeide en hovedrapport i forbindelse med utviklingen av prøven. Denne rapporten skal fylle tre funksjoner. Hovedrapporten skal

1. dokumentere prøvens reliabilitet og validitet, oppfølgingsgrensens validitet og prøvens tekniske egenskaper.
2. dokumentere prosessen med å utvikle prøven
3. fungere som grunnlag for dialog mellom prøveutvikler, ekstern kvalitetssikrer og Utdanningsdirektoratet underveis i prøveutviklingsprosessen

Hovedrapporten skal minimum inneholde

• beskrivelse av og begrunnelse for valg av IRT-modell og analyseopplegg
• beskrivelse av både validering (prosessen) og validiteten til prøven. Et minstekrav er at denne redegjør for konstruktrepresentasjonen og validiteten til oppfølgingsgrensen.
• beskrivelse av gjennomføring av og resultater fra alle tidlige utprøvinger
• beskrivelse av gjennomføring av og resultater fra sluttutprøving og forslag til endelig prøve
• analyse av resultater fra første ordinære gjennomføring

De ulike delene som til sammen skal utgjøre hovedrapporten, skal leveres til Utdanningsdirektoratet underveis i prosessen. Tabellen under angir nærmere hva de ulike delene skal inneholde og når de skal leveres. Prøveutvikler skal levere endelig hovedrapport med alle deler etter at prøven er gjennomført som ordinær prøve første gang.

Hovedrapporten skal også inneholde en sammenfattende oversikt over prøven i sin helhet. I denne oversikten skal antall oppgaver inngå, antall elever i utprøving samt nærmere beskrivelse av utvalget, mål for reliabilitet og empiriske sammenhenger med andre delprøver og /eller andre eksterne kriteriemål. Her kan også overgripende problemstillinger knyttet til reliabilitet og validitet inngå.

I et avsluttende avsnitt skal prøveutformer gi noen allmenne vurderinger av prøven, tolkninger av resultatene (ved endelig gjennomføring), samt betraktninger om eventuelle endringer av prøven som kan synes nødvendig.

Oppfølgingsrapport

Skolene skal bruke kartleggingsprøvene over flere år og punkt 3.5 i rammeverket beskriver krav til oppfølging i hele prøvens levetid. Etter hver ny gjennomføring av en prøve, skal prøveutvikler derfor utarbeide en kortere oppfølgingsrapport som oppsummerer analyse av data fra siste gjennomføring. I rapporten skal prøveutvikler også foreslå eventuelle tiltak, dersom analysene viser at det er nødvendig å gjøre justeringer i prøven eller tilhørende materiell for å opprettholde validiteten og reliabiliteten.

Krav til prøveformat

Prøvene er digitale, og prøveutvikler skal utvikle prøvene i det til enhver tid gjeldende prøvegjennomføringssystemet. Skolene skal kunne benytte ulike digitale enheter ved gjennomføring av prøvene.

Krav til støtteressurser

Prøveutvikler skal levere forslag innhold til støtteressurser, og innholdet kvalitetssikres av Utdanningsdirektoratet. Målgruppen for støtteressursene er skoler og lærere som skal gjennomføre prøven og følge opp resultatene.

Støtteressursene skal underbygge resultatvisningen. Resultatvisningen viser kun resultater for de elevene som er under oppfølgingsgrensen.