Tekniske krav til prøvene

Rammeverket presenterer minimumskravene til prøveutviklingen, prøven og enkeltoppgavene. Fagmiljøene må gjerne gjøre ytterligere analyser i tillegg til disse. 

Det skal benyttes item response theory (IRT) i utviklingen av oppgaver og prøven som helhet. Lenking av prøver mellom år og rapportering av resultater skal skje gjennom bruk av IRT- kalibrerings- og skaleringsmetodologi, med ankeroppgaver, skalerte skårer (skalapoeng), og faste mestringsnivågrenser fra år til år. For dikotome oppgaver skal IRT-kalibreringen gjøres med en 2PL IRT-modell. For polytome oppgaver skal en GPCM-modell brukes. 

Validitet

Prøvene skal måle de grunnleggende ferdighetene i lesing, regning og deler av faget engelsk. Det innebærer først en fortolkning av læreplanverkets definisjon av de grunnleggende ferdighetene i lesing og regning og kompetansemålene i faget engelsk. Dette danner grunnlaget for prøvenes konstrukt. Prøveutviklerne skal redegjøre og begrunne hva som testes og hvilke kognitive operasjoner eleven skal foreta for hver oppgave i prøven. Prøveutviklerne skal sikre at resultatene er valide og i tråd med rammeverk for nasjonale prøver.

Reliabilitet

Prøven skal måle elevenes ferdigheter med høy presisjon. Reliabilitet basert på IRT gir et mål på hvor presist prøvene måler en latent ferdighet på ulike ferdighetsnivåer. Høy IRT-reliabilitet indikerer at målingen har lav standardfeil og dermed høy presisjon. I IRT-analyser bruker vi informasjonsfunksjonen som indikator på reliabilitet. I prøveutviklingen skal oppgavesettet analyseres ved hjelp av IRT, og oppgaveinformasjon beregnes for hver oppgave. Prøvens informasjonsverdi er summen av informasjonsverdiene fra alle oppgavene og viser prøvens relative målesikkerhet på ulike deler av ferdighetsskalaen («betinget målefeil»).

Prøveinformasjon påvirkes av egenskaper ved oppgavene og antallet oppgaver. Basert på resultater fra utprøvingene kan man velge oppgaver som har høy informasjon på spesifikke ferdighetsområder. Prøveutviklerne skal etterstrebe tilstrekkelig informasjon rundt mestringsnivågrensene.

Prøvene skal inneholde varierte oppgavetyper. Oppgavene skal kunne skille godt mellom elever på ulike ferdighetsnivåer (a-verdi større enn 0.8), og sørge for at elever kan vise sine ferdigheter på både høyt og lavt nivå (b-verdi mellom –3 og 3). a- og b-verdier kan avvike fra dette, men avvikene skal da dokumenteres. 

Prøvene skal fungere likt for begge kjønn i den grad det lar seg gjøre. Det innebærer at oppgavene så langt som mulig ikke skal ha skjevhet/bias mot gutter eller jenter, gitt den samme underliggende ferdigheten. Hver enkelt anker- og kohortoppgave i oppgavesettet skal på forhånd ha blitt testet for DIF (Differential Item Functioning) for kjønn. Oppgaver med DIF skal helst ikke bli inkludert som kohort- eller ankeroppgave i endelig oppgavesett. Hvis slike oppgaver likevel er inkludert i en prøve, skal DIF balanseres ved å ha likt antall oppgaver som favoriserer hvert kjønn og ha lik vanskegrad. 

Hver enkelt oppgave skal være prøvd ut, slik at vi har tilstrekkelig informasjon om hvordan prøven vil fungere under gjennomføringen. Resultatene og erfaringene fra utprøvingen(e) skal dokumenteres i den tekniske rapporten.

For at utprøvingen skal gi tilfredsstillende innsikt om hvordan oppgavene kommer til å fungere i gjennomføringen har vi følgende krav til utprøvingen. 

• Hver enkelt oppgave i prøven skal ha som målsetning om å ha blitt prøvd ut minst én gang på et utvalg av elever som ideelt sett representerer hele målgruppen for prøven og i minste fall dekker hele spennet i ferdigheten som skal måles (theta mellom -3 og 3). 
• Utprøvingen skal foregå nærmest mulig samme tidspunkt som gjennomføringen, slik at elevene som deltar på utprøvingen og gjennomføringen er omtrent like gamle. 
• Det skal være et tilstrekkelig antall elever som prøver ut hver oppgave.
• Utprøvingen(e) skal ikke være for ressurskrevende for skolene og elevene. Dersom det er mulig, bør utprøving av oppgaver skje under gjennomføringen av prøvene.

Det finnes ulike metoder for hvordan man undersøker om oppgaver har DIF. Det viktigste er at prøveutviklerne vurderer kvalitativt om oppgavene vil fungere likt mellom kjønn. I tillegg til en kvalitativ vurdering skal det også kjøres en statistisk test som kan hjelpe med å identifisere potensielle DIF-oppgaver. Det anbefales å bruke en restriktiv flergruppe-modell som utgangspunkt og DIF-funksjonen i mirt-pakken med likelihood-ratio-test, men det er mulig å benytte seg av andre metoder. Det skal rapporteres hvilken metode som er brukt for å undersøke DIF. Følgende oppgaveegenskaper fra DIF-metoden skal også rapporteres:

• Rapportering av a- og b-parameterverdiene, fra begge kjønn, på oppgavene som indikerer DIF
• Rapportering av oppgavekarakteristikkkurver, fra begge kjønn, på oppgavene som indikerer DIF 
• Rapportering av effect size distribution (ESSD) fra Cohen’s criteria på hver oppgave som indikerer DIF der det er behov:
  • |ESSD| > 0.8: stor DIF
  • |ESSD| > 0.5: medium DIF
  • |ESSD| > 0.2: liten DIF

Dersom det er oppgaver som indikerer medium eller stor DIF mellom kjønn, skal gjennomsnittlig theta (estimert av group mean) for hvert kjønn rapporteres fra partial measurement invariance modellen der alle mellomstore og store DIF-oppgaver estimeres fritt mellom kjønnene.

Prøven skal inneholde et sett ankeroppgaver som gjør det mulig å lenke prøvene mellom år. Slik kan vi observere utvikling i fordeling på mestringsnivåer og endring i gjennomsnitt over tid. Dagens trendmåling startet i 2022. Utdanningsdirektoratet skal i samarbeid med prøveutviklerne redegjøre for hvordan lenkingen av prøver mellom år fungerer i en egen teknisk ankerrapport/notat som utarbeides etter hver gjennomføring av nasjonale prøver.

For å sikre et robust og stabilt anker bør utskiftingen av ankeroppgavene skje jevnlig og gradvis, slik at ikke for store deler av ankeret byttes samtidig. For at ankeroppgavenes skal måle gjennomsnittsferdigheten til elevgruppa godt skal ankeroppgavenes vanskelighetsgrad helst ligge mellom -1 og 1. Ankeroppgavene bør ha høy diskriminering (a-verdi større enn 1). Ankeroppgavene skal ikke ha DIF hverken mellom kjønn eller årskull. Unntak fra disse kriteriene kan forekomme, men skal da dokumenteres. Videre skal det gjennomføres en årlig kvalitativ vurdering av ankeret. Her skal det sikres at oppgavene forblir relevante i en samfunnsmessig kontekst, i tillegg til at ankeret som helhet fortsatt reflekterer det overordnede konstruktet.

For å unngå DIF i ankeret og som et ledd i å sikre et stabilt anker skal hver ankeroppgave prøves ut før den blir tatt i bruk i trendanalysene. Dette gjøres ved at hver ankeroppgave opptrer først ett år som en utprøvingsoppgave, så ett år som ny ankeroppgave under gjennomføringen (estimeres fritt på lik linje som en kohortoppgave i trendestimeringen) før det tredje året fungerer som en ordinær ankeroppgave inn i trendanalysen. 

Den tekniske rapporten inngår som en del av den løpende kvalitetssikringsprosessen av arbeidet med nasjonale prøver. Teknisk rapport skal legge grunnlaget for dialog mellom prøveutvikler, ekstern kvalitetssikrer og Utdanningsdirektoratet. De tekniske rapportene brukes også som kunnskapsgrunnlag i eventuelle evalueringer av nasjonale prøver på sikt.

Den tekniske rapporten skal beskrive og dokumentere hele prøveutviklingsprosessen. Det skal foreligge en rapport fra utprøvingen(e), som inngår som del(er) i den endelige rapporten. Prøveutvikler skal også beskrive utvalget som deltok i utprøvingen(e) og hvordan utprøvingen(e) ble gjennomført. Rapporten skal også beskrive hvilke faglige vurderinger og valg som er blitt gjort underveis i oppgave- og prøveutviklingen. Den tekniske rapporten skal redegjøre for:

• Hvilke(t) analyseverktøy og hvilke metoder for parameterestimering som er brukt
• Mål for prøvesettets reliabilitet/indre konsistens (f. eks. Cronbach's alpha)
• Løsingsprosent for alle elever og for gutter og jenter separat
• Beskrivelser av oppgavenes innhold og relevans (validitet)
  Eventuell DIF mellom kjønn
• Oppgaveformatet til hver oppgave
• Gjennomsnittlig ferdighet for hver distraktor på flervalgsoppgaver
• Hvor på ferdighetsskalaen hver enkelt oppgave er plassert (b-verdier) og hvor godt den diskriminerer (a-verdi) 
• Informasjonsverdien oppgavene har på ulike steder av ferdighetsskalaen
• Prøvens informasjonsverdi i sin helhet

Den tekniske rapporten skal også inneholde en uavhengig ankerrapport der det i tillegg skal redegjøres for: 

• Eventuell DIF mellom prøveår
• Dokumentere at ankeret er samfunns- og tidsmessig relevant
• Dokumentere eventuelle endringer i ankeret
• Summen av informasjonsverdiene fra alle ankeroppgavene