Rammeverk for kartleggingsprøver på 1.-4. trinn

Del III Krav til prøvene og gjennomføring

Prøvene skal utformes i tråd med metodiske krav i dette rammeverket. Oppgavene skal baseres på kompetansemål i læreplanen. Hensynet til fastsettelse av bekymringsgrense skal være førende for prøvekonstruksjonen.

3.1 Validitetskrav

Validitet handler her om i hvilken grad prøvene (og hver av de eventuelle delprøvene) virkelig måler de ferdighetene prøvene skal måle. Der det er flere delprøver, med tilhørende bekymringsgrense, må det påvises at disse faktisk måler forskjellige ting.

En viktig del av validitetsspørsmålet kan bare besvares i lys av læreplanen sammen med en fagdidaktisk analyse av hva ferdighet innen faget består av. Et viktig spørsmål her er forholdet mellom kompetansemålene og de grunnleggende ferdighetene, slik disse er beskrevet for hvert av fagene. I prøveutformingen er det spesielt viktig å ta hensyn til de ferdighetene som er av kritisk betydning for videre faglig progresjon. 

3.2 Reliabilitetskrav

Hver prøve, og delprøve (der man opererer med slike), skal oppfylle reliabilitetskrav. Reliabiliteten forteller her om prøvens pålitelighet som kartleggingsverktøy. Høy reliabilitet viser at prøvens resultater bare i liten grad er et produkt av tilfeldigheter i prøvens oppgavesett. Dette blir ofte uttrykt med en såkalt alfa-koeffisient, som bestemmer hvor stor måleusikkerhet vi må regne med ved bestemmelse av enkeltelevers ferdighet. 

Det er et krav at alfa-koeffisienten ikke skal være under 0,8 og ønskelig at den er høyere enn 0,85. En verdi på 0,85 forteller at 85 % av variansen (som representerer den informasjonen samlevariabelen gir oss) er sann varians, mens resten (15 %) er feilvarians. For å oppnå høy reliabilitet er det viktig med mange oppgaver som i rimelig grad støtter opp under hverandre. For hver oppgave skal det være slik at de elevene som svarer riktig på oppgaven, skårer høyere på prøven enn de som svarer galt. For kartleggingsprøvene er det i tillegg viktig at det for hver oppgave diskrimineres godt mellom de som havner over og under bekymringsgrensen.

3.3 Bekymringsgrense

Bekymringsgrensen på kartleggingsprøvene fastsettes etter førstegangs gjennomføring, og legges til den poengsummen som skiller ut de 20 % svakeste prestasjonene på landsbasis. Prøvene skal konstrueres slik at de diskriminerer godt rundt denne grensen. Enkeltoppgaver der andelen riktige svar (såkalte p-verdier) ligger under 50 %, vil i liten grad bidra til å diskriminere rundt bekymringsgrensen og anses derfor uegnet. De fleste oppgavene bør ha p-verdier i området 70-90 %.

3.4 Oppgavetyper

Det er veldig viktig at oppgaver ikke måler for mye av andre ting enn det prøven er ment å måle. For eksempel skal oppgavene i lesing inneholde minimalt med skriving, og oppgavene i regning skal inneholde minimalt med lesing og skriving (utover skriving og lesing av tall). Fri skriving (ut over ett ord eller noen tall) skal ikke forekomme. Oppgaver som krever skjønnsmessig vurdering fra lærerens side skal unngås.

3.5 Krav til pilotering

Pilotering av kartleggingsprøver innebærer både oppgavepilotering (utprøving av enkeltoppgaver), og en prøvepilotering (utprøving av en konstruert prøve bestående av forhåndspiloterte oppgaver). 

I oppgavepiloteringen bør det i alt prøves omtrent dobbelt så mange oppgaver som man trenger i den endelige prøven. Dette er nødvendig for å kunne velge ut oppgaver med høy teknisk kvalitet som til sammen dekker det prøven er ment å dekke. Det er viktig at oppgavene som beholdes diskriminerer godt, og at p-verdiene i hovedsak ligger i området 70-90 %.

Etter oppgavepiloteringen setter man sammen en prøve av passende lengde der man balanserer reliabilitetskrav mot tidsomfang. Denne avveiingen må også foretas for eventuelle delprøver.

Prøvene må kunne gjennomføres innenfor en avgrenset tidsramme, og de må være enkle å administrere, vurdere og rapportere.

Det er vesentlig at den sammensatte prøven diskriminerer godt blant de elevene som har lave ferdigheter. Selv om ikke bekymringsgrensen fastsettes ved pilotering skal resultatene fra den sammensatte prøven tydelig vise i hvilket grenseområde denne kommer til å ligge. For at dette skal realiseres, er det viktig at prøvepiloteringen gjennomføres på et egnet utvalg.

I motsetning til nasjonale prøver skal ikke kartleggingsprøver lages på nytt hvert år, og dette setter ekstra krav til god utprøving.

3.6 Krav om teknisk rapport

Til hver enkelt prøve skal det utformes en teknisk rapport av prøveutformer til Utdanningsdirektoratet som angir analysedata for oppgavene i form av for eksempel p-verdi og mål for diskriminering, samt mål for reliabilitet og validitet. Den tekniske rapporten skal omhandle informasjon om både oppgave- og prøvepiloteringen og den endelige gjennomføringen av prøven.

Den tekniske rapporten skal redegjøre for: 

  • P-verdiene (oppgavenes vanskelighetsgrad på en prosentskala) totalt og for jenter og gutter separat.
  • En sammenligning av kjønnsforskjellene blant elever som skårer under og over bekymringsgrensen. 
  • Oppgavenes DIF-mål (mellom kjønn) med totalpoeng som kriteriemål der det er mulig.
  • Oppgavenes diskrimineringsevne skal også angis via en korrelasjon mellom resultat på oppgaven og totalpoeng (høyere en 0,25). 
  • Hver oppgaves diskriminering i forhold til bekymringsgrensen skal beregnes på følgende måte: p-verdi for hver oppgave skal beregnes separat for hver av de fem kvintilene (henholdsvis laveste 0-20 prosent av skårene (p[0-20]), de neste 20-40 prosent av elevene (p[20-40]) osv.). Et kriterium for god diskriminering rundt bekymringsgrensen er at differansen mellom de to laveste kvintilene (p[20-40] og p[0-20]] bør være høyere enn 0,15 og helst høyere enn 0,25. 
  • I tillegg skal p-verdi-differansen mellom alle tilgrensende kvintiler beregnes, og p(20-40) - p(0-20) skal være større enn p-verdi differansene mellom andre naboliggende kvintiler i fordelingen. Tilsvarende bør beregnes for oppgaveklynger som utgjør en naturlig enhet, eksempelvis for sider i kartleggingsprøven i regning.
  • Dersom sammenheng mellom oppgave og et eksternt kriterium er tilgjengelig, skal dette også rapporteres. 

I tillegg skal den tekniske rapporten inkludere en egen kolonne for merknader om de enkelte oppgavene og med særskilte merknader om valg av innhold. Det skal også finnes en kolonne for omtale av valg av oppgaveformat. Hver enkelt prøve skal illustreres med eksempler på oppgavetyper. 

Rapporten skal også inneholde en sammenfattende oversikt over prøven i sin helhet. I denne skal antall oppgaver inngå, antall personer i pilotering, mål for reliabilitet og empiriske sammenhenger med andre delprøver og /eller andre eksterne kriteriemål. Her kan også overgripende problemstillinger knyttet til reliabilitet og validitet inngå. 

I et avsluttende avsnitt skal prøveutformer gi noen allmenne vurderinger av prøven, tolkninger av resultatene (ved endelig gjennomføring), samt betraktninger om eventuelle endringer av prøven som kan synes nødvendig.

Teknisk rapport skal være en del av dokumentasjonsgrunnlaget for dialog mellom prøveutformer, ekstern kvalitetssikrer og Utdanningsdirektoratet. De tekniske rapportene vil også kunne utgjøre et grunnlag for eventuelle evalueringer av arbeidet med kartleggingsprøvene på sikt.

Eksempel på oppsett for teknisk rapport
Prøve Trinn Oppg. Svar alt. p-verdi Pdiff, kjønn Pdiff, kjønn, over/under bekymrings-grensen DIF Rxy Mål Kommentarer
Lesing (eks) 1 2 a (.80) (.10) (.05)   (.36) (forstå) (høy validitet)

Forklaring til tabell

Hver oppgaves vanskelighetsgrad angis i form av p-verdi (prosent riktige svar), samt forskjeller mellom kjønnene. I tilfeller der DIF mål beregnes, angis de i neste kolonne (DIF angir forskjeller mellom kjønnene under en forutsetning av at de har samme prestasjonsnivå, noe som bestemmes ut fra totalpoeng). Videre angis hver oppgaves diskrimineringsevne, denne beregnes i form av korrelasjon mellom oppgave og totalpoeng og skal alltid være positiv (og høyere enn .25 på kartleggingsprøver). I de to siste kolonnene angis hvilket mål oppgaven kartlegger og en kommentar om oppgavens innholdsvaliditet. Denne siste omtales spesielt der det kan forekomme ulike oppfatninger blant lærere og /eller eksperter på området.

Eksempel på sammenfattende tabell

Prøve Leseforståelse  
Trinn 2  
Antall elever i prøvingen 243  
N (antall oppgaver i prøven) 26  
Gjennomsnitt 15.50  
Standardavvik 6.5  
Realibilitet 0.87  
Rxy (en eller flere sammenhenger med andre delskalaer og/eller andre relevante kriterier) 0,50 En annen delprøve i utprøvingen

3.7 Krav om analyserapport

Etter hver prøvegjennomføring skal prøveutformere samle inn materiale til analyserapport. Denne rapporten skal sendes til Utdanningsdirektoratet i forbindelse med revidering av prøvene.

3.8 Krav til prøver på papir

Prøvene skal forelegges til godkjenning av Utdanningsdirektoratet i god tid før trykking etter avtalt framdriftsplan. Oppgaveformatene for samtlige prøver skal trykkes under en felles mal og felles layout bestemt av Utdanningsdirektoratet. Prøvenes utforming skal utvikles i henhold til avtale mellom Utdanningsdirektoratet og prøveutformer.

3.8.1 Krav til elektroniske prøver

Prøvene skal utvikles og ferdigstilles i PGSC etter avtalt framdriftsplan og innenfor rammen av gjeldende oppgaveformater i henhold til avtale mellom Utdanningsdirektoratet og prøveutformer. Det skal i tillegg utvikles et sett med eksempeloppgaver for å gjøre eleven fortrolig med oppgaveformatene i prøven.

3.9 Krav til veiledningsmateriell

Prøveutformer leverer manus med illustrasjoner til veiledningsmateriell for lærere som skal gjennomføre prøven. Veiledningen skrives i henhold til avtale mellom Utdanningsdirektoratet og prøveutformer. Utdanningsdirektoratet er ansvarlig for å publisere veiledningen og gjøre nødvendige tilpasninger. Veiledningen skal være på inntil 25 sider og følge Utdanningsdirektoratets maler for veiledningsmateriell. Veiledningen skal være strukturert i tre deler: før, under og etter gjennomføring av prøven. Den siste delen skal fokusere på hvordan resultatene skal tolkes og følges opp.

Fant du det du lette etter?

0/250
0/250

Tusen takk for hjelpen!