Bruk av tall og data i skolens kvalitetsvurderingsarbeid

For å gjøre det lettere å vurdere kvaliteten på opplæringen, har skoler og skoleeiere noen felles nøkkeltall om læringsmiljø, elevresultater og frafall/gjennomføring som de kan ta utgangspunkt i. Disse nøkkeltallene kan, sammen med annen informasjon som skoler og skoleeiere har, si noe om kvaliteten på opplæringen.

Tallene i seg selv kan ikke fortelle hele sannheten om hva som skjer på en skole eller i en kommune. De kan gi indikasjoner. Tallene må tolkes i lys av lokale forhold for å få mening. Dette kan for eksempel være informasjon om innsatser på skolen, organisering av opplæringen og endringer i elev- og lærersammensetningen. 

På grunn av personvern prikkes en del resultater basert på få besvarelser. Derfor har små skoler og kommuner ofte lite tallgrunnlag. De kan likevel arbeide med kvalitetsvurdering ved å systematisere annen informasjon de har om læringsmiljø, elevresultater og gjennomføring. Annen informasjon på skolene kan være observasjon, intervjuer og logg. På kommunenivå kan det for eksempel arrangeres dialogmøter med politikere, skoleledere, lærer, foreldre og elever.

Formålet med opplæringen er beskrevet i §1-1 i opplæringsloven. I vurderingen av kvaliteten kan det også være naturlig å trekke inn innhold derfra.

Hvilke tall har vi og hvorfor?

Vi har etter hvert mange tall som kan si noe om kvaliteten på opplæringen. Sentralt står resultater fra Elevundersøkelsen, nasjonale prøver, karakterer, grunnskolepoeng, skolebidragsindikator og tall om gjennomføring. I tillegg har skoler og skoleeiere tilgang til andre datakilder, både innsamlet nasjonalt og fra lokale kilder. Datakilder kan for eksempel være resultater fra egne trivselsundersøkelser, ungdataundersøkelser og data som sier noe om oppvekst og levekår. Dette er data som kan ha betydning for elevenes læring.

Kvalitative data som observasjoner, dialogmøter, logg eller intervju gir også nyttig informasjon.

Ulike undersøkelser og prøver

Det hjelper å kjenne til formålet med datainnsamlingen når en skal analysere tallene. Når vi kjenner til formålet, vet vi hva dataene kan si noe om, og hva de ikke kan si noe om.

Utdanningsdirektoratet har ansvaret for gjennomføringen av flere undersøkelser og prøver som du kan lese om:

• Elevundersøkelsen
• Nasjonale prøver
• Kartleggingsprøver
• Brukerundersøkelser

Hvordan jobbe med tall og data?

Drøfte tall- og datagrunnlaget

Tall og data må tolkes for å få mening. Å drøfte og reflektere over hva tall og data viser gir mulighet til å utvikle et felles ståsted som utgangspunkt for skoleutvikling. Legg til rette for drøfting og refleksjon i profesjonsfellesskapet (-ene), i plenum og i mindre grupper.

Forslag til spørsmål:

• Hva er hovedtendensen i resultatene?
• Ser du noen mønstre?
• Hvordan fordeler svarene seg og hva kan eventuelt forklare fordelingen?
• Er resultatene i overensstemmelse med hva du trodde på forhånd?
• Er det forskjell på resultatene mellom trinn, klasser eller grupper? Hva kan forklare disse forskjellene?
• Hva kan resultatene si om skolens praksis? Må dere innhente tilleggsinformasjon for å kunne vurdere hva resultatene sier om praksis?

Hva kan tallene ikke si noe om, og feil bruk av tall

Tall kan gi nyttig informasjon, og de kan brukes som utgangspunkt for mål og å prioritere tiltak. Det er samtidig viktig å være klar over hva tallene ikke forteller og mulig feiltolkning av tall. Tall kan ikke alene si oss hva som er godt nok, og hva som er en forbedring eller forverring av en situasjon. Det er derfor viktig å sammenstille og sammenligne tall over tid, samt se tallene i relasjon til mål og prioriterte tiltak.

Tall forteller ikke noe om hvorfor noe er som det er. Mange faktorer kan påvirke tallene, og det er viktig å undersøke både hendelser, igangsatte tiltak og lignende i analyse av tall.

Det kan være fristende å bortforklare resultater. I arbeid med kvalitetsvurdering er det derimot mer fruktbart å heve blikket, se bort fra hvordan enkelthendelser har påvirket resultatet og heller lete etter mønstre som kan si noe om kvaliteten på opplæringen over tid.

I arbeidet med tall og statistikk er det viktig å være bevisst på hvilke tall som kan sammenliknes og sees i relasjon til hverandre. “Misbruk” av statistikk er ofte et resultat av at vi sammenlikner tall som ikke kan sees i relasjon til hverandre. En kan altså finne korrelasjoner hvor det ser ut som to eller flere tall er påvirket av hverandre, men som ikke nødvendigvis er det. Det er derfor helt essensielt å sammenlikne indikatorer og undersøkelser som kan ha en sammenheng, og ikke sammenlikne tilfeldig til en finner en korrelasjon.

Det er lett å framstille statistikk slik at den ser bedre eller verre ut enn den er. Dette kan eksempelvis gjøres ved å vise deler av en graf eller endre intervallene på x- og y-aksen slik at forskjeller blir seende enten små eller store ut. Les informasjonen i grafer nøye.

Analysekompetanse

Det å jobbe med tall og data kan virke uvant for de som ikke har erfaring med dette fra før. Mange mener de trenger analysekompetanse. Analysekompetanse kan defineres som kompetansen til å kartlegge og analysere informasjon slik at resultatet kan danne grunnlaget for utviklingsarbeid.

Holdninger er en viktig del av analysekompetansen. Ved å stille åpne spørsmål og lete etter nye svar kan analysearbeidet bli mer interessant og nyttig enn om en konkluderer raskt uten å åpne for refleksjon.

Å bevege seg fra tall og annen informasjon til handling som skaper utvikling forutsetter at flere er involvert i å analysere og drøfte sammenhengen mellom resultater og praksis. Alle som deltar, vil utvikle analyse- og vurderingskompetanse og større forståelse for hva som kan være realistiske og hensiktsmessige tiltak for å forbedre kvaliteten på opplæringen. ​

Tiltakene må tilpasses konteksten de skal prøves ut i. Det som fungerer godt i en barnehage eller skole, må tilpasses og gjenskapes før det fungerer andre steder.​ Det må derfor være en løpende diskusjon på skolen om hva som virker og ikke virker, og åpenhet for å feile og lære av feilene.

Statistiske begreper

Tall og data presenteres ofte ved bruk av begreper som kan virke fremmed for mange. I boksen under vil du finne definisjoner på relevante ord i arbeidet med tall og data i skolen.

Antall viser verdien i tall. Dette kan eksempelvis være antall elever eller lærere.

Andel brukes for å vise hvor stor del av totalen informasjonen gjelder. Andel vises i prosent. Dette kan for eksempel vise til andel elever med spesialundervisning eller andel elever som blir mobbet.

Indikator er et mål basert på statistikk som kan si noe om status eller utvikling på et angitt område. Indikatorverdien må ofte sammenlignes med noe for å ha en mening.

Sentraltendens viser hvor hoveddelene av dataene i et datasett befinner seg. Dette kan måles ved bruk av gjennomsnitt eller median.

Gjennomsnitt finner du ved å ta summen av tallene og dele på antallet.

Median viser til den verdien som er i midten etter å ha sortert tallene fra minst til størst.

Spredning er målet på variasjon i dataene.

Standardavvik er mål for spredning av verdiene i et datasett. Det viser til verdienes gjennomsnittlige avstand fra gjennomsnittet. Dette brukes for å vise spredning av resultater. For eksempel hvis alle elevene velger samme svaralternativ i Elevundersøkelsen blir standardavviket null. Jo større standardavvik, jo større spredning er det i elevenes svar.