Blogg: Hvordan måles resultater av arbeid med utdanning?

Nytenkning rundt måling av resultater i utdanning.
En blogpost av Kabira Namit

De siste tiårene har utdanningsprosjekter i det globale sør, drevet frem av bekymring for en alarmerende læringskrise [1] [2]og forverret av en global pandemi, prioritert å forbedre læringsutbyttet som det overordnede prosjektmålet.[3] Det kan se ut til at alle utdanningstiltak, enten de er ledet av Verdensbanken, UNICEF eller internasjonale frivillige organisasjoner, har som mål å påvise en statistisk signifikant forbedring av læringsutbyttet målt ved hjelp av standardiserte evalueringer.

 

Read in English:  The RAISE Framework – by Kabira Namit

 

Selv om slike målinger er verdifulle, fanger de bare opp en brøkdel av hva som kan defineres som kvalitetsutdanning. Jeg har jobbet med effektevalueringer i utdanningssektoren i over ti år, og er overbevist om at givere og myndigheter i det globale sør må utvide fokuset sitt til å prioritere andre kritiske indikatorer som er avgjørende for den langsiktige «helsen» til et utdannings-økosystem: bevaring, tilstedeværelse, interesse og sosioemosjonell utvikling (RAISE). En slik helhetlig tilnærming er avgjørende for å kunne utvikle utdanningssystemer som ikke bare forbedrer de akademiske prestasjonene, men som også fremmer elevenes generelle trivsel og utvikling.

 

Begrensningene ved kortsiktige læringsresultater

 

Den nåværende modellen for vurdering av utdanningsprogrammer legger ofte vekt på å måle kortsiktige læringsutbytter, som evalueres over en periode på 12 til 24 måneder. Denne tidsrammen er diktert av de forståelig nok rigide strukturene i typiske prosjektevalueringer: baseline, midline og endline. Dette snevre fokuset kan imidlertid føre til misvisende resultater.

 

Utdanningsteknologi kan for eksempel bidra til å øke elevenes engasjement og interesse for skolen, spesielt i utfordrende miljøer. [4]  Når elevene synes skolen er spennende på grunn av innovasjoner som e-laboratorier, er det mer sannsynlig at de deltar regelmessig. På lang sikt vil et slikt innovativt prosjekt sannsynligvis føre til mindre frafall, mindre fravær og mindre læringsfattigdom, selv om det ikke umiddelbart gir seg utslag i bedre prøveresultater i løpet av prosjektets levetid.

 

Dessuten tar det tid å integrere nye innovasjoner i en klasseromskultur. Lærerne må tilpasse seg en ny undervisningsmetode, og det kan ta enda lengre tid før disse tilpasningene gir seg utslag i konkrete forbedringer i læringsresultatene. Når barn som tidligere har vært fraværende eller ikke har gått på skolen, kommer tilbake til skolen, kan det dessuten hende at de innledende prestasjonene deres forsinkes etter hvert som de tar igjen det tapte, noe som kan gi skjeve kortsiktige resultater (i studier som ikke følger bestemt fra baseline til endline).

 

Utfordringene ved å måle effekten av utdanning

 

Det er viktig å innrømme at det i seg selv er utfordrende å måle læringsutbytte. Vi måler ikke slike forbedringer i sterile omgivelser. Det finnes ikke noe reagensrør. Det finnes ikke noe begerglass. Det er ofte tøffe omgivelser – fra regionale konflikter som fører til nedleggelse av skoler til flytting av lærere og elever mellom skoler.

 

De standardiserte vurderingene vi holder fast ved – EGRA, EGMA, IDELA eller ASER, for å nevne noen – krever relativt komplekse instrumenter som må tilpasses den lokale konteksten gjennom gjennomtenkte og deltakende workshops. Hvis dette ikke blir gjort, eller hvis de som fyller ut skjemaene, ikke samler inn data nøyaktig og ved hjelp av nøyaktig de samme protokollene som ved baseline, eller midtlinjemålingen, er det ganske lett å få betydelige målefeil i vår forståelse av læringsutbyttet.

 

Disse komplekse forholdene gjør det nødvendig med et bredere og mer langsiktig perspektiv når vi skal måle resultater i utdanning.

 

Videre fra lese-, skrive- og regneferdigheter: RAISE-rammeverket

 

For å virkelig fange opp effekten av utdanningstiltak på lang sikt, må vi se videre fra kortsiktige lese-, skrive- og regneferdigheter. RAISE-rammeverket – oppmøte, tilstedeværelse, interesse og sosioemosjonell utvikling – gir en mer omfattende forståelse av suksess i utdanningen. De to første faktorene er også mindre utsatt for støy enn læringsutbytte, og de er enklere å måle.

 

1. Bevaring: Å holde elevene på skolen til de fullfører utdanningen, og å forhindre at sårbare elever dropper ut, bør være en kritisk indikator på suksess. En manglende reduksjon i frafallet kan oppheve alle kortsiktige gevinster i læringsutbytte og er fortsatt en kritisk utfordring i de fleste land i det globale sør.[5]

 

2. Fremmøte: Regelmessig fremmøte er en grunnleggende forutsetning for læring. Programmer som lykkes med å holde elevene på skolen, har allerede gjort betydelige fremskritt, selv før man tar hensyn til testresultater. [6] Slike suksesser bør følges nøye og feires!

 

3. Interesse og engasjement: Når elevene er interesserte og engasjerte i det de lærer, er det mer sannsynlig at de deltar aktivt i læringen. Dette engasjementet er avgjørende for å skape en kjærlighet til faget, for siden å velge et mer komplekst lærestoff [7]og for livslang læring.

 

4. Sosio-emosjonell utvikling: Utdanning handler ikke bare om akademiske ferdigheter. Med inntoget av kunstig intelligens er sosioemosjonell utvikling, inkludert ferdigheter som motstandsdyktighet, empati og teamarbeid, avgjørende for elevenes generelle vekst og fremtidige suksess. [8]

 

 

Veien videre: En oppfordring til bredere beregninger og longitudinelle studier

 

For å virkelig forstå og forbedre utdanningsresultatene, må vi ta i bruk bredere målemetoder og innlemme langsgående  studier som ikke avsluttes brått med en prosjektslutt. Ved å ta hensyn til bevaring, fremmøte, interesse og sosioemosjonell utvikling kan vi fange opp hele spekteret av utdanningseffekter, fra umiddelbar involvering til langsiktig oppbevaring og sosioemosjonell vekst. Dette omfattende perspektivet vil gjøre oss bedre i stand til å identifisere og støtte programmer som utgjør en reell forskjell i elevenes liv, både nå og i fremtiden.

 

Kabira Namit is interested in improving learning outcomes for children in fragile and conflictaffected regions of the world, school health and nutrition programs, combating gender-based violence and supporting children who are dealing with addiction.

His doctoral research focuses on education outcomes for young learners who are addicted to psychoactive and carcinogenic betel quid. Prior to moving to Oxford, where he currently serves as a Clarendon Scholar at the Oxford Department of Education, Kabira was based in Washington DC, USA and worked for the World Bank and Save the Children on impact evaluations, learning assessments and improving the quality of education statistics in twenty-six countries of Sub-Saharan Africa, the Pacific, and the Middle East.

Kabira holds a Master’s in Economics and Public Policy from Princeton University, a Master’s in Development Economics from the School of Oriental and African Studies at London University and an undergraduate degree in Economics and Statistics from St. Xavier’s College, Mumbai.

For this blog post, Kabira Namit would like to thank Catherine Johnston, Kathryn Lee and Ketki Samel for their peer review.

 

 

 

[1]  UNESCO. (2013). Den globale læringskrisen. UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000223826

 

[2]   Verdensbanken. (2018). Verdens utviklingsrapport 2018: Læring for å realisere løftet om utdanning. World Bank. https://elibrary.worldbank.org/doi/abs/10.1596/978-1-4648-1096-1

 

[3]   Popularisert gjennom Verdensbankens strategidokument fra 2011 – «Learning for All: Investing in People’s Knowledge and Skills to Promote Development».  Utdanningsstrategi 2020. Washington, DC: Verdensbanken. Available here: https://pubdocs.worldbank.org/en/418511491235420712/Education-Strategy-4-12-2011.pdf

 

[4]   ADRA (2024), Evaluating E-labs in Niger: Læringsresultater og implikasjoner

 

[5]   Rundt 258 millioner barn og unge går ikke på skole, ifølge UIS-data for skoleåret som ble avsluttet i 2018. Dette omfatter 59 millioner barn i barneskolealder, 62 millioner i ungdomsskolealder og 138 millioner i videregående skolealder. https://uis.unesco.org/en/topic/out-school-children-and-youth

 

[6]   Kassarnig, V., Bjerre-Nielsen, A., Mones, E., Lehmann, S. og Lassen, D. (2017). Klassedeltakelse, jevnaldringslikhet og akademiske prestasjoner i en stor feltstudie. PLoS ONE, 12. https://doi.org/10.1371/journal.pone.0187078.

 

[7]   Köller, O., Baumert, J. og Schnabel, K. (2001). Betyr interesse noe? Forholdet mellom akademisk interesse og prestasjoner i matematikk. Journal for research in mathematics education, 32(5), 448-470. https://www.jstor.org/stable/749801

 

[8] Zins, J., Bloodworth, M., Weissberg, R. og Walberg, H. (2007). Det vitenskapelige grunnlaget som knytter sosial og emosjonell læring til læringssuksess. Journal of Educational and Psychological Consultation, 17, 191-210. https://doi.org/10.1080/10474410701413145.