Loading...
Hur utvärderar organisationer sina utbildningar?
Den frågan ställde sig Jack Ahlkvist och David Larsson inför sitt examensarbete på Chalmers Master-program Lärande och ledarskap, som de genomförde i samarbete med Knowly under 2022.
I studien fick 17 organisationer (samtliga kunder till Knowly) besvara hur de idag utvärderar sina utbildningar. Svaren jämfördes sedan med den mer detaljerade data som fanns tillgänglig för de av organisationerna som använde Knowly som sitt primära utvärderingsverktyg.
Studien utgick från utvärderingsramverket Kirkpatrick’s Four Levels of Training Evaluation. Mer om det strax.
Jack Ahlkvist säger såhär om resultaten:
“Resultaten var väntade, men moderna studier på ämnet utvärdering av utbildning på företag är en bristvara. Därför erbjuder våra resultat tillsammans med andra studier inom samma fält ett unikt underlag för att diskutera hur företags utvärderingsvanor påverkar utbildningen som bedrivs.”
För att på ett standardiserat sätt kunna kartlägga hur organisationer utvärderar sina utbildningar krävdes ett ramverk att följa, som de medverkande organisationernas utvärderingsarbete kunde jämföras mot.
Bland de ramverk som finns att tillgå har Kirkpatrick-modellen blivit något av en branschstandard, varför den ansågs bäst lämpad. Kortfattat beskriver modellen fyra nivåer som utbildning kan utvärderas på, där lägre nivåer är hänger tätare samman med själva utbildningsinsatsen, och högre nivåer fokuserar mer på utfallet av insatsen.
Här utvärderas hur deltagarna upplevde själva utbildningen, och vad de tyckte om den. Klassiska frågor av sorten “På en skala från 1-10, hur nöjd är du med den här utbildningen?” hamnar här.
På den andra nivån utvärderas istället vilken kunskap deltagarna faktiskt fått med sig. Olika sorters kunskapstester i slutet av eller efter en utbildningsinsats faller under den här kategorin.
På nivå tre mäts huruvida deltagare faktiskt ändrat sina beteenden som en följd av utbildningen. Här börjar utvärdering endast med hjälp av ett formulär bli mer opålitligt, men självskattning av i vilken grad man applicerar på förhand definierade beteenden kan ändå ge en fingervisning.
Den fjärde och högsta nivån handlar om att mäta utbildningens påverkan på affärskritiska resultat.
Exempel på mätetal: Försäljningsökning, olika välmående-mått i en medarbetarundersökning, kundfeedback.
Här kommer ofta problemet med korrelation och kausalitet in i bilden—var det sommarens högtryck eller vår säljutbildning som ledde till den ökade försäljningen? Det hindrar dock inte att ansatser att mäta görs, där man belyser resultatet sannolikt beror av insatsen, men att 100% kausalitet inte går att garantera.
Lär dig konkreta verktyg för att få er kompetensinsats att leda till beteendeförändring och affärsresultat för organisationen.
Ett frågeformulär skickades till kundorganisationer till Knowly som givit sitt godkännande att delta i studien. I formuläret fick varje organisation besvara frågor om hur de idag utvärderar sina utbildningar.
Varje fråga knöt an till en av Kirkpatricks nivåer och gav exempel på hur just den nivån kan utvärderas i en organisation. Deltagarna fick sedan bedöma själva om de bedrev den sortens utvärdering i sin organisation. De gavs också möjlighet att lägga ut texten om hur de utvärderade respektive nivå i just sin organisation, eller varför de inte gjorde det.
Studien fann att den vanligaste formen av utvärdering är Kirkpatricks nivå 1 - Upplevelse, vilket är i linje med liknande studier på större skala som genomförts tidigare.
Studien svarar inte på varför upplevelse fortfarande är den vanligaste formen av utvärdering, eller varför endast en bråkdel av organisationer utvärderar på nivå 4.
Jack Ahlkvist förklarar att det är lätt hänt att dra slutsatsen att en övervikt mätning av nivå 1 är ett misslyckande, men menar att verkligheten är mer komplicerad än så.
"Tidigare studier som visar på liknande trender har kritiserat utvärdering som mäter Kirkpatricks första nivå, eftersom det också har visat sig att det inte går att bevisa en koppling mellan deltagares upplevelse och deltagares lärande. Jag tror inte att det är så enkelt som att skifta fokus för utbildare och L&D-avdelningar.
Ahlkvist menar att incitamentsstrukturer i organisationer sannolikt är det som leder till tendensen att oftare mäta nivå 1 än något annat: Det som påverkar varje utbildare mest är i de flesta organisationer hur väl hen presterar i klassrummet – inte vilket resultat insatsen leder till för organisationen.
"För att förstå utvärdering måste vi fråga oss vilka siffror det är som utbildare och L&D-avdelningar mäts på. Ställs det verkliga krav på inlärning och transfer?
Eftersom utbildningsdeltagarens upplevelser är det som främst påverkar utbildare i klassrummet är det inte konstigt att upplevelsen också är det som är mest intressant att utvärdera. Effekten av inlärning och transfer syns efter att utbildningen är över, på arbetsplatsen, och kravet på denna typ av utvärdering borde komma från chefer och ledning."
Med andra ord: Att mäta på de högre nivåerna är önskvärt i de allra flesta fall, men ansvaret borde inte falla helt på utbildaren eller utbildningsavdelningen.
För att mätning på de högre nivåerna ska bli av behövs en symbios där ledning och chefer ställer krav och tydliggör förväntningar: Affärsresultat och transfer är vad som kommer att följas upp – inte upplevelse i klassrum. Först då kan enskilda utbildare förväntas ta ett större ansvar för att faktiskt också genomföra utvärderingar på de högre nivåerna.
På Knowly älskar vi att lära om lärande, och att dela med oss av våra kunskaper.
Fyll i din e-post, så hör vi av oss så snart vi publicerar nya artiklar.
.png)
