Esimiesvalmennuksen vaikuttavuuden mittaaminen ei ole helppoa, mutta lupaavia tapoja on jo olemassa.

Esimiesvalmennuksen vaikuttavuuden mittaaminen ei ole helppoa, mutta lupaavia tapoja on jo olemassa. Loppupelissä esimiesten kehittäminen näkyy viivan alla. Tulos asettaa isot vaatimukset valmennettavan omalle esimiehelle.

Moni esimiesvalmennuksiin tutustunut on miettinyt, onko niistä oikeasti mitään hyötyä. Valmennus saattaa tuntua mukavalta, hyödylliseltäkin, mutta löytyykö lupausten lunastamiseksi oikeita laskelmia?

Kun tutkimuksia alkaa tosissaan tonkia, osumia löytyy yllättävän vähän. Usein yrityksen johdolle tuntuu riittävän näppi-tuntuma siitä, että kehittämisellä saadaan parannuksia aikaan. Todellisuudessa esimerkiksi konkreettisia ROI-lukuja lasketaan äärimmäisen harvoin.

Teoriassa johtamisen kehittämisen vaikuttavuutta on helppo arvioida. Otetaan iso joukko esimiehiä, järjestetään heille kehittämisohjelma ja sen jälkeen mitataan tulokset. Mutta millä vaikuttavuutta sitten pitäisi mitata?

Vastaus ei ole ihan niin suoraviivainen kuin luulisi. Tulokset eivät ole harvinaisia siksi, että ihmiset olisivat laiskoja tai epä-rehellisiä. Kysymys on yksinkertaisesti siitä, että kehittämisen vaikutusten mittaaminen on osoittautunut yllättävän hankalaksi.

Hauskalla valmennuspäivällä ei pötkitä pitkälle

Yksi tapa jäsentää ongelmaa ovat niin sanotut Kirkpatrickin portaat. Ensimmäisen kerran jo vuonna 1959 esitelty malli toimii edelleen hyvin. Kirkpatrick jakaa ongelman neljään eri tasoon: subjektiivinen palaute, oppiminen, käyttäytyminen ja tuottavuus. Jokaiselle on olemassa oma mittari.

Helpoin vaihtoehto tutkia asiaa on jakaa osallistujille välitön palautelomake. Tällaisessa lähestymistavassa on kuitenkin se ongelma, että se ei kerro välttämättä mitään todellisista tuloksista. Se voi kertoa ainoastaan hauskasta valmennuspäivästä, jonka vaikutus haihtuu nopeasti.

Seuraava vaihtoehto on tutkia sitä, mitä esimiehet ovat todella oppineet. Jos voidaan osoittaa, että esimiesten tietomäärä on kasvanut – muutenkin kuin heidän omasta mielestään – ollaan jo oikeilla jäljillä. Erityisesti asiantuntijatyössä substanssiosaamisen lisääminen voi kasvattaa paljonkin tiimin tuottavuutta.

Jos voidaan osoittaa, että esimiesten tietomäärä on kasvanut – muutenkin kuin heidän omasta mielestään – ollaan jo oikeilla jäljillä.

Yksi kysymys jää silti ilmaan: miten voidaan luvata, että hankittu tieto siirtyy oikeasti käytäntöön? Psykologiassa on tiedetty jo pitkään, että tieto ei muutu toiminnaksi ilman sopivia edellytyksiä. Esimiehen tietomäärä ei ole mikään tae siitä, että hän olisi myös hyvä esimies. Täytyy siis siirtyä seuraavalle tasolle.

Seuraava askel: onko esimiesten toiminta ohjelman jälkeen oikeasti muuttunut? Jos valmennusohjelma systemaattisesti parantaa esimerkiksi saatua 360-palautetta, on sillä jo mahdollisuus maksaa hintansa takaisin. Täytyy siis tutkia asiaa käyttäytymisen tasolla.

Käyttäytymisen mittaamiseen liittyy kuitenkin tiettyjä käytännön ongelmia. Usein kehittämisohjelma nostaa siihen osallistuneiden rimaa ja odotuksia korkeammalle, joten arviot eivät ihan helposti parane. Ja jos vain esimiesten oma arvio toiminnastaan paranee, ei siitä ole pitkäksi aikaa iloa.

Mutta jos myös esimiesten saamat 360-alaisarviot paranevat, on se aina positiivinen indikaattori. Alaisten parantunut työtyytyväisyys liittyy todistettavasti suoraan tuottavuuteen (Voorde, Pauuwe, Veldhoven, 2009), joten nyt aletaan jo nousta lähelle kohti viimeistä tavoitetta, ROIn mittaamista.

Tulokset viivan alle – mutta miten?

Kuten aina, viimeisin askel on kaikkein haastavin. Jotta voidaan väittää, että kehittämisestä on hyötyä, pitäisi tulosten näkyä ennemmin tai myöhemmin viivan alla. Tällainen tulos osoittaisi, että esimiesten kehittäminen tuo enemmän rahaa kuin vie.

Jos haluaisi olla oikein perusteellinen, pitäisi löytää lisääntyneen tuottavuuden lisäksi myös oikeat syy-seuraussuhteet. Toisin sanoen pitäisi osoittaa, että parempi taloudellinen menestys olisi seurausta nimenomaan esimiesten kehittämisestä eikä esimerkiksi markkinatilanteen yleisestä paranemisesta tai muusta ulkopuolisesta tekijästä.

Ei siis ihan helppo tehtävä. Käytännössä sellaisia tutkimuksia, joissa valmennuksen tuottavuus on todistettu ja mekanismi sen takana avattu, ei tietääkseni ole vielä olemassa. Mutta hyviä hypoteeseja ja lupaavia löytöjä on jo muutamia.

Erinomaisia tuloksia

Eräs kunnianhimoinen tutkimus löytyy USA:sta, jossa American Express selvitti suuren valmennusohjelman vaikutusta 2 000 esimiehensä tuottavuuteen. Osallistujat jaettiin kolmeen eri ryhmään sen mukaan, kuinka kattavan valmennuspaketin kukin sai.

Pelkistetyin tapa osallistua oli web-pohjainen portaali, jossa henkilön kehittyminen jäi enimmäkseen omalle vastuulle. Toisena vaihtoehtona oli yhden tai kahden päivän mittainen seminaari, jossa ei ollut erillistä web-osiota, vaan tuki saatiin lähinnä valmennus-seminaarin aikana. Kolmas ryhmä sai yhdistelmän kahdesta edellisestä metodista, jota vielä täydennettiin jälkeenpäin tehtävällä yhteenvetotilaisuudella.

Esimiehiä oli mukana kaikilta organisaatiotasoilta. Vaikuttavuuden mittauskehikkona käytettiin Kirkpatrickin mallia. Edellä mainitun neljän askeleen lisäksi tutkittiin lisäksi subjektiivisesti havaittua tuottavuuden lisääntymistä.

Tulos oli hyvin selkeä. Kun tutkittiin esimiesten subjektiivista tyytyväisyyttä ohjelmaan tai oppimisen määrää, eroja ei juuri ollut. Jokainen kolmesta ryhmästä antoi hyvän palautteen. Tällä tasolla siis ryhmiä ei voinut sen suuremmin erottaa toisistaan.

Käytännössä siis jokainen valmennustyyppi oli rahallisesti kannattava sijoitus, katsoo sitä sitten tuottojen lisääntymisen tai investoinnin takaisin-maksun kannalta.

Käyttäytymisen muuttumisessa alkoi näkyä selvempiä eroja. Pelkkä online-osallistuminen tuotti parannuksen 32 prosentille, kun taas vahvin valmennusohjelma paransi 51 prosentin tuloksia. Kakkosryhmä, valmennus-
seminaari, jäi näiden väliin 42 prosentilla.

Ylintä Kirkpatrickin tasoa eli rahamääräistä tuottavuutta tutkittiin myyntituloksesta lasketun ROI:n avulla. Tällä tasolla ryhmien ero oli suuri. Online-valmennuksen ROI oli 923 prosenttia, valmennusseminaarin 972 prosenttia ja yhdistelmän peräti 1 599 prosenttia!

Osaltaan erot selittyvät erilaisten valmennusohjelmien kustannuksilla, mutta myyntituloksissa näkyy täsmälleen sama linja. Käytännössä siis jokainen valmennustyyppi oli rahallisesti kannattava sijoitus, katsoo sitä sitten tuottojen lisääntymisen tai investoinnin takaisin-maksun kannalta.

Kolme tekijää selittää parannuksen

Kun vielä erikseen tarkasteltiin sitä, mitkä asiat ovat suurimpia selittäjiä valmennuksen hyötyjen realisoitumisen kannalta, nousi esiin kolme keskeistä tekijää. Jokainen näistä auttaa ymmärtämään, miksi joidenkin valmennus-ohjelmien hyödyt saavutetaan ja toisten taas ei.

Ensinnäkin osallistujalla on oltava tapaamisia oman esimiehensä kanssa, joissa keskustellaan siitä, kuinka valmennuksen tuloksia voi hyödyntää omassa roolissa käytännössä. Toisekseen osallistujan oman esimiehen on ilmaistava selvästi tukensa valmennusohjelmalle. Ja kolmanneksi osallistujan tulee saada tunnustus tai palkinto siitä, että hän on osallistunut valmennusohjelmaan. Havainto asettaa luonnollisesti isot vaatimukset myös valmennettavan omalle esimiehelle.

American Expressin tulos on hämmästyttävän hyvin linjassa aikaisempien tutkimusten kanssa, joissa on tutkittu coachingin ja tavallisen luokkahuoneopetuksen tuottavuuseroja (Olivero, Bane, Kopelman, 1997). Tässä otoksessa koehenkilöinä oli 31 julkisen sektorin lääkäriesimiestä. Mukana molemmissa vaiheissa oli monia subjektiivisia mittareita sekä tietoja mittaava koe.

Objektiivisena kriteerinä käytettiin tiimeissä täytettyjen potilastietolomakkeiden määrää ja laatua. Tuottavuus koulutuksella nousi 22,4 prosenttia, coachingilla 88 prosenttia yli vertailutason. Näiden tasojen ero oli pienestä otoksesta huolimatta tilastollisesti merkitsevä.

Kun tutkittiin tarkemmin, mistä ero voisi aiheutua, löytyi selittävänä tekijänä nimenomaan siirtovaikutuksen mahdollistuminen teoriasta käytäntöön. Kirjoittajien mukaan coachingin olennaiset komponentit, jotka auttavat realisoimaan sen hyödyt, ovat seuraavat:

  1. tavoitteen asettaminen 
  2. yhdessä tehty ongelmanratkaisu
  3. harjoittelu
  4. palaute
  5. oman esimiehen sitoutuminen
  6. lopputuloksen arvioiminen
  7. julkinen esitys

Nämä tekijät auttavat selittämään sen, miksi coachingin lisäarvo verrattuna luokkahuoneopetukseen on niin suuri. Varsinkin oman esimiehen sitoutuminen ja tulosten yhteenveto muistuttavat kovasti niitä asioita, jotka nousivat esiin myös American Expressin tutkimuksessa.

Takaisinmaksun aika

Pikku hiljaa alkaa näyttää siis siltä, että kehittämisen hyödyt ovat kiistattomia. Mitä vuoro-vaikutteisempi prosessi ja mitä suurempaa on oman esimiehen tuki, sen vahvemmin investointi maksaa itsensä takaisin. Kun tietyt ennakkoehdot täyttyvät, valmennuksen tuotto on aina suurempi kuin siihen uhrattu rahamäärä.

Kun tietyt ennakkoehdot täyttyvät, valmennuksen tuotto on aina suurempi kuin siihen uhrattu rahamäärä.

Psyconissa hyötyjä on lähdetty tutkimaan uudenlaisilla palautejärjestelmillä, joissa sovelletaan Kirkpatrickin porrasmallia. Jatkossa tarkoitus on selvittää jokaisen oman valmennusohjelmamme vaikuttavuus tavalla tai toisella. Parhaimmillaan tämä mahdollistaisi sen, että valmennusohjelman ROI osattaisiin jatkossa kertoa jo etukäteen.

Muutama asiakkaamme onkin jo antanut palautetta uudella järjestelmällä, ja tulokset ovat lupaavia. Tässä suhteessa aina kuitenkin voi parantaa, joten otamme mielellämme vastaan myös hyviä ehdotuksia aiheeseen liittyen.

Kirjoittanut: Mikael Nederström