Kuva: Miikka Pirinen / Sitra

Sitran vaikuttavuusarvioinnin johtava asiantuntija ja Suomen Arviointiyhdistyksen hallituksen asiantuntijajäsen Katri Vataja kuvaa blogissa, millaista vuorovaikutusta hyödyllinen ja laadukas arviointi edellyttää. Kirjoitus pohjautuu esitykseen Tilintarkastuksen ja arvioinnin symposiumissa Tampereella 14.6.2019.

Arviointi on murroksessa. Maailman kompleksisuus vaatii niin arvioijalta kuin tilaajilta aivan uudenlaisia rooleja ja vuorovaikutusta. Perinteisesti etenkin tilivelvollisuutta palvelevissa arvioinnissa arvioija on nähty etäisenä tarkkailijana, ikään kuin riippumattomuuden ja objektiivisuuden takaamiseksi. Kehittävissä arvioinneissa arvioijalla on ollut ”lupa” tulla lähelle arvioinnin kohdetta, kulkea rinnalla kriittisenä ystävänä. Todellisuudessa arviointi palvelee vain harvoin yhtä tarkoitusta tai yleisöä. Väitänkin, että kaikissa arvioinneissa tarvitaan yhä enemmän rakentavaa vuorovaikutusta eikä vuoropuhelun määrä kerro arvioinnin objektiivisuudesta ja riippumattomuudesta. Arvioinnin onnistuminen varmistetaan tilaajan ja toteuttajan arviointiosaamisella ja eettisten periaatteiden toteutumisella.

Mitä monimutkaisempi arviointi, sitä enemmän tarvitaan vuorovaikutusta

Olennaista vuorovaikutuksen luonteen kannalta on se, mitä arvioinnilta odotetaan. Millaista arvoa arvioinnin tulisi tuottaa ja kenelle? Arvioinnin tilaaja määrittelee yleensä toimeksiannossa arvioinnin tehtävän ja tarkoituksen. Ilmiöstä kuitenkin riippuu, kuinka tarkkarajaisesti arviointi voidaan etukäteen määritellä.

Perinteisessä asetelmassa arviointi kohdistuu tiettyyn projektiin tai ohjelmaan ja ennalta-asetettuihin yhteisesti jaettuihin tavoitteisiin ja mittareihin. Yhä useammin näin ei kuitenkaan ole.

Kun vastassa on viheliäisiä ongelmia ja joko arvioinnin kohteessa, toimintaympäristössä tai molemmissa on kompleksisia piirteitä, tarvitaan aktiivista vuoropuhelua eri osapuolten kesken arvioinnin rajojen määrittelemiseksi. Kompleksinen toiminta ei ole staattista ja siten ikään kuin “valmista arvioitavaksi” samaan tapaan kuin jokin interventio, jolla on selkeä alku ja loppu.

Koska monimutkaisia tai kompleksisia ilmiötä ei ole mahdollista arvioida läpikotaisin, on tehtävä valintoja. Parhaimmillaan se tapahtuu vuorovaikutteisesti arvioinnin eri osapuolten kesken. Arviointiasetelmassa on määriteltävä, mitä ja miten kannattaa arvioida, ja missä kohtaa ja millaista joustavuutta arvioinnin aikana tarvitaan. Arvioitavan toiminnan tavoitteet, toimenpiteet ja onnistumisen kriteerit voivat elää toimintaympäristön mukana.

Eettiset periaatteet tukevat arvioinnin onnistumista

Arviointiosaamisen merkitystä arvioijan integriteetin ja arvioinnin laadun ja hyödynnettävyyden kannalta ei voi liiaksi korostaa. Korkeatasoinen arviointi edellyttää osaamista niin tilaajalta, toteuttajalta kuin arvioinnin hyödyntäjiltäkin.

Mutta miten tunnistaa arvioinnin laatu ja luotettavuus? Entä jos tilaajan ja toteuttajan käsitykset laadusta poikkeavat toisistaan? Arvioinnin eettiset periaatteet kuvaavat hyviä käytäntöjä ja mitä arvioinnilta tulee ja voi vaatia. Vaikka tilaajan ja toteuttajan välisessä sopimuksessa määritellään toimeksiannon keskeiset elementit, ei kaikesta ole mahdollista etukäteen sopia.

Arvioinnin osapuolilta voi kuitenkin edellyttää sitoutumista arvioinnin eettisiin periaatteisiin, joista myös Suomen Arviointiyhdistyksellä on suosituksia. Niitä ovat määritelleet lisäksi esimerkiksi American Evaluation Association ja UK Evaluation Society ja ne tarjoavat käytännöllisiä laatukriteerejä läpi koko arviointiprosessin. Esimerkiksi liittyen arvioinnin johtopäätöksiin, jotka tulee voida jäljittää evidenssistä, tai arvioinnin tulosten raportointiin, jotka tulee viestiä siten, että ne ovat hyödyllisiä sidosryhmille, käyttäen lähestyttävää kieltä ja selkeää visualisointia ja grafiikkaa.

Hyödyllisyyden periaate ohjaa arvioinnin toteuttamista

Arviointimanagerin (joka voi olla arvioinnin tilaaja) tehtävänä on edistää arvioinnin hyödynnettävyyttä toimimalla tulkkina ja matkaoppaana, sillanrakentajana ja kirittäjänä. Tulkkia ja matkaopasta tarvitaan arvioinnin toteuttajien perehdyttämiseksi arvioinnin tarkoitukseen ja arvioitavaan toimintaan sekä kokoamalla tietoa arvioinnin tueksi ja koordinoimalla yhteistyötä. Asiavirheet tai toiminnan heikko tuntemus romuttavat helposti tiedon hyödyntäjien luottamuksen.

Jotta arviointi tuottaa relevanttia tietoa, on pystyttävä selkeästi kommunikoimaan sille asetetut toiveet ja odotukset. Millaista tietoa tarvitaan päätöksentekoon, strategiseen johtamiseen tai kehittämiseen? Ei ole myöskään realistista olettaa, että arviointitieto itsestään välittyisi osaksi päätöksentekoa. Arvioinnin managerointi on aktiivista vuoropuhelun paikkojen tunnistamista ja foorumien luomista arvioinnin toteuttajien ja potentiaalisten hyödyntäjien välillä. Kirittäjänä toimiessaan arviointimanageri varmistaa arvioinnin laadun – tämä on arvioinnin tilaajan ja toteuttajan yhteinen tavoite.

Voitaisiinko muuten keksiä suomenkielinen termi kuvaamaan evaluation managementia?

Mitä arviointi voisi oppia tilintarkastukselta?

Arvioinnin alkujuuret juontavat tilintarkastuksen ja auditoinnin parista, mutta mitä tämän päivän arviointi voisi oppia tilintarkastukselta yhteistyön ja vuorovaikutuksen näkökulmasta?

Ainakin sen, että tilintarkastus perustuu pitkäjänteiselle kumppanuudelle ja vakiintuneille käytännöille. Tilintarkastukselle varataan kohdeorganisaatiolta riittävästi aikaa ja resursseja ja vastuuhenkilöiden on oltava tilintarkastajien käytettävissä ja tarjottava tietoa tilintarkastuksen tarpeisiin. Vaikka tilintarkastuksessa operoidaan numeroiden kanssa, myös siinä tietyt olettamukset vaativat yhteistä avaamista. Tilintarkastuksessakaan yhteistyö ei vaaranna riippumattomuutta ja integriteettiä, vaan jopa edellyttää sitä. Pidetään siis huoli, että jatkossa niin arvioijat kuin tilaajat panostavat arvioinnissa vuorovaikutukseen, osaamisen kehittämiseen sekä rahallisiin resursseihin. Vain näin voimme saada arviointia kehitettyä vastaamaan nykymaailman ja tulevaisuuden haasteisiin. Nostetaan yhdessä arviointi uudelle tasolle!