Kasvanut tehokkuuden ja tuottavuuden vaatimus sekä niitä tukeva julkishallinnon johtamistapa ovat nostaneet vaikuttavuuden keskeisiksi arvioinnin kriteereiksi julkisella sektorilla ja myös tutkimuksessa. Keskustelu on käynyt kuumana eri medioissa tänä syksynä, kun tutkimukseen suunnatun rahoituksen keskeiseksi perusteeksi on nostettu vaikuttavuus.

Keskusteluissa korostettu vaikuttavuuden vaatimus on ymmärretty monelta osin väärin. Väärinymmärryksen taustalla on kapea ajatus vaikuttavuudesta: yksinkertaistaen se linkitetään kaupallisiin tuotoksiin ja taloudelliseen hyötyyn, vaikka monissa viimeaikaisissa tutkimuksissa vaikuttavuuden on todennettu liittyvän taloudellisen hyödyn rinnalla esimerkiksi puhtaampaan ympäristöön ja kansalaisten hyvinvointiin liittyviin hyötyiin.  Miksi vaikuttavuus ja sen arviointi usein liitetään vain taloudelliseen hyötyyn?

Arviointitoiminta on kehittynyt pitkälti osana tilivelvollisuusraportointia ja siihen liittyvää mittaamista. Sen vuoksi arviointia pidetään usein toimijoiden ja toimenpiteiden olemassaolon oikeuttamisen eli legitimoinnin välineenä. Sen lisäksi arvioinnin avulla pyritään tyypillisesti vakuuttamaan, että julkisia varoja käytetään tarkoituksenmukaisesti, ja että kansalaiset saavat vastinetta maksamilleen veroeuroille. Arvioinneilla kerätään siis usein sulkia oman organisaation hattuun. Niillä pyritään tyypillisesti perustelemaan sitä, miksi organisaation toimintaan tulee laittaa lisää rahaa yhteisestä budjetista.

Julkisten varojen käytön seuraaminen on ehdottoman tärkeää. Legitimoinnin perinteestä kumpuavat arviointikäytännöt ovat kuitenkin vanhanaikaisia, sillä ne perustuvat suoraviivaiseen panos-tuotos-vaikutus -tyyppiseen ajatusketjuun, jossa vaikutukset pyritään osoittamaan konkreettisina numeerisina hyötyinä. Tämän lisäksi arvioinnit ovat tyypillisesti atomistisia, toisin sanoen ne keskittyvät yksittäisten toimenpiteiden, ohjelmien ja organisaatioiden toimintaan. Tällaiset arvioinnit eivät tuota kokonaisvaltaista tietoa eri toimenpiteiden ja toimijoiden yhteisvaikutuksista eivätkä tarkastele vaikutusten syntymistä isojen järjestelmämuutosten kannalta.

Perinteisen arvioinnin haasteita voidaan tarkastella konkreettisesti vaikkapa energiajärjestelmien muutoksen näkökulmasta. Tulevaisuudessa energiajärjestelmistä tulee nykyistäkin monimutkaisempia systeemeitä, jotka rakentuvat uusista teknologioista, niihin kytkeytyneistä palveluista sekä monien eri toimijoiden välisestä vuorovaikutuksesta. Yksi keskeinen muutosta kuvaava trendi on se, että uudet energiatuotannon muodot kehittyvät enenevässä määrin kokonaisratkaisuina, jotka edistävät kuluttajien osallistumista ja tekevät heistä aktiivisia toimijoita. Lisäksi ratkaisujen kehittäminen, käyttöönotto ja levittäminen yhteiskunnallisiksi uudistuksiksi edellyttävät päätöksentekoympäristön ja erilaisten liiketoimintavaihtoehtojen tuntemista laajasti.

Jotta monimutkaisista järjestelmätason muutoksista voidaan saada kokonaisvaltaisempi ymmärrys, ja jotta uudistumista voidaan vauhdittaa, tulee myös niiden kehittämistä tukevan päätöksenteon perustua systeemiseen otteeseen, nykyistä laaja-alaisempaan tietopohjaan ja parempiin arvioinnin ja vaikuttavuuden mittareihin. Tämänhetkinen päätöksenteko perustuu helposti teknis-taloudelliseen ja yksittäisen toimijan roolia koskevaan tietoon. Tällaiset mittarit mittaavat tuotoksia ottamatta huomioon asiakkaalle ja kansalaisille tuotettua lisäarvoa. Nykymuotoisina ne eivät tunnista palveluihin liittyvää aineetonta arvoa eivätkä pysty mittaamaan vuorovaikutteisia ja systeemisiä ilmiöitä. Toisin sanoen esimerkiksi energiajärjestelmien kontekstissa palveluja ja teknologioita integroivien ratkaisujen synnyttämä tuloksellisuus ja yhteiskuntaan laaja-alaisesti kohdistuva vaikuttavuus (esim. monien eri käyttäjäryhmien saama hyöty tai isot järjestelmän muutokset) jäävät nykymittareilla näkymättömäksi. Nämä mittarit myös kannustavat teknologioiden ja tuotteiden kehittämiseen palveluiden tai kokonaisratkaisujen kustannuksella. Pahimmillaan kapea-alainen tieto voi johtaa epätarkkoihin tai jopa tavoitteiden vastaisiin päätöksiin.

Kapeakatseiset, pirstaleiset ja siiloutuneet arviointikäytännöt tulisi päivittää nykyistä moniulotteisemmiksi ja kokonaisvaltaisemmiksi. Tieto tulee virittää havaitsemaan uudistusten systeeminen luonne: Isot järjestelmätason muutokset syntyvät yhdistelmästä erilaisia innovaatioita. Ne tapahtuvat monien eri toimijoiden yhteisvaikutuksesta ja monimutkaisten, pitkäjänteisten prosessien tuloksena. Tuotetun tiedon tulisi olla jatkuvaluonteista, ennakoivaa ja kehittämistä tukevaa, ja se tulisi kytkeä entistä tiiviimmäksi osaksi johtamista ja päätöksentekoa. Tämä parantaisi toimijoiden herkkyyttä ja ennakointikykyä jatkuvasti muuttuvassa toimintaympäristössä ja tukisi sellaisten ratkaisujen kehittämistä, joilla on todellista vaikutusta isojen järjestelmätasoisten ratkaisujen kehittämiseen ja kansalaisten arkeen.

 

Kirsi Hyytinen

Tutkimustiimin päällikkö, VTT Oy