Pohjoismaisella yhteistyöllä arviointi yhteiskunnallisen kehittämisen ytimeen

Vuonna 2003 perustetun Ruotsin arviointiyhdistyksen SVUF (Svenska utvärderingsföreningen) keskeisimpiä toimintamuotoja on sen joka toinen vuosi järjestämä konferenssi. Tänä vuonna pitkän koronatauon jälkeen arviointialan moninainen asiantuntijajoukko kokoontui jälleen Tukholmaan yhteisten pohdintojen ja työn äärelle teemana ”Evaluation for a better society” (Utvärdering för ett bättre samhälle). SVUF markkinoi tapahtumaa pohjoismaiden laajimpana arviointitapahtumana. Konferenssissa oli useita kansainvälisiä alustuksia, mutta myös pohjoismainen näkökulma oli esillä vahvasti: konferenssissa järjestettiin kaksikin pohjoismaista paneelia, joista toisessa keskusteltiin pohjoismaisten arviointiyhdistysten yhteistyön syventämisestä ja toisessa tarkasteltiin arvioinnin merkitystä yhteiskunnalliseen kehitykseen ja sosiaaliseen kestävyyteen pohjoismaissa. Pohjoismaisten arviointiyhdistysten paneelissa Suomen Arviointiyhdistystä edustivat tämän blogin kirjoittajat puheenjohtaja Mari Räkköläinen ja nykyisen hallituksen varajäsen Kaisa Lähteenmäki-Smith. Tarkastelemme kirjoituksessamme seminaarin antia erityisesti arviointiyhdistysten ajankohtaisten haasteiden ja yhteistyön tulevaisuuden mahdollisuuksien kannalta. Kiteytämme konferenssin antia myös yhteistyön teemojen ja muotojen kannalta.

Kuvassa Maria Bergström (SVUF) sekä Mari Räkköläinen ja Kaisa Lähteenmäki-Smith Suomen Arviointiyhdistyksestä (SAYFES). Kuva: SVUF

Hävikki on yhteinen ongelma arvioinnissakin

Paneelikeskusteluissa, kuten useissa konferenssin alustuksissakin, todettiin ne ajassamme vaikuttavat monet perustavanlaatuiset haasteet, jotka arviointitoiminnassa kohdataan. Monessa suhteessa vastatuulessa on sekä tieto päätöksenteon olennaisena osana että pohjoismainen hyvinvointivaltio rakenteineen ja tilivelvollisuudelle, läpinäkyvyydelle ja kriittiselle kansalaiskeskustelulle pohjautuvine toimintatapoineen.

Arviointitiedon käytön ongelmat ilmentävät tätä vastatuulta. Viime vuosina arviointia on myös leimannut (toisinaan naiviakin muutosoptimismia edustavan kehitysajattelun sijaan) ”skeptinen käänne”, jossa monet pohjoismaiset arviointiasiantuntijat ovat itsekriittisesti reflektoineet arvioinnin rajoja ja rajoitteita, kuten ajan ja huomion niukkuutta organisaatioissa sekä arvioinnin käytön ja käytettävyyden esteitä. Lisäksi on tunnistettu arviointiin kohdistuvia kohtuuttomia odotuksia ja vaihtoehtoiskustannuksia, kun talouden laskusuhdanteissa niukkuus ja kustannustietoisuus lisääntyvät. Tätä ovat tuoneet esiin erityisesti konferenssissakin alustaneet arviointiajattelun konkarit (esim. Dahler-Larsen, Peter (2019): ”The Sceptical Turn in Evaluation” teoksessa Jan-Eric Furubo & Nicoletta Stame (toim.) The Evaluation Enterprise)

Yhdessä todettiin, että hävikkiä esiintyy. Arviointitiedon saatavuus ei vielä takaa sen hyödyntämistä parlamentaarisissa keskusteluissa ja päätöksenteossa. Yhteiskunnallisessa keskustelussa usein esiintyvä hävikki on ongelma myös arvioinnissa. Tiedon avoimuus ja helppo saatavuus myös edistää sen käyttöä, mutta edelleen Pohjoismaissakin arviointietoa menee hukkaan. Arviointeja on jo opittu paremmin tilaamaan ja teettämään, mutta niiden tuottamaa tietoa ei aina osata käyttää, eikä varsinkaan laajasti hyödyntää. Arviointitiedon käyttö on usein siilomaista eikä hallinnon rajoja juuri ylitetä. Käyttöä saattaa rajoittaa, että arviointi yhä mielletään teknisenä ja muodollisena asiana: se teetetään, koska sitä edellytetään, mutta sen merkitys ja rooli systeemisen päätöksenteon ja ohjauksen ytimessä ei aina hahmotu riittävästi.

Arviointi ei ole vastaus kaikkeen, mutta toki on vastaus johonkin. Arviointia tarvitaan erityisesti niihin tilivelvollisuuden, tietoperustan, vastuullisuuden ja politiikkatoimenpiteiden legitimiteetin ja hyväksyttävyyden tarpeisiin, jotka ovat ajassamme erityisen vahvasti esillä. Konferenssissa esiteltiin hyviä esimerkkejä arviointien käytettävyyttä ja hyödyntämistä vahvistavista käytänteistä ja työtavoista. Tuttu menetelmä, mutta nyt uudelleen esiin noussut vertaisarviointi, esiteltiin tällaisena arvioitavuuden ja arviointikriteerien yhteiskehittämistä edistävänä vaihtoehtona. Vertaisarvioinnilla tai kokemusasiantuntijoiden näkemysten huomioimisella voi myös varmistaa arvioitavan palvelun käyttäjän tai arvioinnin loppuhyödyntäjän äänen kuulumista arvioinneissa. Arvioitsija kriittisenä ystävänä on edelleen päätöksentekijälle arvokas kumppani, ja sitä hän on, mikäli hän säilyy riippumattomana kriittisenä äänenä.

Kestävyys episteemisenä yhteisönä ja sen infrastruktuurina yhdistää

Useissa paneeleissa sivuttiin kestävyyden teemoja arvioinnin yhteisenä viitekehyksenä ja tavoitteistona. Pohjoismaisten edustajien paneelissa pohdittiin kriittisesti, onko tiedon tuottaminen kestävyydestä riittävää ja riittääkö ylipäätänsä nykyinen arviointikapasiteetti tuottamaan kattavasti tietoa sosiaalisesta kestävyydestä ja seuraamaan sen trendejä.

Episteemisiin yhteisöihin muodostuu jaettuja metodologisia lähtökohtia ja arvoja, mikä ilmenee muun muassa erityistiedon ja -taidon jakamisena, ajattelutapana ja käydyn keskustelun retoriikkana. Kestävän kehityksen agenda SDG-tavoitteineen on jo nykyisellään oma elävä ja hengittävä episteeminen infrastruktuurinsa. Sen 17 päätavoitetta tarjoavat periaatteet ja sanaston sille työlle, jota tehdään sekä julkisella, yksityisellä että kolmannella sektorilla kestävyyden yhtälön ratkaisemiseksi, useammallakin tavalla (Ks. esim. Bandola-Gill, J., Grek, S., Tichenor, M. (2022). Epistemic Infrastructures: SDGs and the Making of Global Public Policy. In: Governing the Sustainable Development Goals). Infrastruktuurin rakennuspalikoita ovat tietosisällöt ja tavat kuvata ja välittää niitä yhteisen tulkinnan syötteeksi (esim. muistilistat, työkirjat, tiekartat, mittaristot ja raportit).

Toisaalta episteeminen infrastruktuuri sisältää myös yhteisöllisen ulottuvuutensa. Yhteisöllisyyttä ja tiedon sosiaalista jakautumista ilmentävät ne moninaiset keskinäiset yhteydet ja keskinäisriippuvuudet, jotka yhdistävät asiantuntijoita, päätöksentekijöitä, kansalaisyhteiskuntaa ja aktivisteja heidän eri rooleissaan ja verkostoissaan. Tässä arvioitsija voi toimia sillan- ja verkostonrakentajana.

Kolmas ulottuvuus voisi olla uusi johtamisen ja hallinnan paradigma, joka on nousemassa systeemisenä vastauksena hajanaisen tietoinfrastuktuurin ja johtamisen haasteisiin. Vihreän siirtymän ja kestävyyskriisin olosuhteissa globaalin julkisen päätöksenteon prosesseihin kohdistuu paineita, mutta kestävyys voi myös tarjota uusia välineitä infrastruktuurin rakentamiselle. Konferenssissa esillä olleen vihreän siirtymän tai kaksoissiirtymän (SDGt ja digitaalisuus) lisäksi SDGt voivat muodostaa episteemisen infrastruktuurin, joka voi auttaa jäsentämään arviointien ymmärrys- ja tietopohjaa. Samalla voisimme siirtyä kohti kolmoissiirtymää, jossa vihreän digitaalisen siirtymän ja sen arvioinnin rinnalla vaikuttaisi osallisuuden ja inkluusion, ja siten demokraattisen vastuullisuuden juonne.

Arviointi ammattina ja vertaisyhteisönä

Pohjoismaisessa arviointipaneelissa keskusteltiin arviointiyhdistysten historiasta ja roolista. Ammatillisen vertaisyhteisön merkitys koettiin suureksi. Parhaimmillaan vaikutus on voimaannuttava, ”on vapauttavaa, että on ammatillinen vertaisyhteisö, jossa voi puhua arvioinnista syvällisesti ja monipuolisesti, monet tunnistivat ”arviointinörtin” identiteetin omakseen.

Pohjoismaissa yhdistyksillä on vahvat perustat, Suomen Arviointiyhdistys (1999 perustettu) on hieman yllättäenkin ensimmäinen lajissaan. Ruotsin vastaava yhdistys on perustettu 2003, Norjan 2009 ja Tanskan 2000. Islannissa ei ole omaa yhdistystä, vain kourallinen arviointia tekeviä ammattilaisia, joista useat kehityspolitiikan alueella. Pienet ja hajanaiset yhteisöt hyötyvät erityisesti tällaisista arviointiyhteisöjen vertaisoppimisen alustoista, joiden hyödyntämistä voisi edelleen laajentaakin.

Kaikissa yhdistyksissä on pyrkimys vahvistaa arviointikulttuuria, niissä kannetaan huolta arviointiosaamisen kehittymisestä ja pyritään edistämään arviointia professiona. Toisaalta kuitenkin yhdistyksissä myös tunnistetaan tiukkoihin arvioijan pätevyysvaatimuksiin liittyvät vaarat, jotka voivat johtaa arviointitoiminnan yksipuolistumiseen ja tehtävän kapenemiseen, jopa suljettuihin yhteisöihin. Pahimmillaan seurauksena voi olla arviointiosaamisen kaventumisen kierre ja arviointien vaikuttavuuden heikkeneminen. Yhdistykset haluavat tarjota foorumin, joka kokoaa yhteen ja osallistaa arviointitoimijoita yhteiskunnan eri kulmilta, julkiselta, yksityiseltä ja kolmannelta sektorilta. Tähän tehtävään ei tiukka ammattilaisuusvaade sovi. Monitoimijaiset yhdistykset pyrkivät vahvistamaan arvioinnin näkyvyyttä keskeisissä yhteiskunnallisissa prosesseissa myös puhumalla tietoperustaisen päätöksenteon ja politiikan puolesta eri tahoilla. Toisaalta arvioijat haluavat säilyttää riittävän etäisyyden poliittiseen ohjaukseen arvioinnin riippumattomuuden takaamiseksi. Yhteistä on usko arviointiyhteisöjen merkitykseen tavoiteltaessa parempia yhteiskuntia.

Koulutuksen ja kehityspolitiikan arvioinnit nähdään usein arvioinnin edelläkävijöinä Pohjoismaissa. Globaalien toimijoiden, kansainvälisten standardien ja rahoittajien merkitys arvioinnin ammattimaistumisessa on ollut näillä sektoreilla keskimääräistä suurempi, mikä on luonut tarvetta muun muassa tilivelvollisuusevaluoinnille ja sen resurssoinnille.

Toisaalta Pohjoismaat eroavat sen suhteen, mikä on arvioinnin asema tieteenalana sekä oppimisen ja koulutuksen rakenteissa. Vaikka kaikkia Pohjoismaita yhdistää tiettyjen politiikka-alueiden korostuminen arviointiosaamisen ja -markkinoiden kentällä, merkittäviä eroja on sen suhteen, millaista akateemista koulutusta arvioitsijoille on tarjolla. Suomessa arvioinnille ei ole omaa oppituolia, ja kouluttautumisessa on kyse enemmän ammatillisesta aikuiskoulutuksesta tai täydennyskoulutuksesta kuin perustutkintoja suorittavien johdattamisesta arvioinnin saloihin ja jopa tieteellisen arviointitutkimuksen pariin. Korkeakoulutuksen ja arviointitieteen rooli tiedeyhteisöissä ja yliopisto- ja korkeakoulumaailmassa vaihtelee. Tanska ja Ruotsi erityisesti ovat maita, joissa myös yliopistoissa opetetaan arviointia ja joissa yliopistoihin on perustettu alan oppituoleja.

Kaikilla pohjoismaisilla arviointiyhteisöillä on yhteinen haaste säilyä olennaisena ja tärkeänä. Tarve yhteiskunnallisessa keskustelussa profiloitumiseksi ja arvioinnin pitämiseksi yhtenä niistä tutkimusalueista, joilla tehdään yhteiskuntaan ja sen murroksiin liittyvää tutkimus- ja tietotyötä, on yhteinen. Suomen Arviointiyhdistyksen uudella ”Vuoden arviointigradu” -palkinnolla halutaan yhdessä yliopistojen kanssa edistää sekä tutkimustiedon tuottamista arvioinnista että vahvistaa arviointitutkimukseen liittyvää osaamista. Tämä yhteistyö voi ajan myötä myös edistää arvioinnin statusta professiona. Suomen Arviointiyhdistys tekee arviointiosaamista näkyväksi myös jakamalla vuosittain Arvin päivä palkinnon merkittävästä arviointiteosta tai elämänurasta arvioinnin parissa. Myös muilla pohjoismaisilla yhdistyksillä on vastaavanlaisia palkintoja, joilla tehdään yhdistyksen toimintaa näkyväksi ja painotetaan arvioinnin eritystä tehtävää yhteiskunnallisissa prosesseissa.

Myös aiempi eurooppalainen vertailututkimus on tuonut esiin, että Suomen sijoitusta arvioinnin ammattimaistumisessa heikentää juuri arvioinnin maisteriohjelmien puuttuminen, mikä omalta osaltaan vaikuttaa arviointiosaamisen kehittymiseen. Vaikka Suomi sijoittuu institutionalisoitumisvertailussa kärkeen, meillä ei kuitenkaan ole kansallista arviointia koskevaa lainsäädäntöä tai kattavaa hallinnon sektoreiden rajoja ylittävää kansallista arviointitoiminnan ohjausta. Jäämme myös arviointiedon kysynnässä ja hyödyntämisessä eurooppalaisesta kärjestä. Myös muut pohjoismaat kamppailevat näiden samojen haasteiden kanssa. (Ks. tarkemmin Stockmann R., Meyer W., & Taube L. (toim.): The institutionalisation of Evaluation in Europe)

Johtopäätökset ja yhteisen kehittämisen suunnat

Pohjoismaisia arviointiyhteisöjä tuovat yhteen arviointitiedon hyödyntämisen haasteet, ammatillisen identiteetin ja vertaisyhteisön merkityksen pohtiminen sekä globaalisti olennaiset tietotarpeet kuten kestävyys ja vihreä siirtymä, jotka olivat konferenssin keskeisiä teemoja.

Pohjoismaissa jaetaan yhteisesti näkemys, että arviointiyhteisöillä on keskeinen rooli sekä arviointitietoisuuden vahvistamisessa poliittisessa päätöksenteossa että arvioinnin merkityksen levittämisessä laajan yleisön tietoisuuteen. Yhteiseksi tehtäväksi koettiin pohjoismaisen demokraattisen arviointikulttuurin edistäminen. Pohjoismaiset yhteisöt voisivat yhdessä kehittyä moderniksi oppivaksi yhteisöksi, joka tarjoaa myös arviointiosaamisen kehittymisen polkuja, mentorointia sekä mahdollisuuksia vertaisoppimiseen ja yhteiskehittämiseen. Yhdistyksillä voisi olla osittain jopa yhteinen missio ja visio ohjaamassa toimintaa. Pohjoismaiset yhdistykset sopivatkin paneelissa jo epävirallisesti yhteistyön tiivistämisestä ja voimien yhdistämisestä. Arvioinnin ”pohjoismaisten näkökulmien” vahvistaminen voisi osaltaan myös lisätä arvioinnin vaikuttavuutta ratkottaessa globaaleja haasteita ja yhteistä kestävyyskriisiä.

Linkit seminaariin: https://svuf.nu/ ja sen esityksiin https://svuf.nu/konferens-2022/