En av nyckelaktiviteterna för vår syster orgabisationen i Sverige, dvs. Svenska utvärderingsföreningen SVUF (Svenska utätningsföreningen), som grundades 2003, är konferensen som anordnas vartannat år. I år, efter ett långt uppehåll på grund av corona-krisen, samlades en grupp experter från utvärderingsområdet från Norden och övriga Europa igen i Stockholm för gemensamma överläggningar och arbete under temat “Utvärding för ett bättre samhälle”. Evenemanget marknadsfördes som det största utvärdeingsevenemanget i Norden och det fanns flera internationella presentationer på konferensen. Det nordiska perspektivet också var väldigt stark och tydlig: två nordiska paneler anordnades på konferensen, varav den ena diskuterade ett fördjupat samarbete mellan nordiska utvärderingsföreningar och den andra undersökte utvärderingens betydelse för social utveckling och social hållbarhet i de nordiska länderna. I panelen av nordiska utvärderingsföreningar representerades Finlands utvärderingsförbund av författarna till denna blogg, ordförande Mari Räkköläinen och nuvarande styrelsesuppleant Kaisa Lähteenmäki-Smith. I vår artikel undersöker vi seminariets givande särskilt i termer av de aktuella utmaningarna för utvärderingsföreningar och framtida möjligheter för samarbete. Vi försöker också utkristallisera vilka samhälleliga och professionella teman, utmaningar och möjligheter som diskuterades.

Maria Bergström (SVUF), Mari Räkköläinen & Kaisa Lähteenmäki-Smith (SAYFES). Picture SVUF

Avfall är ett vanligt problem – även vid utvärdering

I paneldiskussionerna, liksom i flera av inledningarna till konferensen, uppmärksammades de många grundläggande utmaningar i utvärderingsverksamheten som påverkar vår tid. Såväl information som en väsentlig del av beslutsfattandet, som den nordiska välfärdsstaten med dess strukturer och verksamhetsmetoder baserade på ansvarighet, transparens och kritisk samhällsdebatt kan anses vara i motvind.

Problem med användningen av utvärderingskunskap och information är en del av denna motvind. Under senare år har utvärderingen också präglats av en “skeptisk vändning”, där många nordiska utvärderingsexperter självkritiskt har reflekterat över utvärderingens begränsningar, såsom bristen på tid och uppmärksamhet i upphandlingsorganisationer och hindren för användning och användbarheten av utvärderingsresultat. Dessutom kan orealistiska förväntningar eller kostnader för utvärderingsuppdrag ibland identifieras som begränsningar, när kostnadsmedvetenheten ökar i konjunkturnedgångar. Detta har lyfts fram av flera av utvärderingstänkandets pionjärer, varav några också deltog i konferensen (t.ex. Jan-Eric Furubo & Nicoletta Stame (red.) The Evaluation Enterprise).

Att slöseri kan uppstå – även inom utvärdering – är ingen överraskning i sig, men det är klart att även förbättrad tillgång till utvärderingsinformation ännu inte garanterar att den faktiskt används i riksdagsdebatter och beslutsfattande. Det avfall och underutnyttjande som ofta förekommer i samhällets beslutsfattande är också ett problem vid utvärdering. Öppenheten och lättillgängligheten av information främjar också dess användning, men även i de nordiska länderna är utvärderingskunskapen fortfarande bortkastad. Den offentliga sektorn har redan lärt sig hur man bättre kan beställa utvärderingsuppdrag, men den information som produceras används inte alltid, och särskilt inte i tillräcklig omfattning. Restriktioner som silotänkande är inte lätt att bryta ner och dess användning kan också begränsas av det faktum att utvärdering fortfarande kan betraktas som en teknisk och formell fråga: den är beställd för att den krävs, men dess innebörd och roll är kärnan i systemisk beslutsfattande och vägledning är inte alltid tillräckligt förstådda.

Utvärdering är inte svaret på allt, men det kan säkert vara svaret på många frågor! Utvärdering behövs särskilt för att säkerställa ansvarighet, informationsbas, ansvar och legitimitet, samt för att testa och analysera alternativ och resultat av politiska åtgärder. Konferensen presenterade goda exempel på praxis och arbetssätt som stärker användbarheten och utnyttjandet av utvärderingsinformation. Den välkända metoden “peer review” kan betraktas som ett alternativ som främjar en gemensam förståelse och utveckling av utvärderingsbarhet och utvärderingskriterier. Utvärderaren, som en kritisk vän, förblir en värdefull partner för beslutsfattaren, så länge han eller hon behåller sin oberoende kritiska röst.

Hållbarhet som en epistmisk gemenskap och dess infrastruktur

I flera paneler diskuterades hållbarhetsteman som en gemensam referensram och mål för utvärderingen. Panelen av nordiska representanter övervägde kritiskt om produktionen av information om hållbarhet är tillräcklig och om den nuvarande utvärderingskapaciteten är tillräcklig för att heltäckande ta fram information, stärka kunskapen och bidra till en närmare uppföljning av social hållbarhet och dess trender.

Epistemiska gemenskaper formas av delade metodologiska utgångspunkter och värderingar, vilket bland annat tar sig uttryck i att dela med sig av speciella kunskaper och färdigheter, i sättet att tänka och i debattens retorik. Agendan för hållbar utveckling med SDGs har redan sin egen levande och andande epistemiska infrastruktur. Dess 17 huvudmål ger principerna och vokabulären för det arbete som görs i både den offentliga, privata och tredje sektorn för att lösa hållbarhetsekvationen, på mer än ett sätt (se t.ex. Bandola-Gill, J., Grek, S., Tichenor , M. (2022). Epistemic Infrastructures: SDGs and the Making of Global Public Policy. In: Governing the Sustainable Development Goals). Infrastrukturens byggstenar är informationsinnehåll och sätt att beskriva och förmedla dem som input för en gemensam tolkning (t.ex. checklistor, arbetsböcker, vägkartor och andra liknande instrument för analys).

Å andra sidan inkluderar den epistemiska infrastrukturen också dess samhällsbyggande dimension. Den sociala kunskapsfördelningen är ett gemensamt tema för många olika ömsesidiga beroenden som förbinder experter, beslutsfattare, civilsamhället och aktivister i deras olika roller och nätverk. Här kan utvärderaren fungera som en bro- och nätverksbyggare.

Den tredje dimensionen kan vara ett nytt styrnings- och förvaltningsparadigm, som växer fram som ett systemiskt svar på utmaningarna med fragmenterad infrastruktur och kultur inom styrning. Under den gröna omställningen och hållbarhetskrisen är globala offentliga beslutsprocesser under press, men hållbarhet kan också ge nya verktyg för att bygga nya infrastrukturlösningar. Utöver den gröna omställningen eller dubbla övergången (SDG och digitalitet) som presenterades på konferensen kan SDGs bilda en epistemisk infrastruktur som kan hjälpa till att strukturera förståelsen och kunskapsbasen för utvärdering. Samtidigt skulle vi kunna närma oss en trippel omställning, där delaktighet, och därmed demokratiskt ansvar, skulle fungera vid sidan av den ekologiska och digitala omvandlingen och utvärderingen av dem.

Utvärdering som profession och gemenskap

Den nordiska paneldiskussionen inleds med en omgång av utvärderingsföreningars historia och roll i de fem nordiska länderna. Vikten av den professionella kamratgemenskapen upplevdes som stor i alla fem. I bästa fall är effekten befriande och stärkande, och det anses viktigt att ha en professionell kamratgemenskap där man kan prata om utvärdering på djupet och heltäckande, många hävdar att identiteten “utvärderingsnörd” är sin egen.

I de nordiska länderna har föreningarna en stark grund, Finska utvärderingsföreningen (grundad 1999) är något överraskande den första i sitt slag. Sveriges motsvarande förening grundades 2003, Norges 2009 och Danmarks 2000. Island har för närvarande ingen egen förening, bara en liten grupp utvärderingsexperter, flera av dem inom det utvecklingspolitiska området. Små och fragmenterade samhällen drar särskilt nytta av professionella peer learning-plattformar för utvärderingsgemenskaper, vars användning skulle kunna utökas ytterligare.

Alla föreningar strävar efter att stärka utvärderingskulturen, de tar hand om utvecklingen av utvärderingskompetens och syftar till att främja utvärdering som profession. Å andra sidan erkänner föreningarna också de faror som är förknippade med stränga kvalifikationskrav för utvärderare, vilket kan leda till ensidighet i utvärderingsverksamheten och inskränkning av uppgiften även till slutna samhällen. I värsta fall kan resultatet bli en cykel av inskränkning av utvärderingsförmåga och en försvagning av deras effektivitet. Föreningarna vill erbjuda ett forum som samlar och involverar utvärderingsaktörer från samhällets olika hörn, från offentlig, privat och tredje sektor. De strikta yrkeskraven är inte lämpliga för denna tjänst. Multifunktionella föreningar strävar efter att stärka utvärderingens synlighet i viktiga sociala processer också genom att förespråka databaserat beslutsfattande och politik hos olika partier. Å andra sidan vill utvärderare hålla ett tillräckligt avstånd från politisk kontroll för att garantera utvärderingens oberoende. Gemensamt för dem är tron ​​på betydelsen av utvärderingsgemenskaper i strävan efter bättre samhällen.

Utvärderingar av utbildnings- och utvecklingspolitiken ses ofta som pionjärer för utvärdering i de nordiska länderna. Betydelsen av globala aktörer, internationella standarder och finansiärer i professionaliseringen av utvärdering har varit högre än genomsnittet inom dessa sektorer, vilket skapat ett behov av bland annat ansvarsutvärdering och dess resurser.

Å andra sidan skiljer sig de nordiska länderna åt i fråga om status för bedömning som disciplin och i strukturerna för lärande och utbildning. Även om alla nordiska länder är förenade av betoningen av vissa politikområden inom området för utvärderingsexpertis och marknader, finns det betydande skillnader i vilken typ av akademisk utbildning som är tillgänglig för utvärderare. I Finland finns ingen särskild lärostol för utvärdering och utbildning handlar mer om professionell utveckling eller fortbildning än om att introducera eleverna för utvärderingsområden och till och med vetenskaplig utvärderingsforskning. Högskole- och utvärderingsvetenskapens roll i vetenskapssamhällen och i universitetens och högskolornas värld varierar. Särskilt Danmark och Sverige är länder där utvärdering även undervisas vid universitet och där akademiska lärostolar inom området har etablerats vid universitet.

Alla nordiska utvärderingsgrupper har en gemensam utmaning att förbli relevanta och viktiga. Behovet av att profilera sig i samhällsdebatten och att upprätthålla utvärdering som ett av de forskningsområden där forskning och kunskapsarbete relaterat till samhället och dess omvälvningar bedrivs är vanligt. Med Finlands utvärderingsförbunds nya pris “Årets utvärderingsexamination” vill vi tillsammans med universiteten främja både produktionen av forskningsinformation om utvärdering och stärka kompetensen inom utvärderingsforskning. Med tiden kan detta samarbete också främja utvärderingens status som profession. Finlands Bedömningsförbund synliggör också utvärderingsexpertis genom att tilldela det årliga prisdagspriset för betydande utvärderingsarbete eller livslångt karriär inom utvärdering. Även andra nordiska föreningar har liknande utmärkelser, som synliggör föreningens verksamhet och framhåller utvärderingens speciella roll i samhällsprocesser.

En tidigare europeisk jämförande studie har visat att Finlands ranking bland sina kollegor när det gäller professionalisering av utvärdering försvagas just av bristen på professionell akademisk utbildning, såsom masterprogram i utvärdering, vilket i sin tur påverkar utvecklingen av utvärderingsexpertis. Även om Finland rankas först i institutionaliseringsjämförelsen på andra kriterier, har vi ingen nationell utvärderingslagstiftning eller heltäckande nationell vägledning för utvärderingsverksamhet som skulle vara bindande och som skulle överskrida gränserna för statliga sektorer. I vissa fall ligger Finland också efter de europeiska ledarna när det gäller efterfrågan på och utnyttjande av utvärderingsdata. Även andra nordiska länder brottas ofta med samma utmaningar. (Se Stockmann R., Meyer W., & Taube L. (red.): The institutionalisation of Evaluation in Europe)

Slutsatser för ett närmare framtida samarbete

Nordiska utvärderingsgemenskaper sammanförs av de många utmaningar, till exempel i kunskaps- och informationsanvändning, med avseende på yrkesidentitet och kamratgemenskap, och i globalt relevanta informationsbehov såsom hållbarhet och den gröna omställningen, som var de centrala teman för konferensen.

I de nordiska länderna finns en allmän uppfattning att utvärderingsgemenskaper spelar en nyckelroll både för att stärka utvärderingsmedvetenheten i politiskt beslutsfattande och för att sprida utvärderingens betydelse till allmänhetens medvetenhet. Den gemensamma uppgiften var att främja den nordiska kulturen för demokratisk utvärdering. Tillsammans skulle de nordiska gemenskaperna kunna utvecklas till en modern lärandegemenskap, som också erbjuder vägar för utveckling av utvärderingsförmåga, mentorskap och möjligheter till kamratlärande och gemensam utveckling. Föreningar kan också utarbeta och utforma ett gemensamt uppdrag och vision för att styra deras verksamhet. I paneldiskussionen kom de nordiska föreningarna redan informellt överens om att intensifiera samarbetet och gå samman. Att stärka utvärderingens “nordiska perspektiv” skulle också kunna bidra till att öka effektiviteten i utvärderingen vid lösning av globala utmaningar och den gemensamma hållbarhetskrisen.