Millaista toimintaa arviointi on? Mikä toiminta on arviointia ja mikä ei? Tästä asiasta ei ole ollut yksiselitteistä näkemystä valtionapuviranomaisten ja valtionavustuksen hakijoiden keskuudessa, joten valtionavustustoiminnan kehittämis- ja digitalisointihankkeen yhteydessä tehdyssä käsitetyössä selvitettiin arviointiin liittyvää kielenkäyttöä.
Valtionavustukset ovat harkinnanvaraista julkista rahoitusta, jolla edistetään yhteiskunnallisesti tärkeinä pidettyjä päämääriä. Valtionapuviranomainen ei itse vastaa päämääriä konkreettisesti edistävästä muutostoiminnasta, vaan sitä toteuttaa jokin toinen taho, jolle viranomainen myöntää rahoitusta. Siksi valtionapuviranomaisen on äärimmäisen tärkeää hahmottaa, millainen muutos sen myöntämien valtionavustusten avulla on mahdollisesti saatu aikaan. Tätä muutosta, ja valtionavustuksella rahoitettavan toiminnan osuutta siinä, pyritään ymmärtämään arvioinnin avulla. Arvioinnilla valtionapuviranomainen pyrkii varmistamaan, että myönnetyillä valtionavustuksilla edistetään niiden käyttötarkoituksen mukaisia asioita. Arviointi kuuluu valtionavustustoiminnan eri vaiheisiin, ja siitä on myös sääntelyä.
Arvioinnin käsitteitä selviteltiin asiantuntijahaastatteluissa, arviointia koskevista oppaista, asiantuntija-artikkeleista ja valtionavustusten yhteydessä käytetyistä puhetavoista. Näiden havaintojen pohjalta valmisteltiin määritelmiä ja termisuosituksia, joita työstettiin käsitetyöpajoissa yhdessä valtionavustustoiminnan ja arvioinnin parissa työskentelevien asiantuntijoiden kanssa.
Arviointi ja sen tarkoitus
Aineistosta nousi esille kaksi erilaista tapaa hahmottaa arvioinnin tarkoitus. Arviointia pidetään ensinnäkin toiminnan seurausten syntytapaa tulkitsevana ja ymmärtävänä työnä. Arvioinnin avulla on mahdollista ymmärtää sitä, miten asiat tapahtuivat ja miksi ne tapahtuivat kyseisellä tavalla. Toiseksi arviointia on tapana hyödyntää toiminnan ja sen seurausten arvottamiseen. Tällöin selvitetään toiminnalla aikaansaatuja muutoksia suhteessa odotuksiin, kuten ovatko toiminnan seuraukset riittäviä suhteessa valittuun arviointikriteeriin.
Valtionavustustoiminnan käsitetyössä päätettiin olla tekemättä valintaa sen välillä pyritäänkö arvioinnilla tulkitsemaan ja ymmärtämään kohdetta vai pyritäänkö sillä arvottamaan kohdetta. Sen sijaan arvioinnin määritelmä sisältää molemmat näkökulmat: se on toimintaa, jossa tuotetaan laadullinen tulkinta kohteesta. Näin määriteltynä arviointi voi olla toimintaa, jossa tulkitaan kohteen – esimerkiksi jonkin tapahtumaketjun – luonnetta, mutta yhtä lailla se voi olla toimintaa, jossa tulkitaan kohteen laadukkuutta eli arvotetaan sitä.
Käsitetyössä todettiin myös, että mittaamisella ja seurannalla tarkoitetaan usein arviointia, mikä sekä vaikeutti näiden termien käyttöä muussa niille varatussa merkityksessä että hämärsi arvioinnin merkitystä. Määritelmien avulla rajattiin mittaamisen ja seurannan merkityksiä niin, että ne rajautuvat selvästi suhteessa arviointiin. Tällöin käsitteitä ja termejä voidaan käyttää yksiselitteisesti ja erottaa ne toisistaan. Mittaaminen on toimintaa, jossa tuotetaan kohteen määrällistä ominaisuutta kuvaava lukuarvo ja seuranta on puolestaan toimintaa, jossa kerätään ja järjestetään kohteen tilan kehittymistä kuvaavaa tietoa.
Arvioinnin sipuli
Arviointi on inhimillistä toimintaa, johon liittyy suuri määrä suunnittelua, ohjaamista, valmistelua, järjestämistä ja tulosten esittelyä. Eri puhujat kuvaavat näitä toiminnan eri tasoja vaihtelevasti. Valtionavustustoiminnan käsitetyössä toiminnan tasojen muodostama kokonaisuus nimettiin arvioinnin sipuliksi.
Arvioinnin sipulin käsittely oli käsitetyössä kiinnostavaa ja hyödyllistä siksi, että sen avulla päästiin käsiksi arviointi-sanan monimerkityksisyyteen ja sen purkamiseen. Arvioinnilla voidaan tarkoittaa muun muassa:
- Organisaation johdon käynnistämää arviointiprojektia, johon kuuluu kaikki toiminta johdon kokouksista työpajoihin ja tulosten tulkintaan.
- Tiedonkeruuta, tietojen analysointia ja tulkintojen tekemistä sekä näiden toteutukseen liittyvien valintojen tekemistä tai käytännön järjestelyjä.
- Tiedonkeruuta, tietojen analysointia ja tulkintojen tekemistä.
- Tietojen analysointia ja tulkintojen tekemistä.
Eräitä tasoja käytännön arviointiprojektissa.
Oli välttämätöntä valita joitain arvioinnin monista tasoista määriteltäväksi ja tarkemmin nimettäväksi.
Arvioinnin tarkoitusta ja siihen kytkeytyviä ylätason valintoja kuvaavien käsitteiden avulla valtionapuviranomaisten ja valtionavustuksen hakijoiden on mahdollista sopia yksiselitteisesti siitä, kuka arvioi, mitä ja miksi. Sanastossa tästä käsitteiden joukosta puhutaan arviointikehyksenä, koska käsitteiden avulla määritellään toteutettavan arviointiprosessin keskeiset puitteet.
Sanastossa esitettävien käsitteiden tarkoituksena on mahdollistaa arvioinnin kuvaaminen niin, että voidaan sopia esimerkiksi tavasta, jolla valtionavustuksen myöntäjä tai saaja arvioi toimintaa ja sen vaikutuksia tai jolla organisaation johto määrittelee arviointiprosessin tavoitteet ja kuvaa nämä tavoitteet keskustelussa ulkopuolisen arviointiasiantuntijan kanssa. Keskeisimpiä käsitteitä ovat arvioinnin tarkoitus, arviointikysymys, arviointialue ja arvioinnin kohde.
Arvioinnin tarkoituksen avulla on mahdollista kuvata se, millaiseen käyttöön arviointiprosessin tuotokset tulevat ja kuka on arviointiprosessin tuotosten käyttäjä.
Arviointikysymyksen avulla kuvataan sitä, mitä arvioinnin kohteesta halutaan tietää tai ymmärtää, jotta arviointi täyttää tarkoituksensa. Arviointikysymykset eivät ole esimerkiksi niitä kysymyksiä, joita arviointiprosessin aikana kysytään esimerkiksi arvioinnin kohteena olevan organisaation jäseniltä.
Arviointialue viittaa arvioinnin kannalta olennaiseen yhteen kuuluvien asioiden kokonaisuuteen tai aihealueeseen. Sen avulla kuvataan yleisellä tasolla se, mitä arvioinnissa tarkastellaan.
Arvioinnin kohde tarkoittaa sitä arviointialueelta täsmennettyä kohdetta, joka valitaan arvioitavaksi. Kun arvioinnin kohde on määritetty, pystytään sen avulla muotoilemaan arviointikysymyksiä.
Lisäksi arvioinnin käytännön toteutusta varten määriteltiin käsitteitä, joiden avulla on mahdollista erotella ja kuvata arviointiin liittyvää toimintaa sekä siihen tarvittavat roolit ja resurssit.
Arviointiprosessi-käsitettä ja termiä tarvitaan silloin, kun on kyse nimenomaan arvioinnin suunnitelmallisesta toteutuksesta prosessina, johon sisältyy erilaista toimintaa: arviointiprosessin toteutuksen suunnittelua, arviointitarkastelun lähtötietojen koostamista, arviointitarkastelua tai arviointivastausten saattamista käyttöön.
Arviointiprosessin valmistelu -käsitteellä saadaan kuvattua toiminta, jossa määritetään arviointikehys sekä arviointiprosessin resursointi, roolit ja vastuut.
Arviointitarkastelu-termiä käytetään silloin, kun toiminta keskittyy nimenomaan arviointitarkastelun lähtötietoihin perehtymiseen ja niiden analysointiin, tulostietojen tuottamiseen ja tulkitsemiseen sekä arviointivastausten aikaansaamiseen. Tästä saatetaan puhua ”varsinaisena arviointina”.
Samoilla peruskäsitteillä on mahdollista kuvata roolit riippumatta siitä, millaista arviointimenetelmää käytännössä sovelletaan. Vaikka arviointiprosessiin on määritelty kuuluvaksi esimerkiksi arviointitarkastelun lähtötietojen koostaminen, käsitteistö ei ota kantaa siihen, tuotetaanko lähtötiedot esimerkiksi työpajassa yhdessä henkilöstön kanssa vai kerääkö ulkopuolinen asiantuntija ne rekistereistä tai tietokannoista.
Arviointikäsitteet julkaistu
Valtionavustustoiminnan kehittäminen ja digitalisointi -hankkeessa tehdyssä käsitetyössä pyrittiin tunnistamaan ja kuvaamaan erityisesti valtionapuviranomaisen ja valtionavustuksen hakijan väliseen vuorovaikutukseen tarvittavia yhteisiä käsitteitä. Työssä valmistuneet arvioinnin käsitteet sisältyvät keväällä 2023 julkaistuun Valtionavustustoiminnan sanaston 2. laajennettuun laitokseen. Sanasto löytyy PDF-muodossa Valtosta sekä Valter-termipankista, TEPA-termipankista ja Yhteentoimivuusalustalta.
Hankkeen käsitetyöstä sanastojulkaisuun päätyneiden käsitteiden lisäksi arviointiprosessien organisointiin ja arvioinnin käytännön toteutukseen liittyy paljon muitakin käsitteitä, joiden määritteleminen ei ollut mahdollista tai tarpeellistakaan tässä työssä. Muidenkin kuin tässä käsiteltyjen arviointikäsitteiden määritteleminen auttaisi kuitenkin arviointiprosessien toteuttamiseen liittyvän osaamisen levittämistä eri toimijoiden kesken, ja siksi voikin pitää toivottavana, että tällaiseen työhön jossain vaiheessa ryhdytään.
