Hankkeiden vaikuttavuuden arviointikehys tukee kehittämishankkeiden suunnittelua, toteutusta ja arviointia koko hankkeen elinkaaren ajan. Työkalu auttaa kohdistamaan arvioinnin hankkeen tavoitteisiin, tuloksiin ja vaikutuksiin sekä tuottamaan tietoa päätöksenteon ja toiminnan kehittämisen tueksi.
Hankkeiden vaikuttavuuden arviointikehys
Julkaistu 30.9.2021
Themes
Arviointi ja vaikuttavuus
Mistä työkalussa on kyse?
Hankkeiden vaikuttavuuden arviointikehys on suunnittelu- ja arviointityökalu, jonka avulla hankkeen arviointi integroidaan osaksi koko kehittämisprosessia. Se auttaa siirtämään arvioinnin painopistettä pelkästä toiminnan ja tuotosten raportoinnista kohti hankkeen aikaansaamien muutosten ja vaikutusten arviointia.
Arviointikehys jäsentää arviointia neljään vaiheeseen:
- hankkeen suunnittelu
- hankkeen toteutus
- hankkeen päättäminen
- hankkeen jälkeinen arviointi ja tulosten hyödyntäminen.
Työkalu soveltuu erityisesti kehittämishankkeisiin, joissa tavoitteena on aikaansaada pysyviä muutoksia toimintaan, palveluihin tai hyvinvointiin.
Mihin työkalua käytetään?
Arviointikehystä voidaan käyttää esimerkiksi:
- hankkeen arvioinnin suunnitteluun
- arviointikysymysten ja mittareiden määrittelyyn
- muutosteorian laatimisen tukena
- arviointiaineiston keruun suunnitteluun
- hankkeen etenemisen seurantaan
- vaikutusten arviointiin
- arviointitulosten raportointiin ja hyödyntämiseen
- hankkeen tulosten juurruttamisen tukena.
Työkalu soveltuu sekä uusien hankkeiden suunnitteluun että käynnissä olevien hankkeiden arvioinnin kehittämiseen.
Miten työkalua käytetään?
Hankkeiden vaikuttavuuden arviointikehys on tarkoitettu kehittämishankkeita suunnitteleville, toteuttaville ja arvioiville rohkaisuksi arvioinnin huomioimiseen ja arviointitoiminnon aloittamiseen. Siitä hyötyvät eniten ne, joille vaikutusten arviointi ei vielä ole arkipäivää ja jotka haluavat tutustua aiheeseen.
1. Suunnittele arviointi
Määritelkää:
- arvioinnin tarkoitus
- arvioinnin käyttäjät
- arvioinnin toteuttajat
- käytettävissä olevat resurssit.
2. Määrittele arvioinnin kohteet
Kuvailkaa:
- ratkaistava ongelma
- kohderyhmä
- tavoitteet
- muutosteoria
- arviointikysymykset
- indikaattorit
- odotetut tulokset ja vaikutukset.
3. Seuraa hankkeen toteutusta
Hankkeen aikana:
- kerätkää arviointitietoa
- toteuttakaa itsearviointia
- seuratkaa tavoitteiden saavuttamista
- arvioikaa toimintaympäristön muutoksia ja riskejä
- toteuttakaa tarvittaessa väliarviointi
- päivittäkää arviointisuunnitelmaa tarvittaessa.
4. Arvioi tulokset
Hankkeen päättyessä:
- analysoikaa kerätty aineisto
- kuvatkaa tuotokset, tulokset ja vaikutukset
- arvioikaa hankkeen vaikutuksia suhteessa tavoitteisiin
- tarkastelkaa mahdollisia syy–seuraussuhteita
- hyödyntäkää tuloksia loppuraportissa.
5. Hyödynnä arviointitietoa
Hankkeen jälkeen:
- jakakaa arviointitulokset eri kohderyhmille
- tukekaa tulosten käyttöönottoa ja juurruttamista
- arvioikaa mahdollisuuksien mukaan vaikutusten pysyvyyttä pidemmällä aikavälillä.
Vinkkejä käyttöön
- Aloita arvioinnin suunnittelu jo hankesuunnitelmaa laadittaessa.
- Huolehdi, että arvioinnille varataan riittävät resurssit.
- Osallista arviointiin hankkeen toteuttajat, kohderyhmät ja muut keskeiset sidosryhmät.
- Kerää arviointitietoa koko hankkeen ajan, älä pelkästään lopussa.
- Hyödynnä arviointituloksia aktiivisesti toiminnan kehittämisessä ja päätöksenteossa.
- Käytä työkalun liitteenä olevaa arviointikehyksen pohjaa arvioinnin suunnittelun tukena.
Vahvuudet
- Jäsentää arviointia koko hankkeen elinkaaren ajan.
- Ohjaa keskittymään toiminnan vaikutuksiin eikä pelkästään tuotoksiin.
- Tukee näyttöön perustuvaa kehittämistä ja päätöksentekoa.
- Auttaa suunnittelemaan arvioinnin systemaattisesti.
- Soveltuu monenlaisiin kehittämishankkeisiin.
- Tukee hankkeiden tulosten juurruttamista ja levittämistä.
Heikkoudet ja rajoitteet
- Vaikuttavuuden arviointi edellyttää suunnittelua, arviointiosaamista ja riittäviä resursseja.
- Pitkäaikaisten vaikutusten todentaminen voi vaatia seurantaa vielä hankkeen päättymisen jälkeen.
- Kaikkia vaikutuksia ei voida yksiselitteisesti liittää juuri kyseiseen hankkeeseen, sillä toimintaympäristössä tapahtuu samanaikaisesti myös muita muutoksia.
- Työkalun hyöty jää vähäiseksi, jos arviointia ei integroida osaksi hankkeen toteutusta alusta lähtien.
Kesto
Arviointikehystä käytetään koko hankkeen ajan suunnittelusta jälkiarviointiin. Yksittäisten arviointivaiheiden kesto riippuu hankkeen laajuudesta ja arvioinnin tavoitteista.
Osallistujamäärä
Arviointiin kannattaa osallistaa hankkeen toteuttajat, kohderyhmät, yhteistyökumppanit, rahoittajat ja muut keskeiset sidosryhmät. Moniääninen arviointi lisää arvioinnin laatua ja hyödynnettävyyttä.
Tarvittavat materiaalit
- hankkeen arviointisuunnitelma
- arviointikehyksen pohja
- arviointikysymykset ja indikaattorit
- tiedonkeruun välineet (esimerkiksi kyselyt, haastattelut tai rekisteriaineistot)
- aikaa arviointitiedon analysointiin ja yhteiseen käsittelyyn.
Työkalupohja
Attachments
Lisätietoa
- Työkalu on kehitetty osana SIEPP-hanketta (Sosiaalisia innovaatioita ja työtä julkisilla hankinnoilla).
- Työkalun liitteenä on tyhjä arviointikehyksen pohja, jota voi hyödyntää oman hankkeen arvioinnin suunnittelussa.