Vaikuttavuuden mittaaminen ja arviointi ovat tärkeässä osassa organisaatioiden ja niiden toiminnan kehittämisessä. Ajatuksena on, että mittaamalla ja arvioimalla tekemistään organisaatio kykenee parantamaan toimintaansa keräämänsä datan perusteella. Lisäksi arviointitieto auttaa organisaatioita oikeuttamaan olemassaolonsa ja vahvistamaan toimintaedellytyksiään muuttuvassa toimintaympäristössä.
Tämä pätee pelastustoimeenkin, ja varmasti meillä kaikilla onkin kokemusta tekemisemme ja tuotostemme kirjaamisesta eri järjestelmiin. Pelastusopiston ja sisäministeriön yhteisessä Pelastustoimen palveluiden vaikuttavuuden mittaaminen osana hyvinvointialueita –esiselvityshankkeessa tarkastelemme asiaa valtakunnallisesti selvittämällä vaikuttavuuden mittaamisen nykytilaa pelastuslaitoksilla. Vaikuttavuudella tarkoitamme hankkeessa yhteiskunnallista hyötyä.
Syksyllä 2024 lähetimme Manner-Suomen 21 pelastuslaitokselle kyselyn, jonka tavoitteena oli kartoittaa pelastustoimen palveluiden vaikuttavuuden mittaamisen ja arvioinnin nykyisiä käytäntöjä ja organisointia. Saimme vastaukset 19 laitokselta. Nostan seuraavassa esiin joitain huomionarvoisia esimerkkejä kyselyn vastauksista.
Arviointi kohdistuu sekä panoksiin, tuotoksiin, vaikutuksiin että vaikuttavuuteen eri tavoin eri alueilla
Vaikuttavuuden todentaminen edellyttää mittaamisen ja arvioinnin kautta saatua käsitystä omista palveluista ja tuotoksista. Lisäksi tarvitaan kokonaiskäsitystä siitä, miten palvelut saavat aikaiseksi toivottua muutosta sekä pitkän aikavälin yhteiskunnallista hyötyä. Kyse on tavallaan kaksivaiheisesta prosessista, jossa seurataan omien tuotosten lisäksi sitä, millaisia vaikutuksia toiminta saa aikaan kohteessaan, kuten asiakasryhmissä, paikallisyhteisössä tai onnettomuusmäärässä.
Kyselyvastauksista käy ilmi, että kaikki pelastuslaitokset arvioivat tuotoksiaan, kuten toimenpiteitä, suoritteita ja palvelukykyä. Kaksi kolmasosaa vastanneista kertoo tarkastelevansa myös panoksia, eli käytettyä henkilöresurssia ja rahamäärää. Noin puolet vastanneista ilmoitti tarkastelevansa arvioinnissa aikaansaamiaan vaikutuksia, kun taas yhteiskunnallista toimintansa vaikuttavuutta kertoi arvioivansa yksi viidesosa vastanneista pelastuslaitoksista.
Vaikuttavuuden seurannassa olennaisessa osassa ovat asetetut vaikuttavuustavoitteet, eli se, mihin toimenpiteillä pyritään. Huomionarvoista on, että noin kolmasosa kyselyyn vastanneista pelastuslaitoksista ilmoitti, että organisaatiossa ei ole määritelty vaikuttavuustavoitteita. Vastaavasti kaksi kolmasosaa vastanneista kertoi määritelleensä tavoitteet erikseen eri palveluiden näkökulmasta ja/tai kokonaisuutena koko toiminnasta.
Vaikuttavuustietoja hyödynnetään toiminnan suuntaamisessa ja kehittämisessä
Kysyttäessä, miten vaikuttavuustietoja hyödynnetään, vastaukset painottuivat palveluiden kehittämiseen. Puolet vastanneista kertoi hyödyntävänsä tietoja onnettomuuksien ehkäisyn palveluiden kehittämisessä, kaksi kolmasosaa pelastustoiminnan kehittämisessä ja yksi kolmasosa varautumisen ja väestönsuojelun kehittämisessä.
Toiseksi eniten tietoja kerrottiin hyödynnettävän resurssien kohdentamisessa: neljäsosa vastanneista kertoi hyödyntävänsä tietoja onnettomuuksien ehkäisytyössä ja pelastustoiminnassa, kun taas väestönsuojelun ja varautumisen kohdalla näin kertoi tekevänsä yhdeksäsosa vastaajista. Hiukan alle neljäsosa vastanneista ilmoitti, että ei osaa sanoa tai ei tiedä tietoja hyödynnettävän tällä hetkellä organisaatiossa millään tavalla.
Vaikuttaa siltä, että moni tunnistaa organisaatiossaan useita kehittämisen paikkoja vaikuttavuustiedon hyödyntämisessä. Kyselyn avovastauksista käy ilmi, että monella pelastuslaitoksella kehitystyö vaikuttavuusperustaisen tekemisen tehostamiseksi on jo käynnissä.
Kehittämiskohteita tunnistetaan niin omassa organisaatiossa kuin alalla valtakunnallisesti
Valtaosa vastaajista näkee tärkeimpänä oman organisaation vaikuttavuustyön kehittämiskohteena mittareiden ja arviointitapojen kehittämisen. Vastauksissa toistuvia mainintoja ovat esimerkiksi ”luotettavat mittarit”, ”oikeat työkalut” ja ”mittariston parantaminen”. Myös valtakunnallisena kehittämiskohteena nostetaan usein esiin toive pelastustoimen yhteisistä vaikuttavuuden mittareista ja arviointikriteereistä.
Myös resurssien riittävyyden varmistaminen nähdään tärkeäksi kehittämiskohteeksi niin alueellisesti kuin valtakunnallisesti. Valtakunnalliselle tasolle toivottiin myös yhteistä, toimivaa tietojärjestelmää, joka mahdollistaisi tietojen systemaattisen seurannan, raportoinnin ja alueellisen vertailun luotettavasti.
Johtopäätöksenä kyselystä voi todeta, että etenkin yhteiskunnallisen vaikuttavuuden todentaminen koetaan pelastustoimessa haastavaksi. Pelkät omaa toimintaa kuvaavat mittarit, kuten suoritteiden laskeminen tai talouslukuihin keskittyminen, ei yhteiskunnallisen vaikuttavuuden tarkastelussa riitä. Arvioinnin tueksi tarvittaisiin lisäksi luotettavia, sekä laadullisia että määrällisiä, toteumaa ja niiden yhteyttä ympäröivään maailmaan pidemmällä aikavälillä tarkastelevia mittareita. Lisäksi hankkeen keskusteluissa on käynyt ilmi, että pelastusalalla koetaan tarvetta siirtyä taaksepäin katsovasta, määrällisestä toteuman arvioinnista kohti ilmiölähtöistä, asiakastarpeisiin tehokkaammin vastaavaa ennakoivaa arviointia.
Dan Sundblom
Tutkija
Pelastustoimen vaikuttavuus -hanke
Pelastusopisto ja sisäministeriö toteuttavat Pelastustoimen palveluiden vaikuttavuuden mittaaminen osana hyvinvointialueita -esiselvityshankkeen 1.5.2024–28.2.2025. Hankkeessa kartoitetaan pelastustoimen palveluiden vaikuttavuuden mittaamisen nykytila ja tehdään suunnitelma sen kehittämiseksi. Nykytilaa kartoitetaan pelastuslaitoksille suunnatulla kyselyllä sekä avoimissa työpajoissa ja verkkopohjaisessa Delfoi-paneelissa. Yhteistä ymmärrystä vaikuttavuudesta ja sen mittaamisen merkityksestä vahvistetaan sekä näkemyksiä mittaamisen kehittämistarpeista kerätään hankkeen kohtaamisissa. Hanke kutsuukin kaikki teemasta kiinnostuneet mukaan keskustelemaan ja kehittämään pelastusalan palveluiden vaikuttavuuden mittaamista. Hankkeen päättävä avoin verkkopaneeli järjestetään 18.11.–20.12.2024, lisätietoja ja osallistumisohjeet löytyvät hankkeen verkkosivulta.
