Tämä teos on lisensoitu Creative Commons Nimeä-EiKaupallinen-EiMuutoksia 4.0 Kansainvälinen -lisenssillä.
Tässä artikkelissa kuvataan TKI-toiminnan luotettavuuden arvioinnin lähtökohtia ja perusperiaatteita. Luotettavuuden arviointi on tärkeä osa sekä laadullisessa ja määrällisessä tutkimuksessa että kehittämistyössä.
Tutkimus- ja kehittämistyötä, niin tieteellisesti kuin kehittämiseen suuntautuvaa toimintaa, sitovat yhteiset tietokäsitykset ja tiedontuotantotapaan kuuluvat periaatteet. Kehittämistyössä korostuvat käytännölliset ongelmanratkaisut ja tulosten sovellettavuuden arviointi. Luotettavuuden arviointi kohdistuu koko tutkimus- tai kehittämistyön prosessiin ja sen johdonmukaisuuteen sekä systemaattisuuteen. Johdonmukaisuudella tarkoitetaan tutkittavan ilmiön perusrakenteen, tutkimusaineiston, lähestymistavan, analyysimenetelmän ja analyysitavan, tulosten esittämisen ja johtopäätösten teon loogista kokonaisuutta (Vuokila-Oikkonen 2001, 2003).
Opinnäytetöissä kehittämistyön aineistojen keräämisen prosessi, dokumentoinnin tavat ja analyysimenetelmät ovat olennaisia. Luotettavuuden ja kehittämistyön tulosten kannalta on tärkeää selvittää kehittämistyön suunnitelmavaiheesta lähtien mikä on kehittämistyön tehtävä, mikä on tehtävän ja tehtäväasettelun kannalta olennaista tietoa, miten sitä kerätään, ketkä siihen osallistuvat ja kuinka erilaisia kerättyjä aineistoja käsitellään ja tulkitaan. Myös kehittämistyön tulosten levittäminen ja soveltaminen edellyttävät tarkkaa kehittämistyön dokumentointia.
Tutkimus- ja kehittämistyön validiteetilla tarkoitetaan perinteisesti tutkimusmenetelmän kykyä näyttää toteen sitä, mitä sillä on tarkoitus selvittää.
Validiteetti kertoo siitä, miten:
1. tulokset vastaavat todellisuutta, ovat oikeita ja yleistettäviä
2. miten käsitteiden operationaalistaminen eli yhdistäminen tutkimuksen kohteena oleviin ilmiöihin on toteutettu.
Periaatteessa validiteetin laskeminen tai arvioiminen on helppoa: mittaustulosta verrataan vain todelliseen tietoon mitattavasta ilmiöstä. Tämä ajatustapa liittyy perinteiseen positivistiseen näkemykseen, jossa tutkimusmenetelmien avulla tavoitellaan totuutta vain empiiristen havaintojen, kokeiden ja mittausten avulla (Anttila 2006, 512).
Validiteetin arvioinnissa on kyse siitä, kuinka hyvin tutkimusote ja siinä käytetyt menetelmät sopivat sen ilmiön tutkimiseen, joka on tutkimuksen kohteena. Voidakseen olla validi sovellettavan tutkimusotteen tulee tehdä oikeutta tutkittavan ilmiön luonteelle ja kysymyksenasettelulle. Validiteetin kannalta ei kuitenkaan ole keskeisintä ryhtyä pohtimaan, millä – siis kuinka valideilla – mittareilla tuloksia saadaan, vaan selvittää sitä, millainen tutkimuksen strategia on validi. Tutkimustyössä käytetty menetelmä ei itsessään johda tietoon, vaan menetelmä on valittava sen mukaan, millaista tietoa halutaan. Tutkija joutuu pohtimaan tätä seikkaa aivan ensimmäisenä valitessaan tutkimusmenetelmää.
Kvalitatiivisessa tutkimuksessa luotettavuuden arviointi kohdistuu tutkimusaineiston keräämiseen, aineiston analysointiin ja tutkimuksen raportointiin. Laadullisen tutkimuksen luotettavuuden kriteerejä ovat totuusarvo, sovellettavuus, pysyvyys ja neutraalisuus (Tynjälä 1991). Lisäksi laadullisen tutkimuksen eri lähestymistavoille ja metodeille (esim. narratiivinen eli kerrontaa ja kertomusta hyväksi käyttävä lähestymistapa ja metodi) on olemassa omat luotettavuuden kriteerinsä, joita on syytä käyttää.
Kvalitatiivisen tutkimuksen luotettavuus koskee tutkimusaineiston keräämistä. Luotettavuutta lisää, että aineisto on koottu sieltä, missä ilmiö esiintyy. Aineiston tulee perustua edustettavuuden periaatteille. Raportissa kirjataan seikkaperäisesti tutkimuksen suorittamisen vaiheet. Jos aineisto kerätään haastattelemalla tai esimerkiksi avovastauslomakkeilla, raporttiin kirjataan teemat tai kysymykset, joita käytettiin. Tutkijan tai kehittäjän haastattelupäiväkirja parantaa luotettavuutta, koska siinä on mahdollista erottaa omat tunteet haastattelutilanteessa. Haastattelutilanteessa syntyvää vuorovaikutussuhdetta ja siihen vaikuttaneita tekijöitä on syytä arvioida myös, samoin kuin vastaamiseen mahdollisesti vaikuttaneita tekijöitä. Samoin arvioidaan haastatteluun ja/tai havainnointiin käytettyä aikaa ja sen riittävyyttä.
Raportissa esitetään suoria lainauksia eli kvalitatiivista aineistoa tarpeeksi, jotta lukija voi seurata analyysia ja arvioida, mihin se on perustunut. Luottavuuden kriteeri on, että muodostetut koodit eli aineistosta tunnistetut ja jäsennetyt merkityskokonaisuudet ovat toisensa poissulkevia.
Analyysin luotettavuuden arvioinnista keskeistä on tutkijan/kehittäjän kyky abstraktiin ajatteluun. Tuloksia arvioidaan suhteessa aikaisempaan tutkimukseen eli siihen, miten monipuolisesti ilmiötä on tarkasteltu. Raportoinnin luotettavuus edellyttää myös kirjoittajan taitoja: tärkeää on täsmällisyys käytettävien ja tulosten perusteella syntyvien käsiteiden käytössä sekä selkeys analyysin ilmaisemisessa. Johdonmukaisuus- kriteeri tarkoittaa, että tutkija ja/tai kehittäjä on pystynyt luomaan merkityksellisen ja kokoavan käsityksen tutkittavasta ilmiöstä.
Reliabiliteetti-käsite kuuluu yleensä määrälliseen, kvantitatiiviseen tutkimukseen. Reliabiliteetilla eli mittarin tai menetelmän luotettavuudella tarkoitetaan tutkimusmenetelmän ja käytettyjen mittareiden kykyä antaa ei-sattumanavaraisia tuloksia ja vahvistaa mittaustulosten pysyvyys (Anttila 2006, 515–517). Pysyvyys merkitsee sitä, että mittaus antaa saman tuloksen toistettaessa. Mittaustuloksen toistettavuus on hyvä silloin, kun mittaus antaa saman tuloksen riippumatta tilanteesta tai henkilöstä. Menetelmätarkkuutta mitataan esimerkiksi Cronbachin alpha-arvolla, joka mittaa mittarin eri osa-alueiden käsitteiden operationaalista yhdenmukaisuutta.
Reliabiliteettia parantaa tutkimuksen huolellinen suunnittelu, menetelmän ja olosuhteiden valikoiminen ja virhelähteiden kontrollointi valitsemalla esimerkiksi sellainen ajankohta, jossa ei ole häiriöitä. Reliabiliteettia parantaa tutkittavien valinta satunnaisotannalla, jolloin perusjoukon kaikki tapaukset numeroidaan, ja otetaan satunnaislukujen taulukon avulla perusjoukosta tarvittava määrä yksiköitä tutkittavaksi.
Ammattikorkeakoulun opinnäytetöiden tavoitteena on tuottaa, kehittää ja uudistaa työelämän käytäntöjä. Kehittämistyön lähtökohtana ja viitekehyksenä voi olla esimerkiksi osallistava toimintatutkimus, jolloin toimintaan otetaan mukaan kehittämistyön kannalta keskeisiä toimijoita. Arvioitaessa osallistavan toimintatutkimuksen luotettavuutta ja käyttökelpoisuutta arvioinnin kriteerit perustellaan valitun lähestymistavan keskeisillä sitoumuksilla. Toimintatutkimuksessa osallistujien erilaiset ja monipuoliset mahdollisuudet osallistua tiedon tuotannon eri vaiheisiin ovat keskeisiä. Luotettavuuden näkökulmasta arvioidaan sitä, miten kehittämistyöhön osallistujat ovat olleet mukana prosessin aikana. Osallistujat voivat olla työelämätoimijoita, asiakkaita ja kansalaisia. Osallistavien menetelmien oikeellisuutta arvioidaan sekä sitä, miten tarkoituksenmukaisia valitut kehittämismenetelmät olivat. Lisäksi arvioidaan kehittämistyön seurauksena syntyviä muutoksia. Muutosten arviointiin osallistuvat kaikki kehittämishankkeessa mukana olevat. Arviointi kohdistuu kehittämishankkeen dokumentointiin ja siihen, onko hankkeen eri vaiheista dokumentoitu tarpeeksi.
Kehittämistyössä voidaan käyttää laadullisia ja määrällisiä menetelmiä, joiden luotettavuuden arvioinnin kriteerit tulevat menetelmistä. Arviointi kohdistuu tavoitteisiin, menetelmien soveltuvuuteen tavoitteiden kannalta ja ajankäyttöön.
Alasuutari, P., & Alasuutari, P. (2019). Laadullinen tutkimus 2.0 (5.p.). Vastapaino.
Anttila, P. (2006). Tutkiva toiminta ja ilmaisu, teos, tekeminen (2. p.). Akatiimi
Flick, U. (2008). Managing quality in qualitative research. Sage Publications.
Janhonen, S., Nikkonen, M. (toim.) (2003). Laadulliset tutkimusmenetelmät hoitotieteessä (2. uud. p.). WSOY.
Jokinen, K. (2008). Miten laadullinen tutkimus vakuuttaa? Teoksessa M. Kinnunen, K. Lepiäinen, & O. Löytty (toim.) Tutkijan kirja (s. 243–250). Vastapaino.
Kylmä, J., & Juvakka, T. (2012). Laadullinen terveystutkimus. Edita.
Tuomi, J. (2009). Laadullinen tutkimus ja sisällönanalyysi. Tammi.
Tynjälä, P. (1991). Laadullisen tutkimuksen luotettavuudesta. Kasvatus 22(5-6), 387–598.
Aaltola, J., & Valli, R.(toim.) (2010). Ikkunoita tutkimusmetodeihin II: Näkökulmia aloittelevalle tutkijalle tutkimuksen teoreettisiin lähtökohtiin ja analyysimenetelmiin (3. uud. ja täyd. p.). PS-kustannus.
Aaltola, J., & Valli, R. (toim.) (2007). Ikkunoita tutkimusmetodeihin I: Metodin valinta ja aineiston keruu: virikkeitä aloittelevalle tutkijalle (2. korj. ja täyd. p.). PS-kustannus.
Alkula, T. & Pöntinen, S.. & Ylöstalo, P. (1994). Sosiaalitutkimuksen kvantitatiiviset menetelmät. WSOY.
Anttila, P. (2006). Tutkiva toiminta ja ilmaisu, teos, tekeminen. Akatiimi
Heikkilä, T. (2008). Tilastollinen tutkimus (7. uud. p.). Edita.
Keckman-Koivuniemi, H., & Kleemola, M. (2006). Opas kvantitatiivisten tutkimusaineistojen jatkokäyttöön. (Yhteiskuntatieteellisen tietoarkiston julkaisuja 2). Tampereen yliopisto.
Kuula, A. (2006). Tutkimusetiikka: Aineistojen hankinta, käyttö ja säilytys. Vastapaino.
Nardi, P. M. (2006). Doing survey research: A guide to quantitative methods (2nd ed.). Pearson.
Seale, C. (2004). Using data archives for statistical analysis. In C. Seale (ed.) Researching society and culture (2nd ed., s. 355–366). Sage.
Taanila, A. (2010). Määrällisen aineiston kerääminen. Haaga-Helia ammattikorkeakoulu.
Vilkka, H. (2007). Tutki ja mittaa: Määrällisen tutkimuksen perusteet. Tammi.
Valli, R. (2015). Johdatus tilastolliseen tutkimukseen (2. uud. p.). PS-kustannus.
Anttila, P. (2006). Tutkiva toiminta ja ilmaisu, teos, tekeminen. Akatiimi.
Heikkinen, H. L. T. (2006). Toimintatutkimuksen lähtökohdat. Teoksessa H. L. T. Heikkinen, E. Rovio, R. Huttunen, & L. Syrjälä (toim.), Toiminnasta tietoon: toimintatutkimuksen menetelmät ja lähestymistavat (s. 15–37). Kansanvalistusseura.
Hyväri, S., & Laine, T. (2012). Osallistavan kehittämisen perusteita. Teoksessa H. Kotila & A. Mutanen (toim.), Käytäntöä tutkimassa (s. 48–62). (Haaga-Helian julkaisusarja 2/2012). Haaga-Helia.
Hyväri, S, & Salo, M. (2011). Miksi asumispalvelujen kehittämisessä tarvitaan palvelujen käyttäjien osallistumista? Suuntaaja (1), 13–17. https://www.aspa.fi/fi/suuntaaja/suuntaaja-12011-mielenterveyskuntoutujien-asuminen/miksi-asumispalvelujen-kehitt%C3%A4misess%C3%A4#272ced81
Jantunen, S., Naaranoja, M., Piippo, J.,Mäkelä, T., Valtanen, E., & Sankelo, M. (2013).Toimintatutkimuksen laatukriteerit ja niiden soveltaminen osallistuvan innovaatiotoiminnan johtamisen tutkimuksessa. Teoksessa M. Virkajärvi (toim.), Työelämän tutkimuspäivät 2012: Suomella töissä?: Kestämistä ja kestävyyttä (s. 29–44). Tampereen yliopisto. http://urn.fi/URN:ISBN:978-951-44-9063-7
Kananen, J. (2015). Opinnäytetyön kirjoittajan opas: näin kirjoitan opinnäytetyön tai pro gradun alusta loppuun. Jyväskylän ammattikorkeakoulu.
Kananen, J. (2014). Toimintatutkimus kehittämistutkimuksen muotona: Miten kirjoitan toimintatutkimuksen opinnäytetyönä? Jyväskylän ammattikorkeakoulu.
Kananen, J. (2012). Kehittämistutkimus opinnäytetyönä: Kehittämistutkimuksen kirjoittamisen käytännön opas. Jyväskylän ammattikorkeakoulu.
Keskitalo, E. (2015). Osallistava tutkimus ja kehittäminen ylempien ammattikorkeakoulututkintojen TKI-toiminnan viitekehyksenä. Teoksessa R. Gothoni, S, Hyväri, M. Kolkka, & P. Vuokila-Oikkonen (toim.), Osallisuutta, oppimista ja arviointia: Diakonia-ammattikorkeakoulun TKI-toiminnan vuosikirja 2015 (s. 191-204). http://urn/URN:ISBN:978-952-493-233-2
Keskitalo, E. (2020). Osallistavan tutkimuksen ja kehittämisen teoreettisia ja menetelmällisiä lähtökohtia. Teoksessa J. Helminen (toim.), Näkökulmia osallistavaan tutkimus-, kehittämis- ja innovaatiotoimintaan. Diakonia-ammattikorkeakoulun TKI-toiminnan vuosikirja 5 (s. 22–35). Diak Työelämä 18). Diakonia-ammattikorkeakoulu. http://urn.fi/URN:ISBN:978-952-493-348-3
Ojasalo, K.,Moilanen, T., & Ritalahti, J. (2014). Kehittämistyön menetelmät: Uudenlaista osaamista liiketoimintaan (3. uud. p.). Sanoma Pro.
Potvin, L., Bisset, S. L., & Waltz, L. (2010) Participatory Action Research: Theoretical Perspectives on the Challenge in Research Action. Teoksessa Bourgeault, R., Dongwall, & R. de Vries (toim.) The Sage Handbook of Qualitative Methods in Health Research (s. 433–453). SAGE.
Pernaa, J.(2013). Kehittämistutkimus tutkimusmenetelmänä. Teoksessa J. Pernaa (toim.), Kehittämistutkimus opetusalalla (s. 9–26). PS-kustannus.
Suoranta, J., & Ryynänen, S. (2014). Taisteleva tutkimus. Into.
Toikko, T., Rantanen, T., & Toikko T. (2009). Tutkimuksellinen kehittämistoiminta : näkökulmia kehittämisprosessiin, osallistamiseen ja tiedontuotantoon. Tampere University Press.
Vilkka H. (2015). Tutki ja kehitä. PS-kustannus.
Vuokila-Oikkonen, P. & Hyväri, S. (2015). Toimijoita osallistava kehittämisprosessi – esimerkkinä Oulun mielenterveyspalvelujen rajapintatyön mallintaminen. Teoksessa R. Gothóni, S.Hyväri, M. Kolkka ja P. Vuokila-Oikkonen (toim). Osallisuutta, oppimista ja arviointia: Diakonia-ammattikorkeakoulun TKI-toiminnan vuosikirja 2015 (s. 65–79). http://urn/URN:ISBN:978-952-493-233-2
Vuokila-Oikkonen, P. (2019). Pidetään asiat yksinkertaisina konkreettisina ja tehdään yhdessä! Ratkes: Ratkaisu- ja voimavarakeskeinen kulttuurin lehti (2) 2019, 28–31.
Susanna Hyväri ja Päivi Vuokila-Oikkonen (2016, päivitys 2020)