Tämä teos on lisensoitu Creative Commons Nimeä-EiKaupallinen-EiMuutoksia 4.0 Kansainvälinen -lisenssillä.
Susanna Hyväri ja Päivi Vuokila-Oikkonen
Tutkimus- ja kehittämistyötä, niin tieteellisesti kuin kehittämiseen suuntautuvaa toimintaa, sitovat yhteiset tietokäsitykset ja tiedontuotantotapaan kuuluvat periaatteet. Kehittämistyössä korostuvat käytännölliset ongelmanratkaisut ja tulosten sovellettavuuden arviointi. Luotettavuuden arviointi kohdistuu koko tutkimus- tai kehittämistyön prosessiin ja sen johdonmukaisuuteen sekä systemaattisuuteen. Johdonmukaisuudella tarkoitetaan tutkittavan ilmiön perusrakenteen, tutkimusaineiston, lähestymistavan, analyysimenetelmän ja analyysitavan, tulosten esittämisen ja johtopäätösten teon loogista kokonaisuutta (Vuokila-Oikkonen 2001, 2003).
Opinnäytetöissä kehittämistyön aineistojen keräämisen prosessi, dokumentoinnin tavat ja analyysimenetelmät ovat olennaisia. Luotettavuuden ja kehittämistyön tulosten kannalta on tärkeää selvittää kehittämistyön suunnitelmavaiheesta lähtien mikä on kehittämistyön tehtävä, mikä on tehtävän ja tehtäväasettelun kannalta olennaista tietoa, miten sitä kerätään, ketkä siihen osallistuvat ja kuinka erilaisia kerättyjä aineistoja käsitellään ja tulkitaan. Myös kehittämistyön tulosten levittäminen ja soveltaminen edellyttävät tarkkaa kehittämistyön dokumentointia.
1. Validiteetti – tutkimus- ja kehittämistyön pätevyys ja luotettavuus
Tutkimus- ja kehittämistyön validiteetilla tarkoitetaan perinteisesti tutkimusmenetelmän kykyä näyttää toteen sitä, mitä sillä on tarkoitus selvittää.
Validiteetti kertoo siitä, miten:
1. tulokset vastaavat todellisuutta, ovat oikeita ja yleistettäviä
2. miten käsitteiden operationaalistaminen eli yhdistäminen tutkimuksen kohteena oleviin ilmiöihin on toteutettu.
Periaatteessa validiteetin laskeminen tai arvioiminen on helppoa: mittaustulosta verrataan vain todelliseen tietoon mitattavasta ilmiöstä. Tämä ajatustapa liittyy perinteiseen positivistiseen näkemykseen, jossa tutkimusmenetelmien avulla tavoitellaan totuutta vain empiiristen havaintojen, kokeiden ja mittausten avulla (Anttila 2006, 512).
Validiteetin arvioinnissa on kyse siitä, kuinka hyvin tutkimusote ja siinä käytetyt menetelmät sopivat sen ilmiön tutkimiseen, joka on tutkimuksen kohteena. Voidakseen olla validi sovellettavan tutkimusotteen tulee tehdä oikeutta tutkittavan ilmiön luonteelle ja kysymyksenasettelulle. Validiteetin kannalta ei kuitenkaan ole keskeisintä ryhtyä pohtimaan, millä – siis kuinka valideilla – mittareilla tuloksia saadaan, vaan selvittää sitä, millainen tutkimuksen strategia on validi. Tutkimustyössä käytetty menetelmä ei itsessään johda tietoon, vaan menetelmä on valittava sen mukaan, millaista tietoa halutaan. Tutkija joutuu pohtimaan tätä seikkaa aivan ensimmäisenä valitessaan tutkimusmenetelmää.
2. Kvalitatiivisen menetelmän luotettavuuden arviointi
Kvalitatiivisessa tutkimuksessa luotettavuuden arviointi kohdistuu tutkimusaineiston keräämiseen, aineiston analysointiin ja tutkimuksen raportointiin. Laadullisen tutkimuksen luotettavuuden kriteerejä ovat totuusarvo, sovellettavuus, pysyvyys ja neutraalisuus (Tynjälä 1991). Lisäksi laadullisen tutkimuksen eri lähestymistavoille ja metodeille (esim. narratiivinen eli kerrontaa ja kertomusta hyväksi käyttävä lähestymistapa ja metodi) on olemassa omat luotettavuuden kriteerinsä, joita on syytä käyttää.
Kvalitatiivisen tutkimuksen luotettavuus koskee tutkimusaineiston keräämistä. Luotettavuutta lisää, että aineisto on koottu sieltä, missä ilmiö esiintyy. Aineiston tulee perustua edustettavuuden periaatteille. Raportissa kirjataan seikkaperäisesti tutkimuksen suorittamisen vaiheet. Jos aineisto kerätään haastattelemalla tai esimerkiksi avovastauslomakkeilla, raporttiin kirjataan teemat tai kysymykset, joita käytettiin. Tutkijan tai kehittäjän haastattelupäiväkirja parantaa luotettavuutta, koska siinä on mahdollista erottaa omat tunteet haastattelutilanteessa. Haastattelutilanteessa syntyvää vuorovaikutussuhdetta ja siihen vaikuttaneita tekijöitä on syytä arvioida myös, samoin kuin vastaamiseen mahdollisesti vaikuttaneita tekijöitä. Samoin arvioidaan haastatteluun ja/tai havainnointiin käytettyä aikaa ja sen riittävyyttä.
Raportissa esitetään suoria lainauksia eli kvalitatiivista aineistoa tarpeeksi, jotta lukija voi seurata analyysia ja arvioida, mihin se on perustunut. Luottavuuden kriteeri on, että muodostetut koodit eli aineistosta tunnistetut ja jäsennetyt merkityskokonaisuudet ovat toisensa poissulkevia.
Analyysin luotettavuuden arvioinnista keskeistä on tutkijan/kehittäjän kyky abstraktiin ajatteluun. Tuloksia arvioidaan suhteessa aikaisempaan tutkimukseen eli siihen, miten monipuolisesti ilmiötä on tarkasteltu. Raportoinnin luotettavuus edellyttää myös kirjoittajan taitoja: tärkeää on täsmällisyys käytettävien ja tulosten perusteella syntyvien käsiteiden käytössä sekä selkeys analyysin ilmaisemisessa. Johdonmukaisuus- kriteeri tarkoittaa, että tutkija ja/tai kehittäjä on pystynyt luomaan merkityksellisen ja kokoavan käsityksen tutkittavasta ilmiöstä.
3. Kvantitatiivisen menetelmän luotettavuuden arviointi
Reliabiliteetti-käsite kuuluu yleensä määrälliseen, kvantitatiiviseen tutkimukseen. Reliabiliteetilla eli mittarin tai menetelmän luotettavuudella tarkoitetaan tutkimusmenetelmän ja käytettyjen mittareiden kykyä antaa ei-sattumanavaraisia tuloksia ja vahvistaa mittaustulosten pysyvyys (Anttila 2006, 515–517). Pysyvyys merkitsee sitä, että mittaus antaa saman tuloksen toistettaessa. Mittaustuloksen toistettavuus on hyvä silloin, kun mittaus antaa saman tuloksen riippumatta tilanteesta tai henkilöstä. Menetelmätarkkuutta mitataan esimerkiksi Cronbachin alpha-arvolla, joka mittaa mittarin eri osa-alueiden käsitteiden operationaalista yhdenmukaisuutta.
Reliabiliteettia parantaa tutkimuksen huolellinen suunnittelu, menetelmän ja olosuhteiden valikoiminen ja virhelähteiden kontrollointi valitsemalla esimerkiksi sellainen ajankohta, jossa ei ole häiriöitä. Reliabiliteettia parantaa tutkittavien valinta satunnaisotannalla, jolloin perusjoukon kaikki tapaukset numeroidaan, ja otetaan satunnaislukujen taulukon avulla perusjoukosta tarvittava määrä yksiköitä tutkittavaksi.
4 Kehittämistyön luotettavuuden arviointi – esimerkkinä osallistava toimintatutkimus
Ammattikorkeakoulun opinnäytetöiden tavoitteena on tuottaa, kehittää ja uudistaa työelämän käytäntöjä. Kehittämistyön lähtökohtana ja viitekehyksenä voi olla esimerkiksi osallistava toimintatutkimus, jolloin toimintaan otetaan mukaan kehittämistyön kannalta keskeisiä toimijoita. Arvioitaessa osallistavan toimintatutkimuksen luotettavuutta ja käyttökelpoisuutta arvioinnin kriteerit perustellaan valitun lähestymistavan keskeisillä sitoumuksilla. Toimintatutkimuksessa osallistujien erilaiset ja monipuoliset mahdollisuudet osallistua tiedon tuotannon eri vaiheisiin ovat keskeisiä. Luotettavuuden näkökulmasta arvioidaan sitä, miten kehittämistyöhön osallistujat ovat olleet mukana prosessin aikana. Osallistujat voivat olla työelämätoimijoita, asiakkaita ja kansalaisia. Osallistavien menetelmien oikeellisuutta arvioidaan sekä sitä, miten tarkoituksenmukaisia valitut kehittämismenetelmät olivat. Lisäksi arvioidaan kehittämistyön seurauksena syntyviä muutoksia. Muutosten arviointiin osallistuvat kaikki kehittämishankkeessa mukana olevat. Arviointi kohdistuu kehittämishankkeen dokumentointiin ja siihen, onko hankkeen eri vaiheista dokumentoitu tarpeeksi.
Kehittämistyössä voidaan käyttää laadullisia ja määrällisiä menetelmiä, joiden luotettavuuden arvioinnin kriteerit tulevat menetelmistä. Arviointi kohdistuu tavoitteisiin, menetelmien soveltuvuuteen tavoitteiden kannalta ja ajankäyttöön.