Arviointi, mikäli sen kaikkia mahdollisuuksia hyödynnettäisiin, olisi tärkeä työkalu avustamaan julkista sekä yksityissektoria ja kansalaisyhteiskuntaa inhimillisen hyvinvoinnin lisäämiseksi. Valitettavasti, vaikka tehtyjen arviointien määrä on maailmanlaajuisesti lisääntymässä, näiden arviointien alhainen hyödyntämisaste on samoin kasvamassa. Tästä esimerkkinä on kehitystyö, jossa lukemattomat tuotetut ja oppimislähteenä käytettäväksi oletetut arviointiraportit kuitenkin todellisuudessa makaavat koskemattomina. Tämä toteutumaton ”käyttö” on todellista ajan ja rajallisten julkisten varojen tuhlausta. Arviointien hyödyllisyyden määrittäminen tiukasti näiden julkaistujen arviointiraporttien käyttöön perustuvaksi, mikä useimmiten on tilanne, laiminlyö ja vähentää muiden käytettävissä olevien arviointielementtien, kuten arviointitoimeksiannon tai arviointiprosessin hyödyntämistä ja käyttöä, mikä yhä enemmän supistaa arvioinnin kokonaisvaikuttavuutta.

Tämän tansanialaisessa ammattikoulussa, Mwanza Home Craft Centressä (MHCC), toteutetun arviointikokeilun tarkoitus oli hyödyntää arviointia, etenkin sen arviointiprosessia, arviointivaikutusten osoittamiseksi. Kokeiluni, joka toteutettiin suomalaisin kehitystyövaroin käynnistetyssä kansalaisjärjestöhankkeessa, tehtiin kehityshankkeesta rinnan hankkeen edetessä, oli vastakohta kehnosti hyödynnetyille ulkopuolisten arvioitsijoiden vallitsevaa tilivelvollisuus- ja kontrollitarkoitusta varten tekemille, menneeseen fokusoituneille ja kovia tutkimusmenetelmiä käyttäville kehitysarvioinneille, jotka sulkevat paikalliset ulkopuolelle ja ovat heille vieraita, ja siksi saavat vähäistä paikallista arviointivaikuttavuutta aikaan. Noissa arvioinneissa on suosittu hallitsevaa länsimaista ja Eurooppa-keskeistä positivistista tulokulmaa, rahoittajakeskeistä arviointiparadigmaa ja hegemonista kieltä, joka saa alkunsa uudesta julkishallinnon johtamisliikkeestä. Sen sijaan, kokeiluni oli mikrokuvaus ja reflektio hankkeen rahoittajan sponsoroimasta, paikallis- ja asianomaiskeskeisestä, oppimis- ja tulevaisuussuuntautuneesta, paikallisesti hyödynnetystä ja vaikuttaneesta kehitysarvioinnista.

Arviointikokeilu koostui kahdesta komponentista. Arviointiosuudessa tutkittiin ammatillisen koulutuksen sosio-ekonomisia vaikutuksia. Arviointitutkimusosiossa fokusoitiin arvioinnin prosessikäyttöön ja arvioinnin vaikuttavuuteen. Ammattikouluhankkeessa kaikkien asianomaisten arviointioppimista pyrittiin tukemaan arvioinnin aikana arviointiprosessia hyödyntäen. Yksilöllisiä, interpersoonallisia ja kollektiivisia arviointivaikutuksia tavoiteltiin henkilökohtaisen ja organisaation osallistumisen, saadun arviointikokemuksen ja valmennuksen sekä dialogin kautta. Mandaattini oli integroida, ”arviointimassoja”, tarkoittaen avun vastaanottajia, paikallisten arviointivaikutusten aikaansaamiseksi, ja tarkastella arvioinnissa suhdetta valtaan heidän näkökulmastaan. Yleisesti ottaen heillä on vähemmän valtaa ja ääntä nykyisessä kehitysarvioinnissa kuin vahvemmilla, ”eliitillä”, avun rahoittajilla. Asetin hypoteesikseni, että jokainen tutkimus ja arviointitutkimus on tulokulmasidonnaista, mikä vaikuttaa arvioinnin käytettävyyteen, ja siten myös arvioinnin vaikutuksiin, vaikutustyyppeihin, -tasoon, -ryhmiin, ja vaikuttavuuden kestoon. Tässä tutkimuksessa painotettiin sellaisia arvioinninkäytössä ja arvioinnin vaikuttavuudessa keskeisessä roolissa olevia elementtejä, kuten arviointiparadigmaa, arviointimallia ja metodologiaa, arvioijan asemaa ja näkökulmaa, arvioinnin käyttäjien asemaa, arviointitarkoitusta, arvioinnin aikakehikkoa, ja arviointietiikkaa.

Tässä tutkimuksessa käytettiin toimintatutkimuksellisesti suuntautunutta strategiaa. Tutkimusaineisto koottiin kahden Tansanian kenttämatkan aikana useita aineistonkeruumenetelmiä hyödyntäen. Arvioinnin vaikutuksia ja arvioinnin prosessikäyttöä tutkittiin aineistosta, joka saatiin ammattikoulutustapauksen kahdesta MHCC:n henkilöstölle ja komiteanjäsenille organisoidusta seminaarista ja työpajasta, samoin kuin henkilöstön jäsenten teemahaastatteluista ja komitean, henkilöstön antamasta kirjallisesta arviointipalautteesta ja yhdestä 11 hengen ryhmähaastattelusta. Lisäksi, ammatillisen koulutuksen sosio-ekonomisia vaikutuksia kerättiin 115 opiskelijan kirjallisen kertomuksen ja taustalomakkeen sekä 11 opiskelijan ja 20 muun arvioijan teemahaastattelun avulla. Kirjallinen aineisto koodattiin käyttäen teoriavetoista (tai -suuntautunutta) laadullista sisällönanalyysiä, johon pohjautuen johtopäätökset tehtiin.

MHCC:n arviointikokeilu osoitti, että valittu arvioinnin tulokulma ja paradigma erilaisten arviointifaktorissa olevien elementtien hyödyntämisen kautta vaikutti arvioinnin käyttöön ja arvioinnin vaikutuksiin. Kokeilu sai aikaan vaikuttavuutta; arviointia automaattisesti hyödynnettiin jo arvioitaessa sen prosessikäytön vuoksi. Arviointiprosessiin osallistuneiden henkilöiden ja heidän instituutioidensa omakohtaisia arviointikokemuksia ei voinut vain ”jättää hyllylle”. Heidän yksilöllinen, henkilöiden välinen ja kollektiivinen arviointioppiminen arvioidessa kiistatta myötävaikutti, ei vain välittömiin vaan myös pidempiaikaisiin kognitiivisiin, affektiivisiin, sosiaalisiin, toiminnallisiin, jopa taloudellisiin ja kulttuurillisiin muutoksiin kehitysintervention eri tasoilla, jopa ammattioppilaitoksen ulkopuolella.

Tämän tutkimusten löydösten perusteella, päättelin, että prosessuaalinen arvioinnin käyttö oli vahva työkalu ja MHCC:n muutosprosessien kiihdyttäjä, etenkin niille arvioinnin asianomaisille, jotka omaksuivat arvioivaa mieltä. Tämä ajattelutavan muutos, valistuminen (”mwanga”), mahdollisti siirtymisen jälki- ja menneisyysorientoituneesta historiaa tarkastelleesta ajattelusta tulevaisuussuuntautuneeseen omaehtoiseen kehittämistoimintaan. Tämä tutkimusaineisto antanee ymmärtää, että arviointiprosessilla ja -tuloksilla samanaikaisesti hyödynnettynä arvioivan oppimisen lähteinä oli pitkäaikaisia vaikutuksia – ehkä pidempiaikaisia kuin vain arviointituloksia yksin hyödynnettäessä voitaisiin aikaansaada. Nämä vaikutukset saattoivat muodostua MHCC:n reflektion, nopeamman ympäristöön reagoinnin ja jatkuvan sopeuttamisen elinehdoiksi. Tämä selitti, kuinka ammattikoulutusinstituutio MHCC on ollut kykenevä jatkuvasti uudistumaan ja muuttamaan toimintojaan tarvittaessa, huomioiden taloutensa ja ympäröivän yhteiskunnan vaatimukset sekä olemaan taloudellisesti itsensä kannattava yli 20 vuotta (mikä on ainutlaatuista koulutussektorilla maailmalaajuisestikin, puhumattakaan kehitysmaista, kuten Tansaniasta). Lisäksi, kokeilun ansiosta saatiin uutta tietoa arviointikohteesta, MHCC:stä opiskelijoineen, sen arviointikäytänteistä ja oppilaitosta ympäröivästä todellisuudesta. Ammattikoulun nimi muutettiin, uusia osastoja, kuten ajoneuvo, sähkö, sekä hotellinjohto ja turismi, lanseerattiin, ja uusia iltakursseja käynnistettiin, metallityön lisäkoulutusta, sekä tietokone- ja englannin kielen kursseja aloitettiin.

Tämän tutkimuksen yleisenä yhteenvetona totean, että kansalaisjärjestöjen rooli on edelleen tärkeä ammatillisen koulutuksen järjestäjänä Tansanian kehityshankkeissa neljästä syystä. Ensiksi, koska maan koulutuksen yleistaso on dramaattisesti huonontunut. Toiseksi, koska riittävät ammattikoulutusmahdollisuudet puuttuvat. Kolmanneksi, koska ammattikoulutus on yleisesti ottaen hyödyllistä: se näytti vaikuttaneen ei vain yksilön köyhyyden vähentämiseen vaan laajemminkin yhteiskuntaan. Kuitenkin, tutkimustulokset esittivät yllättävän todisteen, mikä on vastakkaista länsimaalaiselle suoraviivaiselle ajattelulle ja oletukselle ammattitaidon ja ammatillisen koulutuksen valtavasta taloudellisesta voimasta ja hyödystä saajalleen; ei edes kokoaikatyö köyhyyden vähentämis- ja automaattisesti elintasoa nostavana keinona toiminut. Kaikesta huolimatta, minkä ammattiin opiskelleiden elämää koskeva aineisto todistaa, niiden, jotka kokivat positiivisia, merkittäviä, kestäviä taloudellisia, sosiaalisia ja henkilökohtaisia koulutusvaikutuksia MHCC:n koulutushankkeen vuoksi, nämä ammatillisen koulutuksen sosio-ekonomiset materiaaliset ja immateriaaliset positiiviset, tuotteliaat vaikutusketjut näyttivät ulottuneen myös laajennettuun perheeseen, ikätovereihin, yhteisöjen jäseniin ja tansanialaiseen yhteiskuntaan merkittävin seurannaisvaikutuksin. Esimerkkinä mainittakoon valmistuneiden opiskelijoiden sukulaisilleen, ikätovereilleen ja yhteisöjensä jäsenilleen tarjoama ”epävirallinen, yksityinen oppisopimuskoulutusjärjestelmä”; jonka kautta yksi MHCC:stä valmistunut on epävirallisesti kouluttanut yli 50 henkilöä. Tosin, näitä sosio-ekonomisia koulutusvaikutuksia olisi voitu tehostaa resursoimalla ja tekemällä säännöllisesti arviointeja sekä syöttämällä niiden tuloksia edelleen ammattioppilaitoksen palvelujen parantamiseksi (esim. työvälineet tai yrittäjyyskurssit ammattiin valmistuneille). Neljänneksi, tutkimus osoitti, että kehitysmaissa työpaikat olivat tarjolla pääasiassa informaalilla sektorilla ja itsenäisenä ammatinharjoittajana työskenteleminen oli useimmille valmistuneille ainoa työllistymisvaihtoehto. Näin ollen, kansalaisjärjestöjen toteuttama ammattikoulutus oppilaitoksen kannattavuudelle välttämättömine tulonhankkimisprojekteineen (jotka yleensä puuttuvat valtion omistamista ammattioppilaitoksista) voi toimia erinomaisena yrittäjyyshenkeä vahvistavana oppimisympäristönä.

Tutkimuslöytöjä voitaneen soveltaa seuraavasti. Ensiksi, huolestuttava arviointien käyttämättömyys ja/tai tehoton käyttö tulee tiedostaa. Toiseksi, arvioinnin teettäjien, käynnistäjien, rahoittajien ja avunantajien tulee saada lisätietoa merkittävistä arvioinnin positiiviseen käyttöön ja vaikuttavuuteen tai sitä estävistä kontekstuaalisista, arviointi- ja inhimillisistä faktoreista elementteineen. Esimerkiksi, sellaisia kontekstuaalisia tekijöitä, jotka liittyvät taloudellisiin ja poliittisiin rajoitteisiin ja arviointisysteemeihin ja jotka negatiivisesti vaikuttavat arviointien hyödyntämiseen ja vaikutuksiin, tulee paljastaa. Kolmanneksi, arviointien puutteellista hyödyntämistä vastaan tulee hyökätä muun muassa arviointiprosessia käyttämällä. Neljänneksi, jokaisessa arviointipolitiikassa ja -suunnitelmassa jo arvioinnin toimeksiantovaiheessa tulee edellyttää konkreettisia toimia arviointien hyödyntämiseksi. Jokaiselta julkisin varoin tuotetulta arvioinnilta tulee vaatia arvioinninkäyttösuunnitelma tavoiteltavine arviointivaikutuksineen ennen arvioinnin toimeenpano vaihetta. Viidenneksi, arviointikäyttö tulee uudelleen käsitteellistää arviointipolitiikkojen ja -suunnitelmien sanastossa. Kaikki tarjolla olevat arvioinnin käytön keskeiset elementit — arvioinnin toimeksianto, arviointiprosessi (eikä ainoastaan arviointilöydökset) — tulee maksimaalisesti valjastaa kaikilla arvioinnin tasoilla, myös kansalaisjärjestöissä, rajallisten evaluointiresurssien vuoksi, tuodakseen maksimaalisen arvon arviointikohteelle, sen asianomaisille ja arvioinnin käyttäjille. Kuudenneksi, arviointien hyödyntämistä tulee ohjeistaa, kannustaa ja rahoittaa. Arvioinnin käynnistäjien ja rahoittajien tulisi palkita arvioinnin asianomaisia ja heidän organisaatiotaan, mikäli arviointia hyödynnetään ja se saa aikaan vaikuttavuutta. Seitsemänneksi, arvioinnin vaikuttavuus/vaikutus -termit tarvitsevat selkeyttämistä, ei ainoastaan viitaten vain arvioinnin positiivisiin seurauksiin, vaan myös sen negatiivisiin, tahattomiin vaikutuksiin, joihin täytyy myös puuttua.