Näen paljon hyvää siinä, että julkaisuja on jotenkin luokiteltu. (Vielä paljon parempi tilanne olisi, jos luokittelusta olisi jonkinlainen kansainvälinen yhteisymmärrys.)
Mutta kuinkahan julkaisujen luokittelusta saatavia tilastoja konkreettisesti käytetään julkaisujen laadun mittaamiseen?
Joissain ehdotuksissa on -- Eskonkin kirjoituksen otsikon hengessä? -- tarkasteltu eri luokkiin sijoittuvien julkaisujen suhdetta. Ajatuksena varmaankin on saada jonkinlainen käsitys tutkimuksen yleisestä laadusta. Näinhän asia ei kuitenkaan ole, ja tällaista suhteellista mittaustapaa ei missään nimessä pitäisi käyttää.
Asia tulee toivottavsti ilmeiseksi yksinkertaisella esimerkillä. Vuonna 2012 laitos siis tuotti 186 julkaisua, joista 64 (34 %) ei saanut lainkaan tasoluokitusta. Jos nuo julkaisut olisi jätetty tekemättä, laitoksen suhdeluvut olisivat huomattavasti paremmat. Mutta olisiko laitoksen tutkimus ollut parempaa?
Ei tietenkään, ennemminkin päinvastoin. Eivät hyvät julkaisut tulisi siitä yhtään paremmiksi, että huonompia jätettäisiin tekemättä. Ajatusleikin voi tehdä myös toisin päin. Jos samojen laatujulkaisujen lisäksi julkaistaan lisää luokittelemattomilla foorumeilla, laskeeko laatu? Ei tietenkään, laatututkimus on laatututkimusta riippumatta muista julkaisuista.
Suhdeluku mittaa siis väärää asiaa, ja sitä on lisäksi helppo manipuloida jättämällä heikompien foorumien julkaisut tekemättä (tai raportoimatta tilastoihin). Heikommat foorumit kuten workshopit voivat kuitenkin olla tärkeitä esim. tutkijakoulutuksessa: ne tarjoavat matalan kynnyksen jatko-opiskelijalle päästä verkostoitumaan ja harjoittelemaan tieteellisessä yhteisössä toimimista, usein juuri omalla erikoisalalla. Siihen kai haluamme kuitenkin kannustaa?
Mitä sitten pitäisi mitata, jotta saataisiin kuva laadusta ja kannustettaisiin laadukkaaseen tutkimukseen haittaamatta toisaalta esim. workshop-tason toimintaa?
Yksinkertaista: tulee mitata julkaisujen kärkeä absoluuttisesti, ei suhteellisesti, ja palkita siitä kuinka terävä ja leveä tuo kärki on. Kuinka monta julkaisua meillä on etenkin parhaissa luokissa 3 ja 2 ja kuinka tämä lukumäärä kehittyy tulevaisuudessa?
Julkaisufoorumiin perustuvat mittarit
Näen paljon hyvää siinä, että julkaisuja on jotenkin luokiteltu. (Vielä paljon parempi tilanne olisi, jos luokittelusta olisi jonkinlainen kansainvälinen yhteisymmärrys.)
Mutta kuinkahan julkaisujen luokittelusta saatavia tilastoja konkreettisesti käytetään julkaisujen laadun mittaamiseen?
Joissain ehdotuksissa on -- Eskonkin kirjoituksen otsikon hengessä? -- tarkasteltu eri luokkiin sijoittuvien julkaisujen suhdetta. Ajatuksena varmaankin on saada jonkinlainen käsitys tutkimuksen yleisestä laadusta. Näinhän asia ei kuitenkaan ole, ja tällaista suhteellista mittaustapaa ei missään nimessä pitäisi käyttää.
Asia tulee toivottavsti ilmeiseksi yksinkertaisella esimerkillä. Vuonna 2012 laitos siis tuotti 186 julkaisua, joista 64 (34 %) ei saanut lainkaan tasoluokitusta. Jos nuo julkaisut olisi jätetty tekemättä, laitoksen suhdeluvut olisivat huomattavasti paremmat. Mutta olisiko laitoksen tutkimus ollut parempaa?
Ei tietenkään, ennemminkin päinvastoin. Eivät hyvät julkaisut tulisi siitä yhtään paremmiksi, että huonompia jätettäisiin tekemättä. Ajatusleikin voi tehdä myös toisin päin. Jos samojen laatujulkaisujen lisäksi julkaistaan lisää luokittelemattomilla foorumeilla, laskeeko laatu? Ei tietenkään, laatututkimus on laatututkimusta riippumatta muista julkaisuista.
Suhdeluku mittaa siis väärää asiaa, ja sitä on lisäksi helppo manipuloida jättämällä heikompien foorumien julkaisut tekemättä (tai raportoimatta tilastoihin). Heikommat foorumit kuten workshopit voivat kuitenkin olla tärkeitä esim. tutkijakoulutuksessa: ne tarjoavat matalan kynnyksen jatko-opiskelijalle päästä verkostoitumaan ja harjoittelemaan tieteellisessä yhteisössä toimimista, usein juuri omalla erikoisalalla. Siihen kai haluamme kuitenkin kannustaa?
Mitä sitten pitäisi mitata, jotta saataisiin kuva laadusta ja kannustettaisiin laadukkaaseen tutkimukseen haittaamatta toisaalta esim. workshop-tason toimintaa?
Yksinkertaista: tulee mitata julkaisujen kärkeä absoluuttisesti, ei suhteellisesti, ja palkita siitä kuinka terävä ja leveä tuo kärki on. Kuinka monta julkaisua meillä on etenkin parhaissa luokissa 3 ja 2 ja kuinka tämä lukumäärä kehittyy tulevaisuudessa?
Hannu Toivonen