2012 yılı aralık ayında bir grup bilimsel dergi yayıncısı ve editörü toplandılar ve DORA olarak bilinen San Francisco Declaration on Research Assessment – Araştırmaların Değerlendirilmesi Hakkında San Francisco Bildirisi‘ni yayınladılar. Bilim Akademisi de dahil olmak üzere çok sayıda kuruluş bu bildiriye imza attı. DORA bilimsel değerlendirmeler adına yapılan bazı önemli yanlışlıklara ve kötü alışkanlıklara vurgu yapıyor.
Bilimsel araştırmaların sonuçlarının açıklanması için çok değişik yollar olmasına rağmen, en önemli ve etkili yol hala bilimsel dergilerde yapılan yayınlardır. Bilimsel kuruluşlar veya ciddi akademik yayınevleri, konunun uzmanları tarafından incelenip, doğruluğu ve orijinalliği onaylanmış araştırma sonuçlarını basar ve dağıtırlar. Gerek bilim insanları için olsun gerekse de bu insanları işe alan veya maddi destek sağlayan kurumlar için olsun, bu yayınların önemini, kalitesini ve etkisini anlamak ve ölçmek şarttır.
Bu değerlendirmelerde çok kullanılan bir ölçüt dergi etki faktörüdür (journal impact factor). Aslında bu ölçüt, kütüphanecilere dergi seçiminde yardımcı olmaları için ortaya çıkarılmıştır ve kabaca bir dergide çıkan makalelerin iki yıl içerisinde aldıkları ortalama atıf sayısını gösterir. Eğer çok atıf alan bir makalenin bilime daha büyük katkılar yaptığını varsayarsak (ki bu çok tartışılmakta olan bir konudur), etki faktörü arttıkça derginin daha fazla okunduğu ve dolayısı ile daha “kaliteli” olduğu kavramı artık yerleşmiştir. Bu kavramı, bir doğa yasası olarak kabul eden kişiler/kurumlar ise değerlendirmelerini doğrudan yayın yapılan dergilerin etki faktörleri üzerinden yaparlar. DORA ise buna karşı atılmış bir adımdır.
DORA’ya göre etki faktörlerinin, araştırma değerlendirmede kullanılmasında çok ciddi eksiklikler bulunuyor. Bunlar
- Bir dergideki yayınların atıf sayılarının dağılımı ciddi çarpıklıklar gösterir. Yani derginin ortalama etki faktöründen çok az veya çok fazla atıf alan yayınlar vardır ve bunların dağılımı da normal (istatistiksel anlamda normal) değildir.
- Etki faktörü çok büyük ölçüde alana bağlıdır. Matematikte etki faktörü 1 olduğu zaman anlamlı olabilir ama moleküler biyolojide 1 çok zayıf dergi anlamına gelebilir.
- Kanımca en önemlisi: Etki faktörü manipülasyona çok açıktır. Bu tarz davranışlar maalesef artıyor. Editörlerin yazarları kendi dergilerindeki makalelere atıfta bulunmaya zorlamalarından, küçük ağlar kurarak atıf değiş-tokuşu yapılmasına ve sahtekarlığa kadar pek çok etik olmayan davranışı duyuyoruz, görüyoruz.
- Etki faktörlerindeki veriler topluma açık değil. Bu kadar hata içeren bir sistemin, akademik değerlendirme gibi hayati bir aşamada bilinçsizce kullanılması son derece tehlikeli sonuçlar doğurabilir.
DORA’da bu durumu düzeltmek için bazı öneriler var.
- Hiçbir atama, yükseltme ve fonlama işleminde dergi-bazlı ölçütlerin kullanılmaması,
- Araştırma değerlendirmelerinin yayınlandığı dergi üzerinden değil sadece yapılan iş/sonuçlar üzerinden yapılması. Doğal olarak bu tarz değerlendirmelerin yapılması zahmetli bir süreçtir ve algoritmik bir hale getirilemez.
İstatistikler, veri seti büyük olduğu zaman geçerlidir. Bir ülkeden yapılan yayınların tarihsel gelişimini anlamaya çalışırken, hangi dergilerde ne kadar yayın yapıldığının belirlenmesi çok önemli ipuçları verir. Buna karşılık bir bilim insanının değerlendirilmesinde sadece yayın yaptığı dergilerin etki faktörlerine bakmak çok anlamsız sonuçlar verebilir. Bazı önemli fikirler nispeten az okunan dergilerde yayınlandığı gibi, çok ciddi olarak bilinen dergilerde de içerik açısından zayıf makaleler olabilir. Dora içerisinde belirtilen bir üçüncü öneri ise halen çok tartışılmakta olan açık kaynakların artmasıdır. Açık kaynakların güvenilirliği ve etik sorunları henüz çözülmemiş problemler arasındadır. Bilim Akademisi Etik Komisyonu bu konuyu da içerecek şekilde bir çalışma grubu kurmuştur.
Ersin Yurtsever
Bilim Akademisi üyesi
Koç Üniversitesi Kimya Bölümü öğretim üyesi
