Bilimsel yayınlar nasıl değerlendirilmeli? – San Francisco Bildirisi

2012 yılı aralık ayında bir grup bilimsel dergi yayıncısı ve editörü toplandılar ve DORA olarak bilinen San Francisco Declaration on Research Assessment Araştırmaların Değerlendirilmesi Hakkında San Francisco Bildirisi‘ni yayınladılar. Bilim Akademisi de dahil olmak üzere çok sayıda kuruluş bu bildiriye imza attı. DORA bilimsel değerlendirmeler adına yapılan bazı önemli yanlışlıklara ve kötü alışkanlıklara vurgu yapıyor.

Bilimsel araştırmaların sonuçlarının açıklanması için çok değişik yollar olmasına rağmen, en önemli ve etkili yol hala bilimsel dergilerde yapılan yayınlardır. Bilimsel kuruluşlar veya ciddi akademik yayınevleri, konunun uzmanları tarafından incelenip, doğruluğu ve orijinalliği onaylanmış araştırma sonuçlarını basar ve dağıtırlar.  Gerek bilim insanları için olsun gerekse de bu insanları işe alan veya maddi destek sağlayan kurumlar için olsun, bu yayınların önemini, kalitesini ve etkisini anlamak ve ölçmek şarttır.

Bu değerlendirmelerde çok kullanılan bir ölçüt dergi etki faktörüdür (journal impact factor). Aslında bu ölçüt, kütüphanecilere dergi seçiminde yardımcı olmaları için ortaya çıkarılmıştır ve kabaca bir dergide çıkan makalelerin iki yıl içerisinde aldıkları ortalama atıf sayısını gösterir. Eğer çok atıf alan bir makalenin bilime daha büyük katkılar yaptığını varsayarsak (ki bu çok tartışılmakta olan bir konudur), etki faktörü arttıkça derginin daha fazla okunduğu ve dolayısı ile daha “kaliteli” olduğu kavramı artık yerleşmiştir. Bu kavramı, bir doğa yasası olarak kabul eden kişiler/kurumlar ise değerlendirmelerini doğrudan yayın yapılan dergilerin etki faktörleri üzerinden yaparlar. DORA ise buna karşı atılmış bir adımdır.

DORA’ya göre etki faktörlerinin, araştırma değerlendirmede kullanılmasında çok ciddi eksiklikler bulunuyor. Bunlar

  1. Bir dergideki yayınların atıf sayılarının dağılımı ciddi çarpıklıklar gösterir. Yani derginin ortalama etki faktöründen çok az veya çok fazla atıf alan yayınlar vardır ve bunların dağılımı da normal (istatistiksel anlamda normal) değildir.
  2. Etki faktörü çok büyük ölçüde alana bağlıdır. Matematikte etki faktörü 1 olduğu zaman anlamlı olabilir ama moleküler biyolojide 1 çok zayıf dergi anlamına gelebilir.
  3. Kanımca en önemlisi: Etki faktörü manipülasyona çok açıktır. Bu tarz davranışlar maalesef artıyor. Editörlerin yazarları kendi dergilerindeki makalelere atıfta bulunmaya zorlamalarından, küçük ağlar kurarak atıf değiş-tokuşu yapılmasına ve sahtekarlığa kadar pek çok etik olmayan davranışı duyuyoruz, görüyoruz.
  4. Etki faktörlerindeki veriler topluma açık değil. Bu kadar hata içeren bir sistemin, akademik değerlendirme gibi hayati bir aşamada bilinçsizce kullanılması son derece tehlikeli sonuçlar doğurabilir.

DORA’da bu durumu düzeltmek için bazı öneriler var.

  1. Hiçbir atama, yükseltme ve fonlama işleminde dergi-bazlı ölçütlerin kullanılmaması,
  2. Araştırma değerlendirmelerinin yayınlandığı dergi üzerinden değil sadece yapılan iş/sonuçlar üzerinden yapılması. Doğal olarak bu tarz değerlendirmelerin yapılması zahmetli bir süreçtir ve algoritmik bir hale getirilemez.

İstatistikler, veri seti büyük olduğu zaman geçerlidir. Bir ülkeden yapılan yayınların tarihsel gelişimini anlamaya çalışırken, hangi dergilerde ne kadar yayın yapıldığının belirlenmesi çok önemli ipuçları verir. Buna karşılık bir bilim insanının değerlendirilmesinde sadece yayın yaptığı dergilerin etki faktörlerine bakmak çok anlamsız sonuçlar verebilir. Bazı önemli fikirler nispeten az okunan dergilerde yayınlandığı gibi, çok ciddi olarak bilinen dergilerde de içerik açısından zayıf makaleler olabilir. Dora içerisinde belirtilen bir üçüncü öneri ise halen çok tartışılmakta olan açık kaynakların artmasıdır. Açık kaynakların güvenilirliği ve etik sorunları henüz çözülmemiş problemler arasındadır. Bilim Akademisi Etik Komisyonu bu konuyu da içerecek şekilde bir çalışma grubu kurmuştur.

Ersin Yurtsever
Bilim Akademisi üyesi
Koç Üniversitesi Kimya Bölümü öğretim üyesi


Creative Commons LisansıBu eser Creative Commons Atıf-GayriTicari 4.0 Uluslararası Lisansı ile lisanslanmıştır. İçerik kullanım koşulları için tıklayınız.


Önceki İçerikRosalind Franklin’e Yapılan Haksızlık
Sonraki İçerikEvrim Üzerine
Ersin Yurtsever

Bilim Akademisi üyesi Ersin Yurtsever,  ODTÜ Kimya Bölümü’nden 1971 yılında lisans ve 1973 yılında yüksek Teorik Kimya dalında yüksek lisans derecesini aldı.  Virginia Commonwealth Üniversitesi’nde (ABD) yaptığı Kimya doktorasını 1976 yılında tamamladı. Araştırma alanı, kimyasal olayların matematiksel modellemeleridir.

ODTÜ Kimya Bölümü’nde öğretim üyeliği (1980-1995), ODTÜ Eğitim Fakültesi Dekanlığı (1993-1995), Türkiye Bilimler Akademisi (TÜBA) Yönetim Kurulu üyeliği (1997-2001), Koç Üniversitesi Fen ve İnsani Bilimler Fakültesi Dekanlığı (2001-2008), Koç Üniversitesi Fen Fakültesi Dekanlığı (2008-2010) yaptı.

1995’ten bu yana da Koç Üniversitesi Kimya Bölümü’nde öğretim üyesi olan Ersin Yurtsever, Bilim Akademisi’nin kurucu üyelerindendir ve 2011-2017 yılları arasında yönetim kurulu üyeliği yapmıştır.