Yükseköğretimde her geçen gün artan kalite sorunu herkesin malumu. Bu sorunu aşabilmek için son günlerde bir takım adımlar atılıyor ve çözüm bulmaya çalışılıyor.
Bu adımların başlangıcı olarak ilk aşamada “açık erişim” kavramının içini boşaltan yağmacı dergilere [1] karşı cephe alındı [2]. Karara göre yağmacı dergilerde yayın yapanlar “artık” yükselme alamayacaklar. Bu karar yağmacı dergilere yönelik farkındalığın artışını göstermesi açısından sevindirici kabul edilse de çeşitli soru işaretlerini de beraberinde getiriyor. Bunlardan ilki daha önce yağmacı dergilerde yer bulan yayınlarıyla yükselme alanların unvanları ile ilgili herhangi bir çalışma/inceleme yapılıp yapılmayacağı.
Bunun yanında YÖK’ün duyuru yazısında yağmacı dergilerin özelliklerinin “belirlendiği” belirtiliyor. Fakat yine aynı yazı içinde “bu dergilerden ücret alınan fakat değerli ve akademik usule uygun yayın yapanlar ayrıca değerlendirilecek” açıklaması var. Bu açıklama yağmacı dergilerin kesin şekilde belirlenmesinin çok zor olduğunu göstermesi açısından oldukça önemli.
Yağmacı dergilerin listesinin oluşturulması, bu listelerin güncel tutulması, “şu özelliklere sahip olan dergiler kesin olarak yağmacıdır” denilebilecek bir kural listesi yaratılması halihazırda mümkün görünmüyor. Bunun temel sebebi ise kurallarla oynamak isteyenlerin sistemlerin açıklarını çok rahat buluyor olmaları. Örneğin, yağmacı dergileri dizinleyen bir platformu akademik yükselme kriterlerinden çıkardığımızda yağmacı dergileri engellememiş, yeni ve henüz kirlenmemiş (!) platformların kurulmasına katkı sağlamış oluyoruz. Çünkü sayılara dayalı sistemlerin arka kapılarını bulmak göründüğünü kadar zor değil.
Bugün kalite sorununu çözme yolunda yağmacı dergileri ele alırken, yağmacı dergilerin bu denli önemli bir problem haline gelmesine neden olan mevcut akademik yükselme ve teşvik kriterlerini değerlendirmeli ve aksayan yönlerini tespit etmeliyiz. Yalnızca sayılara odaklanan kriterler, başvuru dosyalarının içeriğinden çok kalınlığına odaklanılıyor oluşu ve akademik faaliyetlerin niteliğinden çok sayısına bakılması günümüz akademisinin bu noktaya gelmesinin en önemli sebebi.
Peki, bunu nasıl değiştirebiliriz? Çözüm, niteliğe odaklanan yeni yaklaşımlar geliştirmekte saklı. Ancak bunu yapmadan önce bilinmesi gereken çok önemli bir konu var; niteliği “ölçmek” niceliği ölçmek kadar kolay değil.
Niteliği ölçmek
Yakın zamanda Yükseköğretim Kurulu (YÖK) tarafından üniversitelerin “niteliği”ni gösterecek karneler verileceği duyuruldu [3], [4]. Duyuru, akademik performansların değerlendirilmesinde niteliğe odaklanan sistemlerin geliştirilmeye çalışıldığını göstermesinden ötürü umut verici. Yalnız daha dikkatli bakıldığında niteliği saptamak için yola çıkılan bir faaliyette ölçülecek unsurların listesinde yer alan maddelerin pek çoğunda “sayısı”, “oranı” veya “miktarı” gibi tanımlamalar göze çarpıyor ve bu da yine nitelikten çok niceliğin ön planda tutulduğunu gösteriyor. Kaliteyi ölçecek “sayı”ları bulduğumuzu düşünüyoruz ancak bu noktada dikkatlerden kaçmaması gereken bazı ayrıntıları atlıyoruz. Örneğin, yağmacı dergilerle savaşta pek çok kişinin aklına gelen ilk çözüm akademisyenlere Journal Citation Reports’ta (JCR) ilk iki çeyrek dilimde yer alan dergilerde yayın yapılmasının şart koşulması. Yani araştırmacıları en prestijli (!) dergilerde yayın yapmaya zorlamak. Ancak dergi çeyreklik dilimleri de yine sayıya yani dergi etki faktörlerine dayanıyor. Sadece bu çözüm önerisi üzerinden konuşulduğuna dahi karşılaşılabilecek bazı sorunlar:
- Her alanın dergi sayısı eşit değil. Örneğin, cerrahi alanında JCR kapsamında ilk %50’lik dilimde 100 dergi varken, tıp etiği konusunda 8 dergi bulunuyor. Bir cerrah ve tıp etiği çalışan bir akademisyenin ikisi de tıp ve sağlık bilimleri alanında çalışıyor olsa da dergi alternatifi bulma konusunda aynı şansa sahip değiller.
- Alanların bilimsel üretim özellikleri birbirinden çok farklı. JCR konu kategorileri bu sorunu bir nebze azaltıyor olsa da bazı alanlar için kitap üretimi makale üretiminin önünde ve makale üretimi yaygın değil. Bu durumlarda makale üretilmeyen alanlardan ilk iki çeyrekte yer alan makale beklenmesi sorunlu hale geliyor. Çünkü JCR yalnızca dergileri temele alıyor.
- Sanat ve insan bilimleri alanları için JCR etki faktörü hesaplanmıyor. Bu alanlarda dergi sayısı da çok az. Ayrıca konular sıklıkla yerel/bölgesel. Bu durumda sanat ve insan bilimleri çalışılan üniversiteler ile tıp fakültesi olan üniversiteler arasında karne “notlarında” devasa farklılıkların olması kaçınılmaz.
- JCR konu kategorizasyonu tartışmaya açık ve bir dergi birden fazla kategoride yer bulabiliyor. Bu nedenle bazı disiplinler arası dergiler dizinlendikleri tüm JCR kategorilerinin yayın/atıf özelliklerini taşımıyor olabiliyor. Örneğin, kütüphanecilik ve bilgibilim alanında yayınlanan 88 dergi içinde en üst sırada yer bulan MIS Quarterly dergisinin etki faktörü 5,430 (kütüphanecilik ve bilgibilim kategorisinin etki faktörü ortancası ise 1,180). Aynı dergi “yönetim” konu kategorisinde ise 13. sırada yer buluyor. Bu bağlamda dergilerin JCR sıralamasındaki yerlerine bakarak karar verdiğimizde JCR sınıflamasının doğru yapılıp yapılmadığına, ilgili dergilerin gerçekten o alanın dergisi olup olmadığına, çalışılan alt alanlar arasındaki farklılıklara bakılmadığında hata payımız artıyor.
- Etki faktörü yüksek dergilere daha dikkatli bakılmalı çünkü etki faktörü de diğer sayılar gibi kolaylıkla manipüle edilebiliyor. Örneğin, Energy Education Science and Technology (EEST) dergisinin 2011 yılında etki faktörü 31,677 iken aynı yıl Science dergisinin etki faktörü 31,201. Derginin yaptığı manipülasyon fark edildikten sonra dizinden çıkarıldı [5]. 2012 yılında Türkiye’de EEST dergisi yazarlarına toplamda 187.850 TL teşvik ödemesi yapıldı [6]. Günümüzde sıralamada ilk iki çeyrekte bulunan dergiler arasında EEST’ye benzer dergiler olup olmadığını kestirmek güç. Detaylı bir analiz yapılması gerekiyor.
Tam da bu nedenlerle, araştırma değerlendirmelerinin iyileştirilmesini hedefleyen DORA Deklarasyonunda dergi temelli ölçevlerin dikkatli kullanılması konusu en önemli maddelerden biri [7],[8]. Aslında karar vericilerin sarıldığı tüm sayısal ölçevlerin temel sorunu bu: Tek bir kalıbın herkese uygun olmaması. Akademisyenlerin ve/veya çalışma alanlarının hepsi tek bir kalıba sokulmaya çalışıldıkça sistemler arıza vermeye başlıyor.
Okuyucuların kafasında “hep soru işaretleri sıralanıyor, çözüm ne peki?” sorusunun oluştuğunu tahmin edebiliyorum. Çünkü bu konuda eleştiri yapmak çok kolay ancak uygulanabilir çözümlerin bulunması o kadar da kolay değil. Dünyada sayısal değerlendirmelere en iyi alternatifin akran değerlendirmeleri olduğu tartışılıyor ancak ülkemizde akranların kaliteli içerik sunmayan yayınlarla ve sistemlerle oynayarak kapıdan hasbelkader geçenler olması bu çözümü sorunlu hale getiriyor [9]. Bunun çözümü ise açık bilim kavramının alt başlığı olan açık akran değerlendirmelerinde saklı. Şeffaflık sağlandığında bu gibi sorunların kısmen de olsa önüne geçilmesi sağlanabilecektir.
Akran değerlendirmelerine ek olarak fon sağlayıcıların uyguladıkları değerlendirme yöntemlerinin performans değerlendirme sistemlerine entegrasyonu da çözüm sunabilir. Dünyada fon sağlayıcılar artık fon başvurularını değerlendirirken başvuru sahiplerinin tüm yayınlarının listesini istemiyor, bunun yerine yazarların en çok güvendikleri yayınlarını sunmalarını bekliyorlar [10]. Bu konuda benzer bir uygulama bu yıl Bilim Akademisi tarafından da yapılıyor. Bilim Akademisi Genç Bilim İnsanları Ödül Programı (BAGEP) başvuru şartlarında “Adayların başvuru sırasında en fazla 10 önemli yayından oluşan bir yayın listesinin yanında, ödülü alırlarsa yapacakları araştırmaları anlatan 2 sayfadan fazla olmamak üzere bir araştırma programını da sunmaları gerekir.” açıklaması yer alıyor [11]. Bu sayede tüm yayınlar değil, adayların en güvendikleri yayınlarını sunmaları olanaklı hale geliyor. Böylece “en kalın dosya” yerine “en iyi dosya”nın değerli olacağı mesajını alan yazarlar yağmacı yayıncıların tuzağına düşmüyorlar.
Alternatif çözümler çoğaltılabilir. Bu çözümler için gelişen bilgi teknolojilerinden yararlanılabilir ya da niceliksel yöntemler kullanılmak zorundaysa da bunların daha akıllıca kullanılması için çeşitli adımlar atılabilir. Yeter ki mevcut sorunların farkında olarak hareket edelim ve kaliteyi artırmak yolunda attığımız adımlar akademik sistemi iyileştirmeye yönelik olsun.
Zehra Taşkın
Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü öğretim üyesi
Kaynakça
[1] Taşkın, Z. ve Doğan, G. (2018, 24 Ekim). Bir tuhaf savaş: Açık bilim ve yağmacı dergiler. https://sarkac.org/2018/10/bir-tuhaf-savas-acik-bilim-ve-yagmaci-dergiler/#_edn2
[2] Yükseköğretim Kurulu. (2019, 9 Mart). “Yağmacı” dergi yayınları akademik yükseltmelerde kullanılamayacak. https://www.yok.gov.tr/Sayfalar/Haberler/yagmaci-dergi-yayinlarina-onlem.aspx
[3] Yükseköğretim Kurulu. (2019, 4 Mart). YÖK üniversitelere karne verecek. https://www.yok.gov.tr/Sayfalar/Haberler/yok-universitelere-karne-verecek.aspx
[4] Bursalı, O. (2019, 17 Mart). Üniversitelere karne ne değiştirir? Herkese Bilim Teknoloji. https://www.herkesebilimteknoloji.com/yazarhp/universitelere-karne-ne-degistirir
[5] Al, U. ve Soydal, İ. (2014). Akademinin atıf dizinleri ile savaşı. Hacettepe Üniversitesi Edebiyat Fakültesi Dergisi, 31(1), 23-42.
[6] Kaplan, A. (2013). Üniversitelerde bilimsel yayın çalışmaları [Sunum]. Bilimsel Dergilerimiz ve Uluslararası İndekslerdeki Yeri Çalıştayı. http://webftp.gazi.edu.tr/bidb/dergilercalistayi/sunular/ULAKBIM_Dergi_sunu.pptx
[7] Araştırma Değerlendirmesi üzerine San Francisco Deklarasyonu. https://sfdora.org/read/tr/
[8] Yurtsever, E. (2018, 28 Eylül). Bilimsel yayınlar nasıl değerlendirilmeli? https://sarkac.org/2018/09/bilimsel-yayinlar-nasil-degerlendirilmeli/
[9] Taşkın, Z. (2019, 15 Ocak). Akademinin yel değirmenleriyle savaşında Don Kişot olmak. https://sarkac.org/2019/01/akademinin-yel-degirmenleriyle-savasinda-don-kisot-olmak/
[10] Örneğin Polonya’da açılan bir proje çağrısında 10 yıllık zaman diliminde üretilmiş en fazla 10 önemli yayının listelenmesi bekleniyor. Bkz: https://www.ncn.gov.pl/sites/default/files/pliki/beethoven_classic3_annex_no_3_data_required.pdf
[11] Bilim Akademisi Genç Bilim İnsanları Ödül Programı (BAGEP) Yönergesi. (2019). https://bilimakademisi.org/wp-content/uploads/2018/11/bagep-yonerge-ve-protokol-kasim-2018.pdf
