Akademik Performans Ölçümünde Sanat ve İnsan Bilimleri

Son yıllarda akademik alanda görev yapan tüm karar verici ve yöneticilerin cevap bulmaya çalıştıkları bir soru var: “Akademik performans nasıl ölçülür/ölçülmelidir?”

Bu sorunun yanıtını bulmaksa sanıldığı kadar kolay değil. Tek bir kalıbın herkese uyduğu bir sistemi akademi içinde kurmak için tüm disiplinlerin ve alt disiplinlerin aynı özelliklere sahip olması gerek. Ancak gelin görün ki tüm alanlar birbirinden farklı ve her bir alanın kendine has özellikleri var. Bu özellikler dikkate alınmadan değerlendirme yapıldığında hatalı sonuçlara ulaşmak, yanlış değerlendirmeler yapmak, hatalı fon kararları vermek, teşvik ve yükselmeleri yanlış uygulamak gibi çeşitli sorunlarla yüz yüze geliyoruz. Öte yandan diğer alanlara hiç benzemeyen, tamamen kendine has, geleneksel analiz ölçevleriyle değerlendirildiğinde adil yaklaşılma şansı sıfıra yakın bir alan var: Sanat ve insan bilimleri. Bu yazıda sizlere sanat ve insan bilimleri ile diğer alanların farkını çeşitli bulgular aracılığıyla sunmak, Türkiye ve dünyadaki çeşitli gelişmelerden haberdar etmek ve farkındalık yaratmak arzusundayız.

Sanat ve İnsan Bilimlerinin Kendine Has Yapısı

Sanat ve insan bilimleri alanı yayın yapma ve atıf alma örüntüleri açısından özellikle pozitif bilimlere kıyasla büyük farklılıklar gösterir. Örneğin, pozitif bilimlerde ortak yazarlık yaygınken sanat ve insan bilimlerinde araştırmacılar tek başına çalışmayı tercih ederler. Yayın için tercih edilen ortamlar makalelerden ziyade farklı doküman tipleridir (eleştiri, kitap, nota vb.). Yayın üretme sıklığı az olduğu için atıf sayıları da düşüktür. Alanda yayımlanan dergi sayısı azdır. Konular çoğunlukla yerel ve bölgeseldir, dolayısıyla uluslararası yayın yapma ve alana katkı dinamikleri farklıdır. Alt alanlar arasında yakınsama pozitif bilimlere oranla düşüktür. Bununla birlikte alanın atıf yarı ömrü diğer alanlara göre oldukça yüksektir. Yani, bir yayının atıf alması için geçmesi gereken süre pozitif bilimlere göre çok daha fazladır [1].

Bu farklılıklara örnek olması açısından 1980-2019 yılları arasında Web of Science (WoS) veri tabanında en temel ve akademik yükselmelerde en sık kullanılan üç dizinde yer almış tüm yayınları, yayın ve atıf sayıları yönünden değerlendirdiğimizde farkları net olarak görebiliyoruz.  Bu dizinler, temel bilimlere ait yayınların yer aldığı Science Citation Index (SCI), sosyal bilimlere ait Social Sciences Citation Index (SSCI) ve sanat ve insan bilimlerini kapsayan Arts and Humanities Citation Index  (A&HCI) [2] .

Şekil 1, SCI, SSCI ve A&HCI dizinlerinde yer alan kategoriler [3] dikkate alınarak her bir dizinde yayın başına düşen atıf sayılarının dağılımını gösteriyor. Grafikte her bir siyah nokta ilgili dizinde yer alan kategorileri temsil ediyor. Grafiğe göre SCI dizininde yer alan kategorilerde yayın başına düşen ortalama atıf sayısı 14 iken (ortanca: 13), SSCI’da bu sayı 9 (ortanca: 8), A&HCI’da ise yalnızca 1 (ortanca: 0,6). A&HCI’da aykırı nokta olan ve diğerlerinden farklı konumlanan kategori Linguistics (Dilbilim) kategorisi ve bu kategori aynı zamanda SSCI’da da dizinleniyor. WoS’ta dizinlenen 255 kategori içinde yayın başına düşen atıf sayısı yönünden Linguistics kategorisi 180. sırada yer alırken diğer A&HCI kategorileri 224. sıradan sonra kendilerine yer buluyor. Bu da A&HCI’nın diğer iki dizinden farkına ilişkin en net bulgulardan birisi.

Şekil 1. WoS dizinlerinde yer alan kategorilerde yayın başına düşen atıf sayılarını gösterir kutu grafiği [4]
Buna ek olarak 1980-2019 yılları arasındaki yayınların doküman tiplerine dağılımına bakıldığında ise benzer farklılık hemen göze çarpıyor. Temel bilimler ile sosyal bilimler alanlarında makale üretimi yaygınken sanat ve insan bilimleri alanında kitap eleştirileri daha yaygın üretiliyor. Öte yandan sanat ve insan bilimleri diğer iki alanda hiç olmayan tiyatro ve sergi eleştirileri, şiirler ve müzik performansları gibi farklı üretim tiplerine de sahip. Tüm bu farklılıklar sanat ve insan bilimlerini diğerlerinden ayırıyor.

Şekil 2. SCI, SSCI ve A&HCI’da 1980-2019 yılları arasında üretilen yayınların doküman tiplerine dağılımı

Farklılıkların farkında mıyız?

Sanat ve insan bilimlerini diğerlerinden ayıran özellikler konusunda farkındalık düzeyini gösteren çeşitli örnekler yok değil. Araştırma değerlendirmelerinin daha adil yapılması yönünde bir girişim olan Araştırma Değerlendirmesi üzerine San Francisco Deklarasyonu‘nda dergi etki faktörü gibi dergi temelli ölçevlerin dikkatli kullanılması tavsiye edilirken; dergi etki faktörü değerlerini hesaplayan Journal Citation Reports (JCR) veri tabanı, sanat ve insan bilimlerinin bu yönü sebebi ile A&HCI için bu hesaplamayı yapmıyor. Yine araştırma değerlendirmeleri için önemli bir yere sahip olan “Leiden Manifesto”da sanat, insan bilimleri ile sosyal bilimlerin yerel ve ulusal yapısı sebebiyle ilgili alanlarda etki faktörü değerinin kullanılamayacağı açıkça vurgulanıyor.

Tüm bunların yanında 2016 yılında başlayan ve 2020 yılı Nisan ayına kadar devam edecek olan ENRESSH (European Network for Research Evaluation in the Social Sciences and the Humanities) projesinde sosyal bilimler ve insan bilimleri için yeni nesil ve iyileştirilmiş araştırma değerlendirme sistemleri yaratılması için çalışılıyor.

Türkiye’de ise TÜBİTAK Ulusal Bilimsel Yayınları Teşvik Programı (UBYTP) kapsamında başlangıçta sanat ve insan bilimleri alanındaki yayınları desteklemek amacıyla bu alandaki yayınların tamamına en üst düzeyde destek verildi ve ayrıca iki katı teşvik ödemesi yapıldı [5]. 2015 yılından sonra ise A&HCI dergileri için yayın ve atıf sayısına dayalı hesaplamalar ULAKBİM tarafından yapılarak A&HCI dergileri için de dergi atıf puanlarına dayalı teşvik listeleri hazırlandı. 2019 yılına gelindiğinde bu hesaplama kararı geride bırakılarak, tüm sanat ve insan bilimleri dergilerinin eşit miktarda destekleneceği açıklandı. Bu sayede atıf ve yayın sayıları diğerlerine benzemeyen sanat ve insan bilimleri alanının diğerleri ile aynı ölçevlerle değerlendirilmesinin önüne geçilmiş oldu.

Tüm bu gelişmeler sanat ve insan bilimleri alanının değerlendirilmesine yönelik olarak çeşitli değişimler olduğuna işaret ediyor. Bu değişimlerin tetikleyeceği yeniliklerle yakın gelecekte sanat ve insan bilimlerinin daha tutarlı ve doğru değerlendirileceğini umut ediyor, tüm karar vericileri yalnızca sanat ve insan bilimleri açısından değil, tüm alanlar için disiplin bazlı farklılıkları dikkate almaya davet ediyoruz.

Zehra Taşkın ve Güleda Doğan
Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü öğretim üyeleri

Notlar

[1] Bu konuda yapılmış birkaç çalışma için:

  • Al, U., Şahiner, M. ve Tonta, Y. (2006). Arts and humanities literature: Bibliometric characteristics of contributions by Turkish authors. Journal of the Association for Information Science and Technology, 57, 1011-1022.
  • Taşkın Z. ve Doğan G. (2014) Evaluation of scientific disciplines in Turkey: A citation analysis study. Gathegi J. N., Tonta Y., Kurbanoğlu S., Al U., Taşkın Z. (Yay. Haz.) Challenges of Information Management Beyond the Cloud. IMCW 2013 Communications in Computer and Information Science içinde (ss. 148-155). Heidelberg: Springer.
  • Taşkın, Z. ve Doğan, G. (2019). Başlangıcından bugüne entelektüel birikimi ve bilime katkılarıyla Hacettepe Üniversitesi. Ankara: Hacettepe Üniversitesi Yayınları. http://yunus.hacettepe.edu.tr/~ztaskin/gd_zt_2019.pdf
  • Uçak, N.Ö. ve Al, U. (2009). The differences among disciplines in scholarly communication: a bibliometric analysis of theses. Libri, 59, 166-179. Doi: 10.1515/libr.2009.016

[2] Web of Science Clarivate Analytics firması tarafından hizmete sunulan bir veri tabanıdır. Bu veri tabanı içinde 255 temel konu kategorisine ait 20.000’den fazla seçilmiş dergi dizinlenmektedir. Veri tabanında dizinlenen 10 farklı dizin yer alsa da en temel ve akademik yükselmelerde en sık kullanılan üç dizin ise temel bilimlere ait yayınların yer aldığı Science Citation Index, sosyal bilimlere ait Social Sciences Citation Index ve sanat ve insan bilimlerini kapsayan Arts and Humanities Citation Index’tir. Detaylı bilgilere https://clarivate.libguides.com/webofscienceplatform/coverage adresinden ulaşılabilir.

[3] Grafikleri elde etmek amacıyla InCites veri tabanında yer alan ve 1980-2019 yılları arasında yayımlanmış 60 milyondan fazla yayın ve bu yayınlara ilişkin diğer veriler (atıf sayısı, atıf almayan yayın sayısı vb.) kullanılmıştır. Her bir dizinde hangi kategorilerin yer aldığına ilişkin bilgiler için ise GIPP Mapping Table’dan yararlanılmıştır: http://help.incites.clarivate.com/inCites2Live/indicatorsGroup/aboutHandbook/appendix/mappingTable.html

[4] Kutu grafiği (box-plot), iki kutu ve iki çizgiden oluşan bir grafik türüdür. Çizgilerin sınırları dışında kalan noktalar uç değerleri göstermektedir. Kutu ve çizgilerin her biri bir çeyrekliği temsil etmekte olup, iki kutuyu birbirinden ayıran çizgi ise 50. yüzdelik ya da 2. çeyrek değer olarak da bilinen ortanca (medyan) değerdir. Çizgilerin bitiş noktaları uç değerler çıkarıldığında dağılım sınırlarının (en küçük ve en büyük değerin) ne olduğu bilgisini vermektedir. Örnek olması için SCI dizininde yer alan kategoriler için oluşturulan yeşil renkli kutu grafiğe göre üç kategori yayın başına düşen atıf sayılarının diğer kategorilerden farklı ve daha yüksek olması sebebiyle uç değer olarak görünmektedir. Tüm kategoriler yayın başına düşen atıf sayılarına göre en küçükten en büyüğe sıralandığında, ortanca çizgisi ile birleşen iki yeşil kutu yayın başına düşen atıf sayısı bakımından en ortada yer alan %50’lik kategori grubunu göstermektedir. Ortanca çizgisi bu %50’lik orta grubu iki çeyreklik dilime bölen değerdir. Ortanca çizgisi ile birleşen iki yeşil kutunun üstünde kalan çizginin sınırları yayın başına düşen atıf sayısı en yüksek %25’lik dergi grubunu temsil etmekte ve bu dergi grubu için yayın başına düşen atıf sayılarının hangi aralıkta değiştiğini göstermektedir. Benzer şekilde, iki yeşil kutunun altında kalan çizginin sınırları yayın başına düşen atıf sayısı en düşük %25’lik dergi grubunu temsil etmektedir.

[5] Tonta, Y. (2017). TÜBİTAK Türkiye Adresli Uluslararası Bilimsel Yayınları Teşvik (UBYT) Programının değerlendirilmesi. Ankara: TÜBİTAK ULAKBİM.

Önceki İçerikHukuk tüketiciyi ne zaman ve nasıl korumalıdır?
Sonraki İçerik1933 üniversite reformuna bir bakış
Zehra Taşkın

Zehra Taşkın, Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü öğretim üyesidir. Taşkın, 1 Kasım 2019-31 Ekim 2021 tarihleri arasında yürütücüsü olduğu ve Polonya Ulusal Ajansı tarafından desteklenen “İngilizce ve Lehçe için içerik tabanlı atıf analizi sistemi” başlıklı projesini tamamlamak üzere ziyaretçi öğretim üyesi olarak Adam Mickiewicz Üniversitesi Bilimsel İletişim Araştırma Grubunda (Poznań, Polonya) görev yapacaktır.

Temel araştırma alanlarını araştırma performans değerlendirmeleri, bibliyometri, veri görselleştirmesi, araştırma verilerinin yönetimi, bilimsel iletişim ve sosyal ağ analizi gibi konular oluşturmaktadır.

Taşkın’ın yüksek lisans tezi atıf dizinlerinde üniversite adreslerinin standardizasyon sorununa makine öğrenmesi temelli bir çözüm önerisi sunmuş, doktora tezi ise tüm atıfların eşit değerde olmadığı hipotezinden hareketle içerik tabanlı bir atıf analizi modeli ortaya koymuştur. Bu bağlamda NASA Astrobiyoloji Enstitüsü ve Tokyo Teknoloji Enstitüsü tarafından fonlanan araştırmalarda bulunmuş, ayrıca TÜBİTAK projelerinde ve Bill ve Melinda Gates Vakfı tarafından desteklenen Herkes için Kütüphane projesinde aktif rol almıştır.

Güleda Doğan

Güleda Doğan lisans derecesini 2007 yılında Hacettepe Üniversitesi İstatistik Bölümünde tamamlamış, aynı üniversitenin Bilgi ve Belge Yönetimi Bölümünden 2011 yılında yüksek lisans ve 2017 yılında doktora derecesini almıştır. 2008 yılından bu yana Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümünde Araştırma Görevlisi olarak çalışmaktadır. Çalışma konuları Araştırma Yöntemleri, Bibliyometri, Üniversite Sıralamaları, Bilimsel İletişim ve Açık Erişimdir. Açık erişim politikaları üzerine yapılan iki AB projesi olan MedOANet ve Pasteur4OA projelerinde yer almıştır. Güleda Doğan, ayrıca Türk Kütüphaneciliği adlı dergide yaklaşık 10 yıldır editör olarak görev yapmaktadır.