Akademik performans değerlendirmelerinde kitapların yeri

Bilimsel çıktılar dergi makalelerinden ibaret değil, kitaplar için de değerlendirme sistemlerine ihtiyacımız var.

Son yıllarda ülkemizde bilimin nasıl değerlendirilebileceğine yönelik çok sayıda yazı yayımlanıyor, bilimsel çıktıların ölçülmesine yönelik tavsiyelerde bulunuluyor ve birtakım ölçevler/sistemler geliştiriliyor. Ancak tüm bu çalışmalar sıklıkla dergiler etrafında şekilleniyor. Araştırma performans değerlendirmesi dendiğinde ilk akla gelen sıklıkla etki faktörü veya çeyrek dilimi gibi tamamıyla dergi temelli göstergeler. Ancak her disiplin farklı ve kitapların dergilerden çok daha önemli görüldüğü disiplinler var. Örneğin, sosyal bilimler ve insan bilimleri araştırmacıları için kitapların makalelerden çok daha önemli olduğu biliniyor.^[1]Bu konuda yapılmış çeşitli araştırmalar için bkz: Doğan, G. ve Taşkın, Z. (2020). Humanities: The Outlier of Research Assessments. Information, 11(11), 540. Doi: 10.3390/info1111054
Kulczycki, E. ve Korytkowski P. (2020). Researchers publishing monographs are more productive and more local-oriented. Scientometrics, 125, 1371-1387. Doi: 10.1007/s11192-020-03376-x
Taşkın, Z. ve Doğan, G. (2019). Akademik Performans Ölçümünde Sanat ve İnsan Bilimleri. Sarkaç. https://sarkac.org/2019/07/akademik-performans-olcumunde-sanat-ve-insan-bilimleri/.

Araştırma değerlendirmeleriyle ilgili kararlar alınmadan veya politikalar hazırlanmadan önce tüm bilimsel çıktıların özelliklerinin anlaşılması, bunların hangi amaca hizmet ettiğinin bilinmesi ve amaca uygun çıktıların üretilmesi önemli. Bilimsel üretimin raporlanabileceği, her bilimsel amaca uygun çok çeşitli doküman tipleri var (araştırma makalesi, derleme, ders kitabı, el kitabı gibi). Ancak araştırma politikalarında bu doküman tiplerinin özellikleri doğru şekilde belirtilmediğinde tüm bilimsel çıktılar birbirine benzemeye başlıyor. Kitaplar ve makaleler arasındaki fark tanımlanmadığında makale olarak hakem onayı alamamış yazıların herhangi bir bilimsel değerlendirmeye tabi tutulmaksızın kitap olarak yayımlanması ve sistem içinde kabul görmesi olanaklı hale geliyor. Bu durum, okuyucusu olmayan veya bilimsel kitap niteliği bulunmayan yüzlerce kitabın basılmasına sebebiyet veriyor. 

Öte yandan günümüzde yağmacı dergi yayıncılığı kadar yağmacı kitap yayıncılığı da yaygın. Sıklıkla lisansüstü tezlerini hedefleyen yağmacı kitap yayıncıları tez sahiplerini “avlıyor” ve telif haklarının devri ile bir miktar para karşılığında herhangi bir editoryal süreç olmaksızın tezleri kitap olarak basıyor.^[2]UTSA Libraries. Predatory book and chapter publishing.https://libguides.utsa.edu/predatory_publishing Tez sahipleri de araştırma değerlendirme sistemlerimizin talep ettiği “teze dayanan yayın” şartını bu sayede kolaylıkla yerine getiriyor. Ancak tüm bu süreçler bilimsel kitap yayıncılığı algısının “matbaacılık” ile sınırlandırılmasına sebebiyet veriyor.

Akademik Teşvik Ödeneği Yönetmeliği ve Doçentlik Sistemi

Güncel araştırma değerlendirme sistemlerimizi incelediğimizde bilimsel kitaplar için ayrıntılı değerlendirme kriterlerinin olmadığını söylemek yanlış olmaz. Neredeyse hiçbir sistem kitapların değerlendirilmesi için bilimsel kriterler sunmuyor. Bilimsel kitaplar için hakemlik veya editörlük mekanizması dergi makalelerinde olduğu gibi genel kabul görmüş süreçler değil. 

Örneğin, Akademik Teşvik Ödeneği Yönetmeliğinde^[3]Akademik Teşvik Ödeneği Yönetmeliği 2021: https://www.mevzuat.gov.tr/anasayfa/MevzuatFihristDetayIframe?MevzuatTur=21&MevzuatNo=201811834&MevzuatTertip=5 tanınmış ulusal yayınevi “en az beş yıldır ulusal düzeyde düzenli faaliyet yürüten, daha önce aynı alanda farklı yazarlara ait en az yirmi kitap yayımlamış ve yükseköğretim kurumu senatosunun kararıyla alanında etkinliği ve saygınlığı kabul edilen yayınevi” olarak tanımlanırken uluslararası yayınevi ise “en az beş yıldır uluslararası düzeyde düzenli faaliyet yürüten, Türkçe dışındaki dillerde aynı alanda farklı yazarlara ait en az yirmi kitap yayımlamış ve yükseköğretim kurumu senatosunun kararıyla alanında etkinliği ve saygınlığı kabul edilen yayınevi”olarak açıklanıyor. Açıklamada kitapların hakem değerlendirmesinden geçmesi veya bir editöre sahip olup olmaması gibi herhangi bir kritere yer verilmiyor. Öte yandan pek çok performans değerlendirme sistemimizde olduğu gibi temel kriter yine sayılara dayanıyor: “En az beş yıl hizmet vermek, en az yirmi kitap yayımlamış olmak“ gibi. 

Bununla birlikte “Yükseköğretim Kurumu senatosunun kararıyla etkinliği ve saygınlığı kabul edilmiş yayınevi” tanımı açık değil. 2019 Akademik Teşvik Ödeneği Yönetmeliğinde^[4]Akademik Teşvik Ödeneği Yönetmeliği 2019: https://www.mevzuat.gov.tr/mevzuat?MevzuatNo=20158305&MevzuatTur=3&MevzuatTertip=5 bu tanıma “Türkiye’deki yükseköğretim kurumlarının kütüphanelerinde kataloglanan” ve “Yükseköğretim Kurulunca tanınan yükseköğretim kurumlarının kataloglarında yer alan” maddelerinin eklendiği ancak sonraki iki yılda bu kriterlerin kaldırıldığını görmek mümkün. Tüm bunlar “Akademik Teşvik Ödeneği” sisteminde kitapların tanımının oldukça muğlak olduğunu gösteriyor.

Üniversitelerarası Kurul tarafından belirlenen doçentlik kriterlerinde de^[5]Doçentlik kriterleri (Tablo 11 – Sosyal, Beşeri ve İdari Bilimler Temel Alanı): https://www.uak.gov.tr/Documents/docentlik/2021-ocak-donemi/basvuru-sartlari/TA_Tablo11_2021O_10032020.pdf  benzer bir yaklaşım var. Kriterlerde bir yayınevinin tanınması için en az dört yıldır faaliyet göstermesi gerekliliği belirtiliyor. Ulusal bir yayınevinin Türkiye’deki üniversite kütüphanelerinde, uluslararası bir yayınevinin ise herhangi bir sıralama kuruluşunca belirlenen ilk 500’e giren bir üniversitenin kütüphanesinde kataloglanıyor olması şartı var. Üniversite sıralama sistemlerinde halihazırda çeşitli problemler varken herhangi bir sıralama sisteminde, herhangi bir yıl yer bulmuş bir üniversitenin katalogunda yer almış olmayı bir kriter olarak kabul etmek doğru görünmüyor. 

Hem “Akademik Teşvik” hem de doçentlik sisteminde yer bulan kataloglanma şartının 2009’da geliştirilen ve bir kitabı ulusal veya uluslararası toplu kataloglarda kataloglanma sayısına göre derecelendiren libcitation ölçevine dayandığı düşünülebilir.^[6]White, H.D., Boell, S.K., Yu, H., Davis, M., Wilson, C.S., Cole, F.T.H. (2009). Libcitations: A measure for comparative assessment of book publications in the humanities and social sciences. Journal of the American Society for Information Science and Technology, 60(6), 1083-1096. Doi: 10.1002/asi.21045 Ancak bu ölçevin Türkiye’deki sistemde uygulanmasında çeşitli sorunlar var. Libcitation ölçevinin temel amacı kitapların kültürel etkisinin ortaya çıkarılması ve kütüphanelerin “en”lerinin (bestseller) belirlenmesidir; bir kitabın tek bir kütüphanede kataloglanmasıyla değil, kaç farklı kütüphanede kataloglandığı ile ilgilenir.^[7]Zuccala A., Robinson-García N. (2019) Reviewing, indicating, and counting books for modern research evaluation systems. Glänzel W., Moed H.F., Schmoch U., Thelwall M. (Yay. Haz.). Springer Handbook of Science and Technology Indicators içinde (ss. 715-728) Springer Handbooks. Springer, Cham. https://doi.org/10.1007/978-3-030-02511-3_27 Öte yandan bu ölçev kitabın kalitesi ile ilgili değil, yayıncının prestiji ve kitabın popülaritesiyle ilgilidir. Ayrıca, kütüphanelerin kataloglama ilkeleri, bağış politikaları, okuyucu talepleri gibi pek çok konu bir kitabın kütüphanelerdeki bulunurluğunu etkileyebilir. Ancak Türkiye’deki sistem gibi tek bir kütüphanede kataloglanmanın yeterli sayıldığı durumlarda derleme kütüphanelerinde zorunlu olarak bulunan tek kopya veya bir yazarın çalışmakta olduğu üniversitenin kütüphanesine bağışladığı kopyası ilgili kitabı kurallara uygun hale getirebilir. Bu durumda kataloglanma şartı ile ilgili maddelerin gözden geçirilmesi gerekiyor.

Üniversitelerin Yükselme Kriterlerinde Kitaplar

Üniversitelerimizin yükselme kriterlerinde kitapların değerlendirilmesi için Web of Science Book Citation Index gibi kitap dizinleri veya SENSE Ranking of Academic Publishers gibi çeşitli uluslararası kitap sınıflama sistemleri kullanılıyor. Yükselme kriterlerinde bu listelere giren ve giremeyen yayınevleri arasında puan açısından büyük farklılıklar göze çarpıyor.^[8]Örneğin, Hacettepe Üniversitesi yükselme kriterlerinde SENSE sıralamasında yer alan yayınevleri tarafından basılmış kitaplar 10 ila 80 arasında puan alırken bu sıralama dışında kalan uluslararası yayınevleri en fazla 30, ulusal yayınevleri en fazla 20 puan alabilmektedir. Ancak yükselme veya teşvik sistemlerinde bu gibi listelerin kullanımına da şüpheyle yaklaşmalı. Çünkü bunların seçim kriterleri tam olarak sunulmadığından listelerde yer almanın yayınevinin kalitesinden ziyade prestiji için bir gösterge olduğu belirtiliyor. Bu noktada bilimsel camiada prestijin sıklıkla yayınevlerinin cirosu ile ölçüldüğü de unutulmamalı.^[9]Zuccala, A., Guns, R., Cornacchia, R, Bod, R. (2015). Can we rank scholarly book publishers? A bibliometric experiment with the field of history. Journal of the Association for Information Science and Technology, 66(7), 1333–1347. doi:10.1002/asi.23267

Öte yandan sınırlı sayıda yayınevine ilişkin bilgi sunan SENSE sınıflamasının yalnızca Hollanda Enstitüleri için geliştirildiği belirtiliyor ve başka kurumlar tarafından kullanılması tavsiye edilmiyor.^[10]SENSE sınıflamasının web sitesinde şu açıklama yer almaktadır: “Please note that the WASS-SENSE ranking list of publishers has been set up for the WASS and SENSE Dutch Graduate Schools only. The list is based on the publishing houses used by our researchers. It should not be used by other institutes.” Ancak Türkiye’deki pek çok üniversite bu sınıflamayı kitapların seviyelerini belirlemek için kullanmakta.

Listelenen tüm bu “kritersizlik” bazı üniversiteler tarafından üretilen kitaplar için geçerli değil. Örneğin, Hacettepe Üniversitesi Yayın Yönergesinde^[11]Hacettepe Üniversitesi Yayın Yönergesi: https://www.hacettepe.edu.tr/duyuru/yonergeler/50,yayinyonergesi151210.pdf üniversite yayını olarak basılacak kitapların türleri ayrıntılı olarak açıklanmış ve hakem değerlendirme süreci tanımlanmış durumda. Ancak ilginç olan, kitaplar için belirli bilimsel kriterlere sahip üniversite yayınevinin adının üniversite tarafından kitap değerlendirmelerinde dikkate alınan SENSE sınıflamasında ya da Book Citation Index’te yer almıyor oluşu. Bunun sebebi çok açık, bu gibi sistemler -uluslararası büyük cirolu yayınevlerinden oluşan- çok küçük bir yayıncı evreni hakkında bilgi sağlıyor. Ancak, sosyal bilimler ve insan bilimleri alanlarında çalışan ve kitap yayımlayan araştırmacıların çoğunun yerel konular üzerinde yoğunlaştıkları da bilinen bir gerçek.^[12]Kulczycki, E. ve Korytkowski P. (2020). Researchers publishing monographs are more productive and more local-oriented. Scientometrics, 125, 1F371-1387. Doi: 10.1007/s11192-020-03376-x Dolayısıyla uluslararası sınıflamaları dikkate alan tüm kriterler yerel konularda kitap yayımlayan araştırmacıların üretimlerini diğerlerinden daha az değerli kabul ediyor. 

Nasıl ölçeceğiz?

Bilimsel çıktıların değerlendirilmesi konusunda yazılanların tamamının kilitlendiği soru bu: “Madem böyle ölçemeyeceğiz, nasıl ölçeceğiz?”

Çeşitli ülkeler kitapların değerlendirilmesi için çeşitli çözümler bulmuş durumda.^[13]Kulczycki, E. ve Korytkowski, P. (2018). Redesigning the Model of Book Evaluation in the Polish Performance-based Research Funding System. Journal of Data and Information Science, 3(4). Doi: 10.2478/jdis-2018-0021 Bazı ülkeler kriter listesi kullanırken bazı ülkeler ise ulusal ve uluslararası yayınevlerini içeren yayıncı listesi hazırlıyor. Hiçbir sistem mükemmel değil; her birinin avantaj ve dezavantajları var. Ancak bu sistemlerin ülkemize uygun olup olmadığını anlamak için geniş çaplı bir ön araştırma yapılması şart. Bu gibi listeler bugünden yarına alınacak kararlar ile oluşturulamaz. Oluşturulduğu takdirde mevcut durumdan daha kötü sonuçlar da doğurabilir. Bu tür uygulamaların tehlikeleri ile ilgili önemli bir örnek şu anda Polonya akademisinde yaşanıyor. Polonya’da performans değerlendirmede kullanılan dergi/kitap listeleri birkaç yıldır uzman bir komisyon tarafından belirleniyor. Ancak son günlerde Polonya’nın en güncel tartışma konularından biri Eğitim ve Bilim Bakanı tarafından komisyon onayı alınmadan listelere sonradan eklenen düşük seviyeli bilimsel olmayan dergiler ve onlara atfedilen puanlar.^[14]Oświadczenie Komisji Ewaluacji Nauki [Bilim değerlendirme komitesi açıklaması]: https://forumakademickie.pl/sprawy-nauki/oswiadczenie-komisji-ewaluacji-nauki/ Bu durum sabit listelerin belirlenmesi gibi hızlı çözümlerin akademik özgürlükler ve komisyonların yapısı gibi çeşitli sorunlar sebebi ile oldukça dikkatle uygulanması gerekliliğin altını çiziyor.

Sonuç olarak günümüz akademik sisteminde performans değerlendirme odağının dergi makalelerine olduğu kadar kitaplara da yönelmesi bir zorunluluk gibi görünüyor. Üretilen kitapların bilimsel gelişime hizmet etmesini istiyorsak kitapların değerlendirilmesine yönelik araştırma politikaları hazırlanmasının gerekliliğine dikkat çekmek istiyoruz.

Zehra Taşkın, Adam Mickiewicz University in Poznan, Scholarly Communication Research Group
Güleda Doğan, Hacettepe Üniversitesi, Bilgi ve Belge Yönetimi Bölümü

Bu eser Creative Commons Atıf-GayriTicari 4.0 Uluslararası Lisansı ile lisanslanmıştır. İçerik kullanım koşulları için tıklayınız.