Araştırma değerlendirmede “sayıların egemenliği”ne karşı yeni bir anlaşma

Son zamanlarda bilimsel araştırmaların nasıl değerlendirilmesi gerektiği konusunda yoğun tartışmalar yaşıyoruz. Bu değerlendirmeler gerek bilim insanlarının atanması, yükseltilmesi, ödüllendirilmesi gibi noktalarda karşımıza çıkıyor, gerekse de araştırma projelerine destek sağlamada ve çıkan sonuçları irdelemede önemli rol oynuyor.

Hayati değer taşıyan araştırma değerlendirmelerin sağlam ve bilimsel temellere dayanması gerekir. Çok emek isteyen bu işi yapmanın kolay yolu, araştırma ürünlerini (çoğunlukla yayınlar) bir takım sayısal kriterleri kullanarak karşılaştırılabilir hale getirmektir. Üniversitelerimizde atamaların ve yükseltmelerin neredeyse tamamına yakınında bahsedilen ölçütleri içeren puanlamalar kullanılmaktadır.

 

Objektif olduğu düşünülen bu yöntemde kişiler veya kurumlar sayısal algoritmalardan çıkan ölçütlerle sıralanarak sonuca gidilir. Yayın ve atıf sayıları, dergilerin etki faktörleri ve bunların h-endeksi gibi çeşitli türevleri sayısal algoritmaların temelini oluşturur. Değerlendirme yapanların kişisel düşüncelerinin dışarıda bırakılmasının objektifliği sağladığı öne sürülür.  Oysa değerlendirmeyi yapanların alana hakimiyetlerinin dışarıda bırakılması objektifliğe zarar verir. Maalesef kültürümüzde kayırma, torpil gibi kavramların yerleşmiş olması da bu ölçütlere düşkünlüğümüzü arttırmaktadır.

Bilimde gelişmiş ülkelerde de sayısal ölçütlere bağlılık sürüyor fakat özellikle son yıllarda bu sistemin karşıtlarının sesi yükseliyor.

Bilim Akademisi’nin de imzaladığı 2012 tarihli “Araştırma Değerlendirmesi üzerine San Francisco Deklarasyonu“^[1]Yurtsever, E. (2018) Bilimsel yayınlar nasıl değerlendirilmeli? – San Francisco Bildirisi, Sarkaç, https://sarkac.org/2018/09/bilimsel-yayinlar-nasil-degerlendirilmeli/ dergi etki faktörlerinin içerdiği yanılgıları vurguluyordu ve dergi etki faktörü gibi sayısal ölçevlerin araştırma değerlendirmelerini etkilememesi yönünde tavsiyede bulunuyordu.

2015’te yayınlanan Leiden Manifestosu da araştırmaları değerlendiren sayısal ölçevleri “süzgeçten” geçiriyor ve bunların kullanımında mutlaka dikkate alınması gereken 10 adet prensibi sıralıyordu.^[2]Hicks, D., Wouters, P., Waltman, de Rijcke, S. ve Rafols, I. (2015) Bibliometrics: The Leiden Manifesto for research metrics, https://www.nature.com/articles/520429a

Sarkaç’ta daha önce yayın ve atıf sayılarının temelinde bazı ciddi değerlendirme sorunlarını içerdiğini anlatan pek çok yazı yayınlanmıştı.^[3]Taşkın, Z. (2022) Avrupa’da açık erişim ve araştırma değerlendirmesi üzerine umut verici gelişmeler, Sarkaç, https://sarkac.org/2022/03/osec2022/

Tonta, Y. ve Akbulut, M. (2020) Performansa dayılı akademik teşvik sistemleri üzerine, Sarkaç, https://sarkac.org/2020/09/performansa-dayali-akademik-tesvik-sistemleri-uzerine/

Taymaz, E. (2020) Akademik performans ölçütlerine sayısal bakış, Sarkaç, https://sarkac.org/2020/03/akademik-performans-olcutlerine-sayisal-bakis/

Taşkın, Z. ve Doğan, G. (2019) Akademik performans ölçümlerinde sanat ve insan bilimleri, Sarkaç, https://sarkac.org/2019/07/akademik-performans-olcumunde-sanat-ve-insan-bilimleri/

Taşkın, Z (2019)  Yükseköğretimde kalite üzerine, Sarkaç,  https://sarkac.org/2019/03/yuksekogretimde-kalite-uzerine/

Yurtsever, E. (2019) Bilimsel araştırmaların paylaşımında “FAIR”, Sarkaç, https://sarkac.org/2019/03/bilimsel-arastirmalarin-paylasiminda-fair/

Taşkın, Z. (2019) Akademinin yel değirmenleriyle savaşında Don Kişot olmak, Sarkaç, https://sarkac.org/2019/01/akademinin-yel-degirmenleriyle-savasinda-don-kisot-olmak/

Tonta, Y. (2018) Araştırma değerlendirme üzerine, Sarkaç, https://sarkac.org/2018/12/arastirma-degerlendirme-uzerine/

Yurtsever, E. (2018) Goodhart Yasası ve akademideki ölçütlerin ölçebilirliği üzerine, Sarkaç, https://sarkac.org/2018/04/goodhart-yasasi-akademik-olcutler/ Öte yandan bu sayılarla etik olmayan şekillerde nasıl oynanabileceği de biliniyor.^[4]Tonta, Y. ve Al, U. (2022) Üniversitelerde rant kollama, Sarkaç, https://sarkac.org/2022/03/universitelerde-rant-kollama/

Tihan, T. (2020) Bilimsel yazarlık ve yazarlık etiği hakkında: Fırsatçı dergiler ve yayınevleri, Sarkaç, https://sarkac.org/2020/11/bilimsel-yazarlik-ve-yazarlik-etigi-hakkinda-firsatci-dergiler-ve-yayinevleri/

Yurtsever, E. (2019) 2018’in en ilginç bilim yayını usulsüzlükleri, Sarkaç, https://sarkac.org/2019/01/2018-bilim-yayini-usulsuzlukleri/

Meraklısına Bilim: Özensiz araştırma üzerine, https://youtu.be/fxSejQ5wmIY

Yeni bir koalisyon ve yeni bir anlaşma metni

2022 Temmuz ayında kamu ve özel araştırma fon sağlayıcıları, üniversiteler, araştırma merkezleri gibi birçok kurum ve kuruluşun yer aldığı bir koalisyon olan CoARA^[5]Coalition for Advancing Research Assesment / Araştırma Değerlendirmeyi Geliştirme Koalisyonu isimli oluşum yeni bir anlaşma metni duyurdu. Bilim Akademisi de bu anlaşmayı Türkiye’den ilk imzalayan kuruluş oldu. “Araştırma değerlendirme reformu anlaşması/  Agreement on reforming research assessment” imzacıları, araştırma değerlendirmelerinde yeni bir reforma ihtiyaç olduğunu kabul ediyor; araştırmanın kalitesini ve etkisini ölçmede farklı ürünlere bakılması gerektiğini, sayısal ölçevler tam olarak dışlanmasa da değerlendirmelerin temelinde akran yani meslektaş değerlendirmelerinin olmasını benimsiyor.

Bu anlaşmanın tam metnini bu adreste bulabilirsiniz ama bazı öne çıkan görüşleri vurgulamakta yarar var:

1. 1. Araştırma değerlendirme kriterler kaliteye odaklanmalıdır. Fikirlerin orijinalliği, araştırmanın profesyonelce yürütülmüş olmasına ve “en son teknoloji”nin ötesinde sonuçların elde edilmiş olması önemli kriterlerdir.  Sonuçların herkese açık ve tekrarlanabilir olması beklenir.^[6]Bilimsel Araştırmaların paylaşımında “bulunabilir, erişilebilir, her yerde çalışabilir ve tekrar kullanılabilir” kriterlerinin önemini öne çıkaran FAIR girişimi: Yurtsever, E. (2019) Bilimsel araştırmaların paylaşımında FAIR, https://sarkac.org/2019/03/bilimsel-arastirmalarin-paylasiminda-fair/
   2. Araştırmanın bilgiyi arttırma potensiyeli önemlidir. Bu potensiyel tabii ki araştırma alanının doğasına çok bağlıdır.
      • Kaybettiğimiz kimyacı Bahattin Baysal üretilen makalelerin iki türlü makale olduğunu söylerdi: Veri üreten veya bilgi üreten makaleler. Söz konusu anlaşma metni de bilgi üreten araştırmaların değerini vurguluyor.
   3. Değerlendirmeler disiplinlerin farklılıklarını, araştırmacının bulunduğu kariyer adımlarını ve yapılan iş birliklerini de dikkate almalıdır.
      • Nitekim Nature’da yayınlanan bir yazıda araştırmacıların bulunduğu ülkelerin durumu ve kendi coğrafyalarına katkılarının da göz önüne alınmasını öneriliyor. ^[7]Lebel, J. ve McLean, R. (2018) A better measure of research
        from the global south, https://media.nature.com/original/magazine-assets/d41586-018-05581-4/d41586-018-05581-4.pdf
   4. Bilhassa h-endeks ve dergi etki faktörü gibi yersiz ölçütler bir kenara bırakılmalıdır.
   5. Araştırma değerlendirmelerinde, kurum sıralamalarından vazgeçilmelidir.
   6. Değerlendirme yapılabilmesi için gerekli kaynaklar yaratılmalıdır.
      • Sayısal kriterlerin elde edilmesi kolay olduğu gibi ucuz da bir yöntemdir;  bu yöntemlere heves edilmeden gerekli kaynakların değerlendirme süreçlerine ayrılması gerekir.
   7. Araştırmacıların araştırma rollerindeki çeşitliliği vurgulanmalı, toplumla işbirliği gibi çalıştıkları kurum dışındaki etkinlikleri ve katkıları da değerlendirme kriterleri arasında olmalıdır.
   8. Cinsiyet ve etnik faktörler başta olmak üzere, kişilerin geçmiş deneyimlerinden gelen farklılıkların araştırma performansına farklı yansımaları dikkate alınmalıdır.

Anlaşma metninde aynı zamanda değerlendirmelerin bu koşullarda yapılabilmesi için gereken kurumsal davranışlar tanımlanıyor.

Şimdi bize düşen görev, çabucak yapılabilecek ve pek çok hataya açık sayısal/algoritmik işlemlerden vazgeçmek ve onun yerine ölçebildiğimiz sürece kaliteyi anlayacak/anlatabilecek değerlendirmeleri yapmaya çalışmak. Bilim Akademisi kurulduğundan beri hem yeni üye seçimlerinde hem de BAGEP ödülleri değerlendirme süreçlerinde bunu zaten yapıyordu, şimdi de bu anlaşmanın altına imza atmış bulunuyor.

Ersin Yurtsever
Bilim Akademisi üyesi, Koç Üniversitesi Kimya Bölümü emekli öğretim üyesi