Akademik değerlendirmeler ve objektif/subjektif karışıklığı

Daha önce Sarkaç sayfalarında defalarca değinildiği gibi, akademik hayat boyunca pek çok kez bir yarış içerisinde buluruz kendimizi. İşe girmek, terfi etmek, proje veya ödül almak gibi değişik amaçlar için girilen yarışlarda, günümüzde maalesef çok rastlandığı gibi, bilimsellikten uzak kıstasların geçerli olduğu durumları dışarıda bırakırsak adayların o zamana kadar yaptıkları ve/veya ileride yapacakları bir sıralamaya tabi tutulur.

Sıralamalar spor müsabakalarının çoğunda kolayca yapılabilir. Örneğin yüksek atlamada çıtayı en yukarı çekebilen birincidir.  Buna karşılık buz dansı gibi dallarda karar vermek bu kadar kolay olmayabilir, o zaman fazla sayıda jüri üyesi kullanıp, doğru bir istatistiksel sıralama yapmak tercih edilir. Tabii jüridekilerin kararlarını vermeleri için bazı kriterlerin olması, bu insanların alanı iyi bilmeleri ve tarafsız karar verebilecek düzeyde olmaları beklenir. Bunlardan birincisi otomatik bir karar mekanizması olması nedeniyle objektif, diğeri ise kişisel görüşlerin etkili olmasından ötürü subjektif olarak kabul edilir ve daha çok itirazlara neden olur.

Akademik değerlendirmelerde de aynı ikilemle karşı karşıyayız. Eğer bir kara kutumuz varsa ve bu kutu, sıralamayı insan faktörü olmadan belirli bir algoritma üzerinden yapabilirse, tümüyle objektif bir değerlendirme olacaktır. Sorun bu algoritmayı bulmakta yatmaktadır. Bir bilim insanının “değeri”, ürettikleri ve bunun evrensel bilime katkıları ile ölçülmesi gerektiği için bu değeri veren formül ne olmalıdır?

Geçmiş devirlerde bilim insanı sayısı çok fazla değildi ve bunların arasında kuvvetli bir iletişim vardı. Örneğin kuantum mekaniğinin ortaya çıkışında, o yılların iletişim zorluklarına rağmen, bütün önde gelen bilimciler birbirlerinin yaptıklarından haberdardı ve kimin ne kadar önemli katkısı olduğu bilinirdi. Şimdi ise bilim insanı sayısını, makale sayısını milyonlar ve bilimsel dergi sayısını on binlerle ifade ediyoruz. Üstelik bilimde farklılaşmış saha sayıları da o kadar arttı ki, bunları birbiriyle karşılaştırmak da çok zorlaştı.

Sayıların yüksekliğinin getirdiği zorluğun basit bir örneği, ülkemize üniversitede okumak için girilen sınavdır. Milyonlarca öğrenciyi sıralamaya sokmak için bir sınav yapıyoruz, burada alınan puanlar sonucunda hangi öğrencinin hangi okullara yerleştirileceği belirleniyor. Bu sistem objektif ama kimse memnun değil. Demek ki, insan faktörünü dışarıda bırakmak çözüm değil. ABD’de ise benzer bir sınav olan SAT sonuçları baz alınır fakat öğrenci seçimini bir komisyon yapar. Bu daha subjektif bir seçim ama şikayetler bizdekinden daha az. Tabii, bu karşılaştırma çok haklı değil çünkü ABD’de istediği okula giremeyen öğrenci benzer başka bir üniversite bulabiliyor. Bizim sorunumuz ise aslında, biraz haklı gerekçelerle, kendimize güvenemememiz. Yani subjektif diye bilinen bir sistemin objektif olarak kullanılabileceğine inanmamak.

Lise mezunlarını sıralamak için kullanılacak formüller sınırlı sayıda ama akademisyenler için durum oldukça farklı. Örneğin proje destekleyecek kurumların sayılarının azlığı ve kısıtlı fonlar nedeniyle birbirinden farklı alanlardaki bilim insanlarını karşılaştırmak gerekebilir veya Bilim Akademisi’ne üye seçerken bir fizikçi ile matematikçinin yaptığı katkıların önemi tartışılabilir.^[1]Araştırma değerlendirmede niteliğe odaklanmak: Bilim Akademisi deneyimi, https://sarkac.org/2024/12/arastirma-degerlendirmede-nitelige-odaklanmak-bilim-akademisi-deneyimi/

Bu durumda nasıl bir algoritma devreye girebilir? Buraya konacak parametreler sonuçları çok etkileyecektir. Mesela patentlere puan verilecek mi? Veya kitap bölümleri hangi ağırlıkta değerlendirilecek?

En basit yöntem olarak yayın ve atıf sayısı veya bunların karışımından oluşan ölçütler (h-endeks gibi) görülmektedir. Bunlar objektiftir, kolayca bulunabilir ve uç noktalarda da gayet iyi çalışır. Yani h-endeksi 1 olan ile 70 olanı karşılaştırmak kolaydır. Tabii yine dikkatli olmak gerekir. Fermat’ın son teoremini ispatlayan A.J. Wiles, 23 makale yazmıştır ve h-endeksi 17’dir. Bugün ülkemizde malzeme alanında çalışan pek çok genç kimyacının h-endeksi çok daha yüksektir. Bu tarz uç örnekleri dışarıda bıraksak bile salt bir sayı ile bir bilim insanını değerlendirmek doğru olmaz.

Akademik hayatım boyunca değişik nedenlerle binden fazla özgeçmişi incelemem gerekti ve bunların bir kısmı da benim alanımın dışındaydı. Bunları değerlendirirken şu noktaları anlamaya çalıştım:

Bu sorulardan beklentiler doğal olarak adayın bilim hayatının hangi aşamasında olduğuna göre değişecektir. Ama sonuç olarak istenen, adayın yeterli bilimsel olgunluğa kavuşup kavuşmadığını anlamaktır.

Bütün bu faktörleri bir formüle indirmek mümkün değil, o nedenle böyle bir değerlendirme doğal olarak subjektif olacak ve olmalı da. Bu subjektifliğin olumsuz bir anlam taşımadığını hatta algoritmik değerlendirmelerden daha sağlıklı olduğunu düşünüyorum.

Neden kolaya kaçıp, esas meseleyi kaçırıyoruz?

Günümüzde insanlara ve kurumlara güven çok sarsıldığı için yapılan öznel değerlendirmenin sağlıklı ve doğru olacağına inancımız zayıf.

Başta verdiğimiz örnekte olduğu gibi eğer bazı spor branşlarında konuya hakim ve tarafsız kişilerin yapacağı değerlendirmeler geçerli olabiliyorsa, akademik kararların da bu şekilde alınabilmesi mümkündür ve bunun çeşitli örnekleri ülkemizde vardır. Örneğin bugün Bilim Akademisi’nde olduğu gibi, TÜBA’nın eski yıllarında da üye seçimleri çeşitli basamaklardaki değerlendirmelerden sonra Genel Kuruldaki üyelerin oyları ile yapılırdı. Genel Kurula katılanlar da böyle bir seçimden geçerek geldikleri için -eski deyimi ile- rüştünü  ispatlamış kişilerdi. Rektörün mutlak hakimiyeti ile yönetilmeyen bir grup üniversitemizde de öğretim üyelerinin işe alınmaları için  benzer yöntemler kulanılmaktadır.

Sonuç olarak akran değerlendirmesi dediğimiz yöntemler, bireylerin görüşlerinden derlendiği için “subjektif” sınıfına girer ama bu subjektiflik o kişilerin bilime yaptığı katkıların bir sonucu olduğu için bütün algoritmik ölçütlerden çok daha “objektif”tir.

Ersin Yurtsever
Bilim Akademisi üyesi,
Koç Üniversitesi Kimya Bölümü