Araştırma değerlendirmede niteliğe odaklanmak: Bilim Akademisi deneyimi

Akademik dünyada, belki de bu camianın dışında olanların çok farkında olmadığı ciddi bir yarış sürmekte. Kim veya hangi kurum daha fazla bilim üretiyor ve hangisinin etkisi daha fazla? Bilimsel araştırmaların ölçümü büyük oranda yayımlanan bilimsel makaleler ve bunların uluslararası bilime katkısı ile belirleniyor.

Bazı yarışların kuralları kesin bir şekilde belirlidir. Örneğin 100 metre yarışında sıralama ipi göğüsleme zamanı ile yapılır ve sonuçların tartışılacak bir durumu olamaz. Ama buz dansı gibi yarışmalarda bir jürinin değerlendirmesi esas alınır. Akademik dünyada bu kavramların karşılığı olarak iki akım bulunmakta. İlkinde yayın sayıları, bu yayınların yapıldığı dergilerin etki faktörleri (derginin ve dolayısı ile makalenin bilimsel önemini gösterdiği varsayımından yola çıkarak) ve bu makalelere yapılan atıflar üzerinden değişik yöntemlerle çıkarılan sayısal ölçütler kullanılıyor. Böyle ölçütleri kullananlar, kişilerden bağımsız olmaları nedeni ile objektif bir değerlendirme olduğunu öne sürmekteler. Makale ve atıf veritabanlarına rahatlıkla ulaşabilmenin yanında istatistiksel analizleri de kolayca yapabilmenin sonucunda  sıralamalar günümüzde oldukça popüler olmuş durumda. Sıklıkla “bilimi yönlendirenler” veya “en iyi üniversiteler” gibi sıralamalara rastlamak mümkün.

Ne zaman değerlendirme konusu gündeme gelse, Campbell yasası olarak bilinen ifade akla geliyor.

“Sosyal karar verme mekanizmalarında kullanılan sosyal göstergeler ne kadar nicel olursa, bu göstergeler o derecede baskı altında kalacak ve denetlemeleri gereken süreçleri de o derecede bozacaktır”.^[1]Yurtsever, E. (2018) Üniversite/Lise Giriş Sınavları ve Campbell Yasası, https://sarkac.org/2018/09/sinavlar-ve-campbell-yasasi/

Bunu akademik yarışmalara uygulayalım; makale yazmak ve atıf almak bilimin amacı haline gelmişse, bunu başarmak için özensizce yapılmış araştırmaların çıktıları yayınlanabilir veya çeşitli hileler ortaya çıkabilir. Günümüzde bütün dünyadaki durum maalesef budur. “Retraction Watch” websitesinden takip edebileceğiniz gibi makaleler sıklıkla yayımlandıktan sonra yayın ve etik kurulları tarafından geri çekilmektedir; bunların bazıları yazarların talebiyle olmakla birlikte çoğunlukla etik sorunlar dolayısıyla yazarlara rağmen gerçekleşmektedir. Retraction Watch bülteni haftada 4-5 defa bu konudaki olayları raporlamakta ve bültene ücretsiz olarak abone olmak mümkün.

Salt sayısal değerlendirmelere karşı çıkan oldukça önemli sayıda bilim insanı, yayıncı ve kuruluş da mevcut. Bu gruplar tarafından yayınlanan DORA,^[2]Yurtsever, E. (2018) Bilimsel yayınlar nasıl değerlendirilmeli? – San Francisco Bildirisi, https://sarkac.org/2018/09/bilimsel-yayinlar-nasil-degerlendirilmeli/  CoARA^[3]Araştırma Değerlendirmesini Geliştirme Koalisyonu (CoARA) öncülüğünde oluşturulan Araştırma Değerlendirme Reformu Avrupa Mutabakatı hakkında Bilim akademisi açıklaması, https://bilimakademisi.org/wp-content/uploads/2022/11/coara-ba.pdf gibi deklarasyonlarda gerçek değerlendirmelerin bu tür sayısal ölçütlere dayanmak yerine, araştırmacının alanıyla ilişkili diğer araştırmacılar tarafından, niteliğe odaklanılarak yapılması öngörülüyor.  Bilim Akademisi de bu deklarasyonların imzacılarından biridir.

Pek çok “yayın sayıcı”nın göz ardı ettiği nokta, DORA ve CoARA’nın yayın ve atıf sayılarının kullanılmasına karşı olmadığıdır. Deklarasyonlar bu sayıların dışarıda bırakılmasını değil sadece akran değerlendirilmesinde akıllıca kullanılması gerektiğini öne sürmektedir. Bundan, örneğin yayın sayılarının yanında bu yayınların kimlerle yapıldığı, ne kadar tekrar içerdiği, hangi dergilerde yayınlandığı, kimlerin atıf verdiği ve daha önemlisi nasıl bir atıf verildiği gibi otomatik değerlendirilmesi zor noktalara dikkat edilmesi gerektiği kast edilmektedir.

Nobel ödülleri otomatik verilmediği gibi Akademilerde de sayısal algoritmalar kullanılmaz

TÜBA’nın kuruluş dönemlerinde üye seçimi için konseyde ve genel kurulda yanıtlanması gereken soru hep “Bu bilim insanı hangi fikirleri ile bilinir?” idi. Bu önemli bir sorudur ve bu soruya yalnız ilişkili alanlardaki diğer uzmanların değerlendirmesiyle yanıt verilebilir. Bu tür değerlendirmeye akran değerlendirmesi (peer review) denir.

Bilim Akademisi’nde üye seçimi çok aşamalı bir şekilde yapılır.^[4]Bilim Akademisi üye seçim süreçleriyle ilgili kapsamlı bilgiye buradan ulaşabilirsiniz. En az üç Akademi üyesi bir araya gelerek bir aday önerir. Önce bu üç akademi üyesi adayı neden önerdiklerini açıklarlar, Bilim Akademisinin üye seçim sürecini belirleyen yönergeye göre,  aday önerilirken şu soruların yanıtlanması beklenir:

1. İlk ve en önemli nokta olarak adayın bilime katkısının ne olduğu,
2. Yaptığı kuramsal ve yöntemsel katkılar,
3. Getirdiği değişik bakış açıları,
4. Bilinen teoriler çerçevesinde açıklanamayan, yeni bir açılım gerektiren bulgular, özel bir yaratıcılıkla gerçekleştirilmiş sıradışı ölçümler ve/ya veriler,
5. Eserlerine yapılmış önemli atıflar (kullanılan ifadelerden örneklerle),
6. Oluşturduğu yeni araştırma alanları,
7. Ülkemizde bilimin gelişmesine yaptığı katkılar,

Üye seçim sürecindeki bir diğer önemli unsur da adayın en önemli gördüğü yayımlanmış üç eserini Bilim Akademisi’ne iletmesi ve eğer bu eserler makale ise, elektronik kopyaları, kitap veya kitap bölümleri ise yayınevi, editör gibi bilgilerin bulunduğu sayfaların kopyaları ile birer tanıtım yazısının da aday önerme dosyasına eklenmesidir.

Daha sonra sahanın önemli isimlerinden en az üç kişi, adayın üyeliğe uygun olup olmadığını gerekçeleriyle değerlendiren birer rapor yazarlar. Bu aşamalarda sayısal göstergelerden oldukça uzak bir şekilde adayın bilime katkılarının açık olarak belirtilmesi istenir. Daha sonra bu değerlendirmeler adayın alanındaki bütün üyelerle paylaşılır ve herkesten adayın oylanması istenir. Kapalı olarak yürütülen bu süreçteki oy dağılımı genel kurula sunulur ve aday tüm üyeler tarafından oylanarak genel kurulda sonlanır. Amaçlanan önemli nokta alanın dışındaki üyelerin de anlayabileceği şekilde adayın bilimsel katkılarının gösterilmesidir.

Bilim Akademisi’nin Genç Bilim İnsanları Ödül Programı (BAGEP)  süreçlerinde de benzer yaklaşımlar benimsenmiştir.^[5]BAGEP ödülü süreçleriyle ilgili kapsamlı bilgiye buradan ulaşabilirsiniz. BAGEP ödülü kriterlerini sağlayan tüm araştırmacılar başvuru yapabilir. Ödül kazananlar,  hem adayın alanındaki üyelerden hem de daha önce BAGEP ödülü almış deneyimli bilim insanlarından oluşan jürilerin adayın özgeçmişi ve önerdiği projeyi değerlendirmeleri sonucunda belirlenir. Başvuru formunda önerilen araştırmanın amacı ile bilime ve varsa uygulamaya katkısı yani özgün değerinin ortaya konması beklenir.

Bu jürilerde görüş sunan üye sayıları oldukça yüksek olduğu için, istatistiksel dağılımlarla sağlıklı bir akran değerlendirmesi gerçekleşmektedir. BAGEP başvuru süreci hakkında daha fazla bilgiyi buradan bulabilirsiniz.

Sonuç olarak biz Bilim Akademisi olarak DORA ve CoARA ilkelerini benimsiyoruz. Araştırma değerlendirmelerini temel alan süreçlerimiz sayısal ölçütlere dayanmadan ve akran değerlendirmesini önceleyecek şekilde bu ilkelerle örtüşmektedir ve sürekli olarak iyileştirilmektedir.

Ersin Yurtsever (Bilim Akademisi üyesi, Koç Üniversitesi Kimya Bölümü)