Akademik performans ölçütlerine sayısal bakış

Shutterstock

Bilim topluluğu, bilimsel yayınlar ve nitelik

Bir toplumsal pratik olarak bilimsel faaliyetlerin kapsamı ve metodolojisi, bu faaliyeti yürütenler tarafından, “bilim insanları” topluluğu tarafından tanımlanıyor. Bu nedenle bilimsel çalışmaların bilimselliği de yine bilim insanları tarafından, “akran değerlendirmesi” (peer review) ile kontrol ediliyor. Akran değerlendirmesi, bilimsel proje başvurularının değerlendirmesinden, çalışmaların yayımlanmasına kadar pek çok konuda yaygın olarak kullanılıyor. Akran değerlendirmesinin önemli rolünden dolayı her bilim insanının bu sürece gönüllü olarak (ve çoğu kez bir maddi beklenti içerisinde olmadan) katılması ve katkıda bulunması bekleniyor.

Bilim insanlarından beklenen bir başka önemli uygulama da çalışmalarında kendilerinin geliştirmediği bilginin kaynağına referans vermeleri. Bilimsel faaliyetlerin sonuçları kamuya açık olarak sunuluyor, fakat bu bilgiyi kullanan bilim insanlarının bilgiyi geliştiren kişiye/kişilere referans vermesi de (atıf yapması) bilimsel etik açısından zorunlu görülüyor.

Akran değerlendirmesi ve bilgi kaynağına atıf uygulamalarının bilimsel faaliyetler açısından önemi yadsınamaz. Fakat yayın sayısı ve yayınların ne kadar atıf aldığı gibi ölçütler artık bilimsel çalışmaların nicelik ve niteliğinin ölçülmesinde, “objektiflik” adına kullanılan ölçütler halini aldı.

Bu uygulamalar, temel amaçları dışında, bilimsel performans değerlendirmesi için kullanılmaya başlandığında sorunlar ortaya çıkıyor.. Bunların en önemlisi bilimsel faaliyetlerde bu ölçütleri karşılama kaygısının öne çıkması ile ölçütlerin ölçme özelliğini kaybetmesi. İkinci önemli sorun ise farklı bilimsel alanlarda çok farklı uygulamaların olması.

Alan bazında etki katsayıları ve bekleme süreleri

Akademik değerlendirmelerde yayın sayısı yanında etki katsayısı (faktörü) yüksek dergilerde yayın yapılması da önemli. Etki katsayısı bir dergide son iki senede yayınlanmış makalelerin bir senede aldığı atıf ortalaması olarak tanımlanıyor.  Etki katsayısının nitelik ölçümünde kullanılmasındaki temel varsayım, bilimsel niteliği ve/veya etkisi yüksek olan yayınların daha fazla atıf alacağı.

Farklı alanlardaki bilimsel toplulukların pratiklerindeki farklardan dolayı atıf verme davranışlarında alan bazında önemli farklar var. Bu nedenle etki katsayısını hesaplayan kuruluşlar, yayın değerlendirmelerini genellikle “alan” bazında yapıyorlar. Bilimsel faaliyetlerdeki uzmanlaşma sonucu tanımlanan bu alanların da aslında fazla genel kaldığı ve bu nedenle alan farklılıklarını yeteri kadar yansıtamadığı söylenebilir.

Bilimsel faaliyetler açısından atıf sayısı kadar önemli bir başka faktör de çalışmaların yayımlanma süresi. Bilimsel dergilerde kullanılan akran değerlendirmesi, çalışmaların yayımlanmasını geciktiren en önemli etkenlerden biri. Bilimsel dergilerde kabul oranı ve değerlendirme süreleri önemli farklılıklar gösteriyor. Bu nedenle hangi derginin bir makaleyi ortalama kaç ayda değerlendirdiği, çok yayın yapma baskısı altındaki bilim insanları açısından önem kazanıyor.

Springer yayınevi etki katsayılarına ek olarak dergilerin ortalama ilk karar süresi (başvurudan ilk kararın verilmesine kadar geçen süre) ve ortalama kabul süresi (başvurudan yayıma kabule kadar geçen süre) istatistiklerini yayımlıyor. Bu verileri derleyerek farklı bilimsel alanlarda bekleme sürelerini karşılaştıracağız [1]. (Dergilerin kabul oranları da göz önüne alınması gereken bir başka önemli faktör, fakat bu konuda incelenen tüm dergiler için toplu veri bulunmuyor.)

Şekil 1’de farklı bilimsel alanlardaki etki katsayıları görülüyor. Şekilde mavi çubuklar ilgili alanda yer alan dergilerin ortanca (median) etki katsayısını gösteriyor. Sarı noktalar ise, sırasıyla, %25 ve %75’lik dilimdeki dergilerin etki katsayıları.  (Bu şekildeki alanları Springer yayınevinin kullandığı alan tanımlarından anahtar kelimeler kullanılarak oluşturduk. Bu nedenle şekildeki alan tanımları ile Springer’in alan tanımları aynı olmadığı gibi şekilde tüm alanlar da kapsanmıyor.)

Bekleneceği ve bilindiği gibi etki katsayıları alanlar arasında önemli farklılıklar gösteriyor. Örneğin toksikoloji alanındaki dergilerin etki katsayısı finans alanındaki dergilerin etki katsayısından yaklaşık 2,5 kat daha fazla. Daha doğru bir ifade ile söylemek gerekirse, son yıllarda toksikoloji alanındaki dergilerde yayımlanan makaleler, finans alanındaki dergilerde yayımlanan makalelerden 2,5 kat daha fazla atıf alıyorlar.

Şekil 2’de ise aynı alanlar için, başvurudan kabule kadar geçen süre verileri yer alıyor. Alan bazında dergilerin yayın değerlendirme süreçlerinde de önemli farklılıklar var. Örneğin yöneylem araştırmaları, finans, iktisat ve işletme gibi alanlarda “kabul”e kadar geçen süre yaklaşık 10 ay iken, toksikoloji, tıp, nanoteknoloji gibi alanlarda bu süre 3-4 aya kadar düşüyor.

Şekil 2’de iki sarı nokta arasındaki fark, alan içi dergiler arasındaki farklılığı gösteriyor. Örneğin, toksikoloji alanındaki dergilerin %50’sinde ortalama bekleme süresi 2,8-4,1 ay arasında. Yazılım mühendisliğinde ise dergilerin %50’sinde kabul yazısını görmek için 6,2-12,2 ay arasında beklemek gerekiyor. Bir başka deyişle, toksikoloji alanında dergiler arasında bekleme süresi çok farklı değil, fakat yazılım mühendisliğinde değerlendirme süreci dergiden dergiye büyük farklılık gösterebiliyor.

Etki katsayısı ve bekleme süresi yayın performansı açısından önemli iki etken. Bu iki etken arasında alan bazında bir ilişki var mı?

Şekil 3’de alan bazında bu ilişki görülüyor (yatay eksendeki değişken ilgili alandaki dergilerin ortanca etki katsayısı, düşey eksendeki değişken de ortanca bekleme süresi; mavi noktalar alanları, sarı çizgi de iki değişken arasındaki doğrusal ilişkiyi gösteriyor). Şekilde açıkça görüldüğü gibi bu iki değişken arasında negatif (ve istatistiksel olarak %5 düzeyinde anlamlı) bir ilişki var: etki katsayısı yüksek olan alanlarda bekleme süresi daha kısa. Bu durum, yayın performansı değerlendirilirken sadece alanlar arasındaki etki katsayısı farkının değil, bekleme süresindeki farklılığın da göz önüne alınması gerektiğini gösteriyor. İki değişken arasındaki ilişkinin negatif olması bu farklılığı daha da önemli hale getiriyor çünkü etki katsayısı açısından “avantajlı” durumda olan alanlar, bekleme süresi açısından da avantajlı durumdalar.

Alan bazında etki katsayısı ve bekleme süresi arasındaki negatif ilişki, bir alan içindeki dergiler arasında da gözleniyor mu? Örnek olarak, Şekil 4 iktisat alanındaki dergiler için bu iki değişken arasındaki ilişkiyi gösteriyor. İki değişken arasındaki ilişki negatif (sarı çizginin eğimi), fakat bu ilişki istatistiksel olarak %5 düzeyinde anlamlı değil. Burada ele alınan 35 alan için bu ilişkiye bakıldığında, alanların çoğunda ilişkinin istatistiksel olarak anlamlı olmadığı, sadece 8 alanda (biyoloji, bio-mühendislik, bio-medikal mühendislik, bio-kimya, bio-tıp, genetik, tıp ve nanoteknoloji) negatif ve istatistiksel olarak %5 düzeyinde anlamlı olduğu bulundu (biyoloji örneği için bkz Şekil 5). Tıp-biyoloji alanlarında etki katsayısı yüksek olan dergiler, makale değerlendirme sürecini de daha hızlı tamamlıyorlar, fakat diğer alanlar için böyle bir ilişkiden bahsedemiyoruz.

Sonuç olarak, alanlar arasında yayın ve atıf sayısını belirleyen farklılıklar göz önüne alınmadan kurulacak “teşvik” mekanizmaları, bazı bilimsel alanlarda teşvik yerine engele dönüşebiliyor. Alan bazında tanımlanan ölçütler bu sorunu hafifletebiliyor fakat alanların sınırlarının tanımlanmasındaki zorluklar ve etkenlerin çeşitliliğinden dolayı sorunu tamamen çözmek mümkün değil.

Ne yapmalı?

Sayısal ölçütlerin teşvik mekanizmalarında kullanılması doğal olarak bilim insanlarının davranışında da bir değişikliğe yol açıyor, çünkü bilim insanları hızlı ve çok sayıda makaleyi tercihen etki katsayısı yüksek olan dergilerde yayımlamaya zorlanıyor. Bu zaten söz konusu teşvik mekanizmalarını geliştirenlerin istediği sonuç.

Bilim insanları çalışmalarının sonuçlarını yayımlayacakları zaman artık öncelikle “derginin etki katsayısı nedir”, “kabul oranı nedir”, “değerlendirme süreci ne kadar çabuk yapılıyor” gibi soruların cevaplarını arıyorlar. “Akademik değerlendirme” içerikten bağımsız parmak hesabına dönüşüyor.

Daha önemlisi, çoğu ticari kuruluşlar tarafından yayımlanan “akademik” dergiler de bu koşullara adapte oluyorlar. Etki katsayılarının artan önemi, dergileri ve yazarları bilimsel etik kaygılarının dışında atıf vermeye yönlendiriyor. Bekleme süresine ilişkin verilerin yaygınlaşması sonucu değerlendirme sürecinin (akran değerlendirmesinin) hızlandırılmasına yönelik bazı “yaratıcı” çözümlerin geliştirileceği açık.

“Çakma/yağmacı dergi” (predatory journal) diye bilenen dergiler bu sürecin uç örneği, fakat “saygın” bilimsel dergiler de bu süreçten olumsuz etkileniyorlar, bilimsel faaliyetlerin en önemli özelliği olan öz-değerlendirme süreci (akran değerlendirmesi) giderek anlamsızlaşıyor. Bilim insanlarının kendilerine dayatılan ve bilimsel faaliyetleri giderek körelten bu sürecin önüne geçmesi mümkün. Bunun için, “açık bilim” uygulamalarını yaygınlaştırmak, (dijital teknolojilerin katkısıyla)  akran değerlendirmesini daha büyük ölçekte yapmak ve kamusal bilime (scientific commons) sahip çıkmak yeterli.

Bir başka deyişle, bilimsel çalışmaları bilime ve bilimsel pratiğe saygı duyan açık bilim ortamlarında yayımlamak gerekli.

Erol Taymaz
Bilim Akademisi üyesi
Orta Doğu Teknik Üniversitesi İktisat Bölümü öğretim üyesi

Notlar/Kaynaklar:

[1] Veriler Springer’in yayımladığı dergilerin web sitelerinden 10 Ocak 2020 günü derlenmiştir. Verilerin derlenmesi ve analizinde ücretsiz ve açık kaynak program olan R kullanılmıştır.  Verilerin çekilmesi (“web harvesting”) işleminde rvest ve şekillerin hazırlanmasında ggplot2 paketleri kullanılmıştır.

Akademik değerlendirmeler üzerine daha önce Sarkaç’ta yayınlanmış yazılar:

Önceki İçerikKadın özgürlüğünün dönüm noktaları
Sonraki İçerikMultiple Skleroz hastalığı hakkında neler biliyoruz?
Erol Taymaz

Bilim Akademisi üyesi Erol Taymaz lisans derecesini 1982’de ODTÜ Makina Mühendisliği Bölümü’nden, yüksek lisans derecesini 1985’de ODTÜ İktisat Bölümü’nden ve doktora derecesini 1989’da Case Western Reserve University (CWRU, Ohio/ABD) İktisat Bölümü’nden aldı.

1982-85 yıllarında Aselsan, 1985-89 yıllarında CWRU, 1989-1992 yıllarında Industrial Research Institute’de (IUI, Stokholm/İsveç) çalıştı.

1992’den beri ODTÜ İktisat Bölümü’nde öğretim üyesidir. Sanayi ve teknoloji politikaları, işgücü piyasası politikaları, sınai dinamikler, küçük firma iktisadı, teknik etkinlik ve üretkenlik tahmini, evrimci iktisat ve mikrosimülasyon konularında araştırma faaliyetlerini yürütmektedir.