Araştırma değerlendirme için verilen sözler ne kadar tutuluyor?- DORA örneği

Bilimsel araştırma değerlendirme sistemlerinin daha adil, şeffaf ve kapsayıcı olması gerektiğini sıkça dile getiriyoruz. Bu doğrultuda, son yıllarda çok sayıda deklarasyon, manifesto ve bildirge yayınlandı. Altmetrics Manifesto (2010)[1]Altmetrics: A manifesto https://zenodo.org/records/12684249 , San Francisco Declaration on Research Assessment (DORA, 2012)[2]DORA – San Francisco Declaration on Research Assessment, Orijinal metin: https://sfdora.org/read/ Türkçe çeviri: https://sfdora.org/read/read-the-declaration-turkish/, Leiden Manifesto (2015)[3]Bibliometrics: The Leiden Manifesto for research metrics https://www.nature.com/articles/520429a ve The Agreement on Reforming Research Assessment (CoARA, 2022)[4]CoARA – The Agreement full text https://coara.eu/agreement/the-agreement-full-text/ bu girişimlerin en bilinen örnekleri arasında yer alıyor. Ancak bu tür girişimlerin sayısı 100’ü aşkın ve ortak hedefleri araştırma süreçlerinin çeşitliliğini, kapsayıcılığını ve özgün değerlerini ön plana çıkarmak.[5]Charters and principles in scholarly communication http://tinyurl.com/scholcomm-charters

Araştırma değerlendirme yöntemlerinin iyileştirilmesi gerektiğini vurgulayan DORA’nın temel mesajı oldukça net:

Dergi etki faktörü, bilimsel araştırma değerlendirmelerinde tek ölçüt olarak kullanılmamalı ve araştırmalar, yayımlandıkları derginin prestiji ya da diğer yayın metrikleri yerine, kendi bilimsel değerleri temel alınarak değerlendirilmelidir.

DORA, araştırma fon sağlayıcılarından akademik kurumlara ve bireysel araştırmacılara kadar geniş bir kitleye, daha çeşitli ve şeffaf değerlendirme yöntemleri benimsemeleri için öneriler sunuyor. Öneriler temel olarak, çeşitli ve şeffaf değerlendirme yöntemlerinin benimsenmesi; veri setleri veya yazılımlar gibi araştırma çıktılarının da tanınmasını kapsıyor.

Bu ilkelere destek vermek isteyen herkes DORA’yı imzalamaya davet ediliyor.[6]About DORA https://sfdora.org/about-dora/ Ancak imza atmış olmak, gerçekten bir değişimin gerçekleştiği anlamına mı geliyor? Bu sorunun cevabını bulmak adına, yakın zamanda yapılan bir çalışma dikkat çekici sonuçlar ortaya koydu.[7]Morgan-Thomas, A.,Tsoukas, S., Dudau, A. ve Gąska P. (2024). Beyond declarations: Metrics, rankings and responsible assessment. Research Policy, 53(10), 1-12. http://doi.org/10.1016/j.respol.2024.105093

İngiltere’deki 2021 Research Excellence Framework (REF)[8]Research Excellence Framework (REF), https://2029.ref.ac.uk/ verilerinin kullanıldığı çalışma, uzmanlar tarafından yapılan dergi sıralamaları ile metriklere dayalı dergi sıralamalarını karşılaştırarak, metrik tabanlı değerlendirmeler ile akran değerlendirmelerinin büyük ölçüde paralel sonuçlar verdiğini gösterdi. Özellikle “prestijli” dergilerde bu ilişkinin çok daha güçlü olduğu görüldü.

Bunun yanı sıra DORA’yı imzalayan kurumlarla imzalamayanlar arasında uzman sıralamaları bakımından anlamlı bir fark tespit edilmedi. Yani, DORA’ya bağlılık beyan etmek, pratikte bir değişim yaratmıyor. Bu durum, DORA’ya bağlılık beyanlarının uygulamada nasıl bir karşılık bulduğunu sorgulamamıza yol açarken, Türkiye’deki durumu da benzer bir çerçeveyle değerlendirme ihtiyacını ortaya çıkarıyor.

Araştırma değerlendirme süreçlerinin daha adil, şeffaf ve kapsayıcı bir hale getirilmesi gerektiği konusunda hemfikir olunmasına rağmen, bu amaçla atılan adımların uygulamaya ne kadar yansıdığı tartışmalı bir konu. Türkiye’de, bu doğrultuda yayınlanan dokümanlara imza atan kurum ve kuruluşların, taahhüt ettikleri değişiklikleri gerçekleştirmekte yeterince ilerleme kaydetmediklerini görmek zor değil. Bunu DORA üzerinden örneklemek için 18 Kasım 2024 itibarıyla, Türkiye’den DORA imzacısı olan 28 kuruluşu inceledik.[9]Türkiye’den DORA imzacısı kuruluşlar, https://sfdora.org/signers/?_organization_country=turkey&_signer_type=organisation

Türkiye’deki DORA imzacıları ve çelişkiler

İmzacı kuruluşların 20’si akademik dergi, üçü üniversite, ikisi yayıncı, ikisi daha farklı statüde kuruluşlar ve biri de indeks.

DORA’yı imzalayan 28 kuruluştan yalnızca sekizinin bu bağlılığı kamuoyuyla şeffaf bir şekilde paylaşmış olması, ilkelere olan gerçek bağlılığı sorgulatan bir durum.

28 imzacı kuruluştan 11’inin (üç üniversite, sekiz yayıncılık sektöründen kuruluş) imzalamış oldukları DORA ilkelerine aykırı uygulamaları dikkat çekiyor.

DORA imzacısı olan yayıncılık sektöründen sekiz kuruluşun (yayıncı, dergi vb.) web sitelerinde ya da sosyal medya hesaplarında DORA ilkelerine aykırı paylaşımları bulunuyor.

DORA imzacısı dergilerin çoğu yayın hayatına 2010 sonrasında başlamış

TRDizin’de 24 Aralık 2024 itibariyle yer alan 1738 dergiden 905’i 2010-2023 tarihlerinde yayın hayatına başlamışken, 2010 öncesinde faal olan 833 dergi mevcut.[10]TRDizin’de 24 Aralık 2024 itibariyle yer alan dergi listesi için bkz. https://search.trdizin.gov.tr/tr/dergi/ara?q=&order=title-ASC&page=1&limit=20 Ancak DORA’yı imzalayan 20 dergiden 15’i 2010 sonrası yayın hayatına başlayan dergiler ve bu genç dergilerin DORA’ya olan ilgisi araştırılmaya değer bir konu olarak karşımıza çıkıyor.

Aynı yayıncı tarafından çıkarılan iki derginin ayrı ayrı listelendiğini, bir yayıncının ise kendisi ile birlikte üç dergisinin de ayrı ayrı imzacı listesinde yer aldığını fark ettik. Ancak bu üç dergiden biri yayıncının kendi sayfasında listelenmemiş; dergi web sayfasından baktığımızda aynı yayıncıya ait olduğu anlaşıldı. Daha dikkat çekici bir durum ise, bu derginin Google Scholar’da dizinlendiğini beyan etmesine rağmen, Google Scholar’da yaptığımız taramada aynı isimli farklı ISSN ve yayıncısı olan bir derginin karşımıza çıkması. Ayrıca, bu derginin web sayfasına erişmeye çalıştığımızda henüz herhangi bir sayı yayımlanmadığı bilgisiyle karşılaşmamıza rağmen, önceki yılın makale kabul oranının paylaşılmış olması dergi ile ilgili şaibeli yayıncılık uygulamalarını düşündürüyor.

DORA’yla çelişkili örnekler

Yaptığımız incelemelerde, bazı yayıncıların DORA imzacısı olma taahhütlerini nasıl uyguladıkları konusunda çelişkili durumlara rastladık. Bazı örnekleri aşağıda paylaşıyoruz:

  • DORA imzacısı bir yayıncının web sayfasında h-indekse yönelik bilgilendirme yapılıyor ancak bu bilgilendirme indeksin eksikliklerine ve yanlış kullanımına dair kapsamlı bir bilgi içermiyor.
  • DORA’nın bilinçsiz metrik kullanımını azaltma yönündeki öncü girişimine karşın, yayıncılık sektöründen DORA imzacısı bir başka kuruluşun alternatif bir metrik geliştirmesi ve dergileri bu metriğe göre puanlandırıp sınıflandırması oldukça düşündürücü.
  • Dergilerin yaptıkları DORA ile çelişen uygulamalar arasında SCImago sırasını ve çeyrek dilimini,[11]SJR – Scimago Journal & country Rank https://www.scimagojr.com/journalrank.php SOBIAD çeyrek dilimini,[12]SOBIAD 2023 Quartile Dilimleri https://atif.sobiad.com/index.jsp?modul=quartile Scopus’un hesapladığı etki faktörü olan CiteScore değerini, Google Akademik metriklerini, Google Akademik üzerinden belli bir atıf sayısına ulaştıklarını ana sayfaları ya da sosyal medya üzerinden paylaşmaları da var.

  • Bunlar bir ölçüye kadar beklenen örnekler iken EBSCO’nun bir dizinine kabul edilen bir derginin, bu haberi duyururken bu dizinin ne kadar iyi olduğunu göstermek için dizini geliştirdiği anlaşılan üniversitenin sıralamasını öne sürdüğü bir örnek de mevcut.
  • Akademik yayınlar Web of Science, Scopus, TRDizin gibi çeşitli platformlarda yer alır, diğer bir deyişle dizinlenir.  Daha fazla dizinde yer aldıklarını göstermek isteyen dergilerin, çeşitli arama motorları ve veri tabanlarını listelerine dahil ettiklerini sıkça gözlemledik. Örneğin, akademik olmayan SlideShare gibi platformlar bile dizinler arasında yer alabilmekte.
  • Dizinlerin yanlış beyan edilmesi ise bir diğer önemli sorun. DORA’yı imzalayan dört derginin, dizinlendiklerini belirttikleri platformlarda yaptığımız aramalarda bu dergilere ulaşılamadı.
  • TRDizin’de yer alan sağlık bilimleri ve eğitim bilimleri alanındaki iki derginin %70’e varan kendine atıf oranları, bu dergilerin akademik katkılar yerine metrik değerlerini artırmaya odaklandığını düşündürüyor. Bazı alanlarda bu tür yüksek kendine atıf oranları makul karşılanabilir. Ancak, bu iki derginin faaliyet gösterdiği alanları göz önüne aldığımızda, bu oranların, dergilerin kendine atıf sayılarını yapay olarak artırmaya yönelik girişimlerinden kaynaklanmış olabileceği akla geliyor.
İmzacı kurumlar uygulamaları şeffaf olarak paylaşmalı

28 imzacıdan 11’inin DORA’ya aykırı uygulamaları net bir şekilde tespit edilmiş olsa da geri kalan kuruluşlar için bu durumun belirsizliği devam etmekte. Bu kuruluşlardan yedisinin web sayfasına ulaşılamadı, diğerlerinde ise bu tür uygulamalar net olarak tespit edilemedi. DORA ilkelerine aykırı şekilde bir paylaşım yapmıyor olmalarının esas nedeninin paylaşabilecekleri metrik değerlerinin olmaması mı yoksa tamamen DORA ilkelerine bağlı bir yaklaşım benimsemeleri mi olduğu ise bir soru işareti olarak varlığını koruyor; bu da özellikle yayın hayatına yeni başlayan dergilerin itibar kazanmak amacıyla DORA’yı imzalamış olabileceklerini akla getiriyor. Zira, aynı yayıncı tarafından çıkarılan ve DORA imzacısı olan başka dergilerde metrikler görünür durumda.

DORA’ya imza atan üç üniversitenin de bu durumu kamuoyuyla paylaşmamış olmaları dikkat çekici bir diğer durum. Dahası, bu üniversitelerin üçü de, web sayfalarında çeşitli sıralamalardaki konumlarını veya h-indeks değeri yüksek araştırmacılarını gurur kaynağı olarak sergilemeye devam ediyor. Sıralama sonuçlarının duyurulmasında, belirli başarıların öne çıkarıldığı ve bağlamdan koparılarak sunulduğu görülüyor. Örneğin, dünyadaki üniversitelerin sıralandığı bir listede Ankara’daki üniversiteler içinde birinci olma ya da sırasının 1008’den 1000’e yükselmesini bir başarı olarak duyurulabilmekte.

Öte yandan, sıralamaların üst kuruluşu kabul edilebilecek IREG tarafından listelenen 13 uluslararası üniversite sıralamasından,[13]IREG Inventory on International Rankings https://ireg-observatory.org/en/initiatives/ireg-inventory-of-international-rankings/ akademik çalışmalarla en problemli ve manipülasyona açık sıralamalar oldukları literatürde geniş yer bulan THE ve QS gibi sıralamalardaki konumların yaygın paylaşımı akademik kurumların “araştırmacı” ve “sorgulayıcı” rolleriyle çelişirken; bu tür paylaşımlar, DORA’nın savunduğu değerlerle ters düşerek, metrik odaklı yaklaşımları güçlendirmekten başka bir şeye hizmet etmiyor.

Etiketin ötesine geçmek

Türkiye’den DORA’yı imzalayan 28 kuruluş arasında, uygulamada DORA ilkelerine uyumlu bir yaklaşım sergileyenlerin sayısı ne yazık ki çok sınırlı. Bilim Akademisi bu anlamda iyi bir örnek. Üye seçimi ve BAGEP ödül süreçleri, adayların bilime katkılarının niteliksel değerlendirmesine dayalı çok aşamalı bir akran değerlendirmesiyle yürütülüyor; DORA ilkelerine uygun şekilde metriklerden bağımsız bilimsel katkılar önceliklendiriliyor.[14]Yurtsever, E. (2024, 19 Aralık). Araştırma değerlendirmede niteliğe odaklanmak: Bilim Akademisi deneyimi. https://sarkac.org/2024/12/arastirma-degerlendirmede-nitelige-odaklanmak-bilim-akademisi-deneyimi/

Çoğu kuruluşun, DORA’yı imzalamayı bir tür sembolik bağlılık olarak gördüğü anlaşılıyor. Bu durum, sadece DORA için değil, benzer tüm bildirgeler için ortak bir soruna işaret ediyor ki, o da ilkelerin gerçekten uygulanması için etkili bir izleme ve değerlendirme mekanizmasının şart olduğu. Bu bağlamda, CoARA’nın yalnızca imza atmakla sınırlı kalmayıp, bu taahhütlerin uygulamaya geçirilmesini düzenli olarak rapor etmeyi teşvik etmesi,[15]CoARA, The Agreement full text https://coara.eu/agreement/the-agreement-full-text/ DORA benzeri yapılar için benimsenebilecek yeni bir model sunuyor. Türkiye’den yalnızca üç kuruluşun CoARA imzacısı olması, bu tür çabaların henüz yaygınlaşmadığını gösteriyor.[16]CoARA Signatories https://coara.eu/agreement/signatories/?category%5B0%5D=turkey#signatories

Araştırma değerlendirme sistemlerinde sürdürülebilir bir değişim yaratmak, yalnızca imza atmanın ötesine geçmeyi gerektiriyor. Bu nedenle, uygulamada köklü bir değişim için daha fazla kurumsal çaba ve şeffaflık olmazsa olmaz.

Ayça Nur Sezen, Güleda Doğan
Hacettepe Üniversitesi, Bilgi ve Belge Yönetimi Bölümü


Creative Commons LisansıBu eser Creative Commons Atıf-GayriTicari 4.0 Uluslararası Lisansı ile lisanslanmıştır. İçerik kullanım koşulları için tıklayınız

Notlar/Kaynaklar

Notlar/Kaynaklar
1 Altmetrics: A manifesto https://zenodo.org/records/12684249
2 DORA – San Francisco Declaration on Research Assessment, Orijinal metin: https://sfdora.org/read/ Türkçe çeviri: https://sfdora.org/read/read-the-declaration-turkish/
3 Bibliometrics: The Leiden Manifesto for research metrics https://www.nature.com/articles/520429a
4 CoARA – The Agreement full text https://coara.eu/agreement/the-agreement-full-text/
5 Charters and principles in scholarly communication http://tinyurl.com/scholcomm-charters
6 About DORA https://sfdora.org/about-dora/
7 Morgan-Thomas, A.,Tsoukas, S., Dudau, A. ve Gąska P. (2024). Beyond declarations: Metrics, rankings and responsible assessment. Research Policy, 53(10), 1-12. http://doi.org/10.1016/j.respol.2024.105093
8 Research Excellence Framework (REF), https://2029.ref.ac.uk/
9 Türkiye’den DORA imzacısı kuruluşlar, https://sfdora.org/signers/?_organization_country=turkey&_signer_type=organisation
10 TRDizin’de 24 Aralık 2024 itibariyle yer alan dergi listesi için bkz. https://search.trdizin.gov.tr/tr/dergi/ara?q=&order=title-ASC&page=1&limit=20
11 SJR – Scimago Journal & country Rank https://www.scimagojr.com/journalrank.php
12 SOBIAD 2023 Quartile Dilimleri https://atif.sobiad.com/index.jsp?modul=quartile
13 IREG Inventory on International Rankings https://ireg-observatory.org/en/initiatives/ireg-inventory-of-international-rankings/
14 Yurtsever, E. (2024, 19 Aralık). Araştırma değerlendirmede niteliğe odaklanmak: Bilim Akademisi deneyimi. https://sarkac.org/2024/12/arastirma-degerlendirmede-nitelige-odaklanmak-bilim-akademisi-deneyimi/
15 CoARA, The Agreement full text https://coara.eu/agreement/the-agreement-full-text/
16 CoARA Signatories https://coara.eu/agreement/signatories/?category%5B0%5D=turkey#signatories
Önceki İçerikDilhan Eryurt: çalışmaları, etkisi ve kişisel arşivi
Sonraki İçerikBilim Sohbetleri: Yapay zekâ devrimi – Nasıl ayak uydurabiliriz?
Ayça Nur Sezen

Ayça Nur Sezen, lisans eğitimini Hacettepe Üniversitesi Bilgi Yönetimi Bölümü’nde tamamlamış olup, aynı bölüm ve üniversitede doktora öğrencisi olarak eğitimine devam etmektedir. Akademik yayıncılık süreçleri ve teknolojik çözümler üzerine çalışan AVES Yayıncılık’ta Yayın Teknolojileri Koordinatörü olarak görev yapmaktadır. Akademik ve profesyonel ilgi alanları arasında açık hakem değerlendirmesi, araştırma değerlendirmesi ve akademik iletişim yer almaktadır.

Güleda Doğan

Güleda Doğan lisans derecesini 2007 yılında Hacettepe Üniversitesi İstatistik Bölümünde tamamlamış, aynı üniversitenin Bilgi ve Belge Yönetimi Bölümünden 2011 yılında yüksek lisans ve 2017 yılında doktora derecesini almıştır. 2008 yılından bu yana Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümünde Araştırma Görevlisi olarak çalışmaktadır. Çalışma konuları Araştırma Yöntemleri, Bibliyometri, Üniversite Sıralamaları, Bilimsel İletişim ve Açık Erişimdir. Açık erişim politikaları üzerine yapılan iki AB projesi olan MedOANet ve Pasteur4OA projelerinde yer almıştır. Güleda Doğan, ayrıca Türk Kütüphaneciliği adlı dergide yaklaşık 10 yıldır editör olarak görev yapmaktadır.