Yüksek öğretimde kaliteyi sayılarla ölçme yanılgısı

Sayılabilen her şey önemli değildir, ve önemli olan her şey sayılamayabilir.

                                                                                     — William Bruce Cameron, 1963

Berlin’de döner satan bir büfenin tabelasında yazılmış kaliteyle ilgili bir söz dikkatimizi çekmişti: “Qualität ist nicht Zufall”- Kalite tesadüf değildir.  John Ruskin’e atfedilen bu ünlü sözün devamı da var:  “Kalite asla tesadüf değildir; her zaman akıllı çabaların sonucudur.”

Dönerde kaliteyi tutturmak nasıl tesadüflere bağlı değilse yüksek öğretimde de değil. Hatta yüksek öğretimde kaliteyi tutturmak için daha da çok entellektüel çaba harcamak ve planlama yapmak gerekir. Çünkü kaliteli yüksek öğretim milyonlarca kişinin yaşamına dokunur. Bir ülkedeki insanların yaşam kalitesini ve o ülkenin rekabet edebilirliğini doğrudan etkiler. Bu bakımdan yüksek öğretimde kaliteyi tesadüflere bırakmak ve iyi sonuç vermediği bilinen reçeteleri uygulamak bir ülkenin geleceğini riske atmak anlamına gelir.

Yükseköğretim Kalite Kurulu

Ülkemizde de 2015’ten beri yüksek öğretimde kaliteden sorumlu bir kurul (YÖKAK) var. Bu kurulun amaçları “yükseköğretim kurumlarının eğitim-öğretim, araştırma ve toplumsal katkı faaliyetleri[ni] . . . ulusal ve uluslararası kalite standartlarına göre” değerlendirmek; yüksek öğretim kurumlarını akredite etmek ve bu kurumlarda “kalite güvencesi kültürünün içselleştirilmesi ve yaygınlaştırılmasını sağlamak.”^[1]Yükseköğretim Kalite Güvencesi ve Yükseköğretim Kalite Kurulu Yönetmeliği. (2018, 23 Kasım). Resmî Gazete. https://www.mevzuat.gov.tr/mevzuat?MevzuatNo=28996&MevzuatTur=7&MevzuatTertip=5

Kaliteden üniversiteleri sorumlu tutan ve üniversitelerin birer kalite ajansı gibi olmasını bekleyen kurul,^[2]Elmas, M. (2022, 5 Ocak).Yükseköğretimde değişim, kalite ve akreditasyon (sunuş). https://yokak.gov.tr/yokak-dereceli-degerlendirme-anahtari-surum-30-tanitim-toplantisi-duzenlendi-271 (slayt no. 16). üniversiteleri değerlendirmeye başlamış ve 2020’de altı üniversiteye tam kurumsal akreditasyon vermiştir.^[3]Bkz. Akredite olan kurumlar. (2020). https://yokak.gov.tr/raporlar/akredite-olan-kurumlar?termYear=2019 Üniversitelerin kurum içi değerlendirme raporu (KIDR) hazırlarken kullanacakları kılavuzda^[4]Yükseköğretim Kalite Kurulu. (2021, 17 Kasım). Kurum İç Değerlendirme Raporu Hazırlama Kılavuzu Sürüm 3.0. https://yokak.gov.tr/Common/Docs/KidrKlavuz1.4/Kidr_Surum_3.0.pdf dört ana başlık altında (liderlik, yönetim ve kalite; eğitim ve öğretim; araştırma ve geliştirme; ve toplumsal katkı) onlarca ölçüt bulunuyor.^[5]Yüksek öğretimde kalite, kalitenin ve akademik performansın sayılarla ölçülmesi sorununa Sarkaç sayfalarında daha önce de değinilmişti. Örneğin, bkz. Y. Tonta, Araştırma değerlendirme üzerine. Sarkaç, 5 Aralık 2018. https://sarkac.org/2018/12/arastirma-degerlendirme-uzerine/; Z. Taşkın, Yükseköğretimde “kalite” üzerine. Sarkaç, 28 Mart 2019. https://sarkac.org/2019/03/yuksekogretimde-kalite-uzerine/; ve E. Taymaz, Akademik performans ölçütlerine sayısal bakış. Sarkaç, 11 Mart 2020. https://sarkac.org/2020/03/akademik-performans-olcutlerine-sayisal-bakis/. YÖKAK’ın liderlik ve üniversite yönetimlerine atanacak rektörlerin belirlenmesi konusunda da bu zamana kadar kaliteye önem verdiği pek söylenemez (bkz. A. Gürel, Yükseköğretimde kalite ve rektör atamaları. Sarkaç, 11 Mart 2021. https://sarkac.org/2021/03/yuksekogretimde-kalite-ve-rektor-atamalari/). Nitekim son yıllarda üniversitelere atanan rektörlerin uluslararası bilimsel yayın yapma performansları da bunun bir göstergesi (bkz. E. Karadağ, Academic (dis)qualifications of Turkish rectors: their career paths, H-index, and the number of articles and citations. Higher Education, 81, 301-323. 2021. https://doi.org/10.1007/s10734-020-00542-1). Bu yazıdaki değerlendirmemiz ise liderlik ve yönetimde kaliteden çok üniversitelerin kurula gönderdikleri KIDR raporlarında yer alan kalite güvence sistemi ve araştırma ve geliştirmeyle ilgili sayısal ölçütlere dayanıyor.

Üniversitelerin kurula gönderdikleri KIDR raporlarında bu ölçütlerle ilgili 200 civarında ek dosya ve URL adresi “kanıt belgesi” olarak sunuluyor. Kurul KIDR raporlarına dayanarak her üniversite için bir kurum gösterge raporu hazırlıyor.^[6]Bkz. https://yokak.gov.tr/raporlar/kurum-gosterge-raporlari Bu raporlarda altı başlık altında sadece sayısal göstergeler var (toplam 82 adet). YÖKAK tam olarak neyi ve nasıl ölçtüğü belirsiz bu göstergeleri kullanarak üniversitelerin kalitesini değerlendirebileceği yanılgısı içinde. Kalite güvence sistemi altında listelenen 22 göstergenin 12’si (%55) üniversitelerin sıralama sistemlerindeki sıralarıyla,^[7]Bu 12 sıralama sistemi şunlardır: SCIMAGO, RUR, URAP dünya sıralaması, URAP Türkiye sıralaması, Webometrics, THE, QS, QS Avrupa ve Orta Asya sıralamaları, US News, NTU, ARWU ve TÜBİTAK Girişimci ve Yenilikçi Üniversite Endeksi. araştırma ve geliştirme (Ar-Ge) altında listelenen 26 göstergenin ise 17’si (%65) doğrudan yayın ve atıf sayıları (10) ve bunlara dayanan dergi etki faktörü ve endekslerle (7) ilgili.

Şimdi bu sayısal göstergeleri biraz daha yakından inceleyelim.

Üniversite sıralamaları

Kalite güvence sisteminde toplam göstergelerin yarısından fazlasını oluşturan 12 farklı sıralama sisteminin kullanılmasının ikna edici bir açıklaması olmalı, ama yok. Oysaki farklı üniversite sıralamalarında farklı ölçütler kullanılıyor. Kullanılan ölçütlerin ağırlıkları farklı. Yıldan yıla değerlendirilen üniversite sayısı değişiyor. Ölçütlerin bazıları aynı şeyi ölçüyor. Bazılar öznel (örneğin, saygınlık anketlerine dayananlar). Bazıları sağlam ve doğrulanmış verilere dayanmıyor (örneğin, web verileri). Bazen veri kaynakları değişiyor. Genellikle İngilizce yayınlar dikkate alınıyor. Batılı, eğitimli, sanayileşmiş, zengin ve demokratik (WEIRD)^[8]WEIRD: Western, educated, industrialized, rich and democratic. Bkz. D. Rhein ve A. Nanni, The impact of global university rankings on universities in Thailand: don’t hate the player, hate the game. Globalisation, Societies and Education, 2021. doi: 10.1080/14767724.2021.2016375 ülkelerin üniversiteleri sıralamalarda genellikle üst sıralarda yer alıyor. Bu tür sıralamalar üniversitelerin giderek birbirlerine benzemelerine yol açıyor. Sıralamalarla kolayca “oynanabiliyor”. Web’deki verilere dayanan Webometrik sıralamalarda sahte yayın ve atıf yaratmak son derece kolay. Her yıl bazı ölçütler değiştirilerek sıralamalarda bir “hareket” sağlanıyor ve üniversitelerin sıraları değişiyor. (Çünkü pek “hareket” olmayan sıralamalar “ilginç” olmayacağı için pazarda tutunamazlar.)

Yayın ve atıf sayıları

Yayın ve atıf sayıları gibi bibliyometrik ölçevlerin (metrics) tam olarak neyi ölçtüğüyle ilgili kavramsal ve yöntemsel soru işaretleri olmasına karşın, yöneticiler bu göstergelerin “öldürücü cazibesine” kapılıyorlar.^[9]Van Raan, A.F.J. (2005). Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, 62(1), 133–43.

YÖKAK’ın Ar-Ge göstergelerinin neredeyse üçte ikisini yayın ve atıf sayıları ve bunlara dayanan dergi etki faktörü oluşturuyor. Yayın sayıları verimliliğin, atıf sayıları ise yayınların bilimsel etkisinin bir göstergesi olarak kullanılıyor. Bu iki gösterge bazen ayrı ayrı, bazen de birlikte (örneğin, dergi etki faktörü ve h-endeksi) değerlendiriliyor.

Bu göstergelerin üniversitelerde performans değerlendirme amacıyla kullanımı yayın ve atıf sayısının son yıllarda hızla artmasına yol açtı. Bazı araştırmacılar teşviklerden yararlanmak için olabildiğince fazla sayıda makale üretmeye başladılar. Dünyada her yıl yaklaşık 2,5 milyon bilimsel makale yayımlanıyor ve bu makalelerde giderek daha fazla sayıda kaynağa atıf yapılıyor. Böylece hem araştırmacıların yayın ve atıf sayıları hem de dergilerin etki faktörleri yükseliyor.

Normatif yaklaşıma göre araştırmacılar başka çalışmaların kendi çalışmalarına entellektüel ve bilişsel katkılarını göstermek ve kayda geçirmek için atıf yapıyorlar ve böylece o çalışmaların yazarlarına kredi vermiş oluyorlar.^[10]Toplumsal yapısalcı yaklaşıma göreyse araştırmacılar kendi tezlerini daha iyi savunmak, daha etkili ve ikna edici makale yazmak ve söylemi zenginleştirmek için başka kaynaklara atıf yaparlar. Bkz. Tonta, Y. ve Akbulut, M. (2021). Uluslararası dergilerde yayımlanan Türkiye adresli makalelerin atıf etkisini artıran faktörler. Türk Kütüphaneciliği, 35(3), 388-409, s. 391. doi: 10.24146/tk.933159 Oysaki Atıf Türleri Ontolojisinde^[11]CiTO. (2018, 16 Şubat). The citation typing ontology. https://sparontologies.github.io/cito/current/cito.html yaklaşık 100 farklı atıf türü listeleniyor ve bunların birçoğu normatif yaklaşımdaki varsayımın tersine pozitif atıf değil (eleştirme, yerme, vs.). Atıfların çoğunda metinde sadece kaynaktan söz ediliyor (“mention”).^[12]Khamsi, R. (2020, 1 Mayıs). Coronavirus in context: Scite.ai tracks positive and negative citations for COVID-19 literature. Nature, doi: 10.1038/d41586-020-01324-6 Yani atıf yapılan yayın ne olumlanıyor ne de olumsuzlanıyor (nötr). Nötr atıflar ise özensiz bilim yapmanın bir göstergesi.^[13]Neutral citation is poor scholarship. (2017, 27 Ekim). Nature Genetics, 49(1559). https://www.nature.com/articles/ng.3989 Ama uygulamada sanki bütün atıflar pozitif atıfmış gibi değerlendiriliyor.

Dergi etki faktörü ve h-endeksi

Yayın ve atıf sayılarına dayanan dergi etki faktörü (DEF) bir dergide yayımlanan makalelere daha sonraki iki yıl içinde yapılan “ortalama” atıf sayısını gösterir. Aslında DEF kütüphanecilere koleksiyon geliştirirken abone olunacak dergilere karar vermede yardımcı olmak amacıyla geliştirildi. Ama son 25-30 yılda bilgisayar gücü ve kapasitesinin hızla artmasından dolayı dergilere ait milyarlarca atıf verisi kolayca işlenebildiğinden, büyük ölçüde ticari yayıncıların da yönlendirmesiyle DEF yanlış amaçlarla kullanılmaya başlandı. Dergilerin “ortalama kullanım sayısı” hakkında bir fikir veren DEF, önce bir dergide yayımlanan tek tek makalelerin, daha sonra da araştırmacıların, bölümlerin, üniversitelerin ve ülkelerin “ortalama kalitesini” ölçmek için kullanılan neredeyse tek ölçüt, hatta bir “takıntı” haline geldi.^[14]Hicks, D. ve diğerleri (2015, 23 Nisan). The Leiden Manifesto for research metrics. Nature, 520, 429-431. s. 431. https://www.nature.com/articles/520429a.pdf

DEF gibi dergi bazlı ölçevlerin atama-yükseltme, araştırma fonu sağlama ve performans değerlendirmede kullanılmaması gerektiği yönünde geçmişte uluslararası bildirgeler yayımlanmış olmasına karşın, maalesef bu yanlış yaklaşım halen sürdürülüyor.^[15]Örneğin, bkz. San Francisco Declaration on Research Assessment. (2012). https://sfdora.org/read/ ^[16]Yurtsever, E. (2018, 25 Eylül). Bilimsel yayınlar nasıl değerlendirilmeli? – San Francisco Bildirisi. Sarkaç. https://sarkac.org/2018/09/bilimsel-yayinlar-nasil-degerlendirilmeli/ Bir dergide yayımlanan makalelere yapılan atıfların dağılımı çarpık olduğundan birkaç makaleye çok sayıda atıf yapılırken, çoğu makaleye çok düşük sayıda atıf yapılır ya da hiç atıf yapılmaz. Bu nedenle çarpık atıf dağılımlarında ortalamaya dayanan DEF’i kullanmak yanıltıcıdır. Çok prestijli bilimsel dergilerde bile yayımlanan makalelerin %75’i o dergilerin DEF’inden daha düşük sayıda atıf alıyor.^[17]Larivière, V. ve diğerleri. (2016). A simple proposal for the publication of journal citation distributions. doi: 10.1101/062109

Öte yandan DEF, ölçümlerin çok duyarlı yapıldığı izlenimini yaratmak için virgülden sonra üç basamak yürütülüyor. Örneğin, 2020 yılında Journal Citation Reports’ta (JCR) Biyokimya ve Moleküler Biyoloji dergileri altında listelenen toplam 297 dergiden 221. sıradaki Physical Biology dergisinin DEF’i 2,583, bir sonraki Channels adlı derginin DEF’i ise 2,581’dir. Bu iki derginin DEF’leri arasındaki 0,002’lik fark iki derginin kalitesiyle ilgili olarak bize “fazladan” ne kadar önemli bir bilgi sağlıyor olabilir ki? Bu fark, ilk dergide yayımlanan bir makalenin ikinci dergide yayımlanan bir makaleden önümüzdeki 1000 senede ortalama 1 (yazıyla bin senede bir) tane daha fazla atıf alacağı anlamına gelmektedir!

Peki, o zaman bu “fazladan bilgi” üzerine inşa edilen kalite ölçümüne ne kadar itibar edilebilir? Ya da edilmeli midir? Ama gelin görün ki Aralık 2021’de YÖK, yağmacı dergilerde yayın yapmayı önlemek için DEF’e dayanan dergi çeyreklikleriyle ilgili yeni bir karar aldı.^[18] (Yağmacı/Şaibeli Dergiler Hakkında) Duyuru. (2022, 25 Ocak). https://www.uak.gov.tr/DuyuruBelgeleri/2022/yagmacı-saibeli-dergiler-hk-duyuru-25012022.pdf Aslında dergi çeyreklikleri akademik yükseltme ve akademik teşvik yönergesi çerçevesinde zaten yıllardır Türkiye’de kullanılıyor. Dergiler JCR’de her yıl DEF’lerine göre Q1, Q2, Q3 ve Q4 olarak sınıflandırılıyor (Q1 en üst, Q4 en alt %25’lik dilim). Örneğin, yukarıda anılan ilk dergi Q3, ikincisi Q4 dergisi. İlkinde yayımlanan makalelere akademik atama ve yükseltmelerde daha yüksek puan veriliyor ve makale yazarlarına daha yüksek miktarda akademik teşvik ödeniyor.

Aslına bakılırsa farklı konularda listelenen farklı çeyrekliklerdeki dergilerin DEF’leri arasında büyük farklar yok.^[19]Bir fikir vermesi açısından üç konudaki Q1, Q2, Q3 ve Q4 dergilerinin 2020 DEF ortanca değerlerini virgülden sonra bir basamak yürüterek sıralayalım: Biyokimya ve Moleküler Biyoloji: 8,1, 4,3, 3,3 ve 1,8; Ekonomi: 4,6, 2,3, 1,6 ve 0,8; ve Antropoloji: 3,2, 1,6, 1,0 ve 0,5. Bkz. https://jcr.clarivate.com/jcr/browse-categories Dolayısıyla birkaç atıf farkına dayanarak tek tek makalelerin bilimsel kalitesini dergi çeyrekliklerini kullanarak ölçmek pek mümkün değil. Kaldı ki, tıpkı üniversite sıralamalarıyla olduğu gibi DEF’lerle de “oynanabilir”. Örneğin, ticari rekabet nedeniyle dergilerin atıf endekslerine kabul edilme ölçütleri gevşetiliyor,^[20]Tonta, Y. (2014, 11 Temmuz). Akademik performans, öğretim üyeliğine yükseltme ve yayın destekleme ölçütleriyle ilgili bir değerlendirme. https://yunus.hacettepe.edu.tr/~tonta/yayinlar/tonta-yukseltme-kriterleri-hakkinda-degerlendirme-11-Temmuz-2014.pdf dergiler arasında “atıf kartelleri” kuruluyor,^[21]Perez, O. ve diğerleri. (2019, Mart). The network of law reviews: Citation cartels, scientific communities, and journal rankings. Modern Law Review, 82(2), 240-268. atıf yapılması muhtemel makaleler yılın ilk aylarında yayımlanıyor ya da resmen yayımlanmadan önce yayıncı web sayfalarında uzun süre “önce çevrimiçi” (online first) olarak erişime açık tutuluyor.^[22]JCR, DEF’in hesaplanmasında resmi yayın tarihi yerine artık makalelerin “önce çevrimiçi” olarak erişime açıldıkları tarihi dikkate almaktadır.

Yayın ve atıf sayıları ve dergi temelli sayısal göstergelerin kaliteyi ölçmediğine verilebilecek en önemli örneklerden birisi de araştırmacıların verimliliğini ve çalışmalarının etkisini birlikte ölçmeyi amaçlayan h-endeksidir. h-endeksi 40 olan bir araştırmacının, literatürde her birine en az 40 kez atıf yapılmış 40 yayını var demektir. Nobel ödüllerinin önemli olduğu ve bilimsel araştırmaların kalitesini ölçtüğü konusunda herhalde çoğu kimse hemfikirdir. Dolayısıyla bu ödülü alan araştırmacıların h-endekslerinin de yüksek olması beklenir. Ama farklı alanlarda Nobel ödülü kazanan araştırmacıların h-endeksleri 12 ile 195 arasında değişiyor (ortanca 65).^[23]Fenner, T., Harris, M., Levene, M., Bar-Ilan, J. (2018). A novel bibliometric index with a simple geometric interpretation. PLoS ONE 13(7): e0200098. s. 7 Tablo 4. doi: 10.1371/journal.pone.0200098 Hatta “tanrı parçacığı” olarak bilinen Higgs bozonunu keşfeden Peter Higgs’in h-endeksi 2013’te Nobel Fizik Ödülünü kazandığı zaman 10’un altındaydı. Higgs, kendisiyle yapılan bir görüşmede günümüzde olsa yeterince üretken olmadığı için üniversitelerde iş bulmasının mümkün olmadığını belirtmiş.^[24]Aitkenhead, D. (2013, 6 Aralık). Peter Higgs: I wouldn’t be productive enough for today’s academic system. The Guardian, https://www.theguardian.com/science/2013/dec/06/peter-higgs-boson-academic-system Disiplinler arası farklılıklardan dolayı matematik alanında Nobel ödülüyle eşdeğer görülen Fields madalyası ve Abel ödülü kazananların h-endeksleri ise Nobel ödülü alanlarınkinden genelde çok daha düşük.^[25]Fields madalyası ve Abel ödülü alanlar için h-endeksi aralığı sırasıyla 5 ile 40 ve 14 ile 53 arasında değişiyor. Bkz. Yong, A. (2014). Critique of Hirsch’s citation index: A combinatorial Fermi problem. Notices of the American Mathematical Society, 61, 1040-1050. Tablo 2 ve Tablo 3. https://arxiv.org/pdf/1402.4357.pdf

Araştırma kalitesi sadece sayısal göstergelerle ölçülemez

Kolayca anlaşılabileceği gibi, bibliyometrik verilere dayalı sıralamaların varsayımları maalesef gerçekleri yansıtmıyor.^[26]Osterloh, M. ve Frey, B.S. (2015). Ranking games. Evaluation Review, 39(1), 102-129. Sadece sayarak araştırma kalitesini ölçemeyiz.^[27]Tonta, Y. ve Madran, O. (2022, 18 Şubat). Araştırma kalitesi sayılarla ölçülebilir mi? (video) Akademiden Notlar, 66. https://www.youtube.com/watch?v=s1HSjzBv4M4 Oysa biz “sayıların diktatörlüğü”ne^[28]Muller, J.Z. (2019). Sayıların Diktatörlüğü: Başarıyı Rakamlarla Ölçme Saplantısı ve Çözüm Yolları. (Çev. A. Kamacıoğlu). İstanbul: The Kitap. boyun eğerek “ölçülemeyeni ölçmeye” çalışıyor ve bu tür göstergelerin kölesi oluyoruz.^[29]Kreiner, G. (2016, 2 Kasım). The slavery of the h-index—Measuring the unmeasurable. Frontiers in Human Neuroscience, 10, 556. doi: 10.3389/fnhum.2016.00556 https://www.frontiersin.org/articles/10.3389/fnhum.2016.00556/full Zaten yapı ve yakınsak geçerlilikleri çok düşük olan bu tür sayısal göstergeler hedef haline getirilince iyi birer gösterge olmaktan çıkıyor (Goodhart Yasası).^[30]Yurtsever, E. (2018, 4 Nisan). Goodhart Yasası ve akademideki ölçütlerin ölçebilirliği üzerine. Sarkaç. https://sarkac.org/2018/04/goodhart-yasasi-akademik-olcutler/

Akademiyanın en büyük hatalarından birisi araştırma değerlendirme ve kalite ölçümünde yıllardır ticari şirketlerin ürettikleri üniversite sıralamaları ya da dergi temelli sayısal göstergeleri kullanmasıdır. Yayın yapma, performans göstergelerini belirleme ve kaliteyi ölçme işinin bir bakıma taşeron olarak ticari yayıncılara havale edilmesinin sonuçlarını hep birlikte görüyoruz. Bu şirketler yüksek öğretimi başka sektörlerde pek rastlanmayan çok kârlı bir pazar haline getirdiler.

Fakat yakın zamana kadar dergi temelli sayısal performans göstergelerini en “sıkı” uygulayan ve buna göre araştırmacılara makalelerinin yayımlandığı dergilerin etki faktörlerine göre yüksek miktarlarda ödeme yapan Çin, yayınların kalitesi konusunda yaşanan çeşitli sorunlar nedeniyle bu uygulamayı yasakladı.^[31]Mallapaty, S. (2020, February 28). China bans cash rewards for publishing papers. Nature, 579, 18. doi: 10.1038/d41586-020-00574-8^[32]Yurtsever, E. (2020, 3 Mart). Çin’den “Sayıların Diktatörlüğü”ne darbe. Sarkaç.https://sarkac.org/2020/03/cinden-sayilarin-diktatorlugune-darbe/ Araştırma değerlendirmede nicel ve nitel göstergelerin dengeli bir biçimde kullanılmasına dayanan, kaliteyi ve araştırmaların Çin’in yerel sorunlarının çözümüne katkısını öne çıkaran bir reform yaptı.^[33]Zhang, L. ve Sivertsen, G. (2020). The new research assessment reform in China and its implementation. Scholarly Assessment Reports, 2(1), 3. doi: 10.29024/sar.15

Berlin’deki “kalite asla tesadüf değildir” yazan büfede hiç döner yemediğimiz için dönerinin kalitesi konusunda bir şey diyemeyiz. Ama Türkiye’de yüksek öğretimde ve araştırma değerlendirmede kalite ölçümünün yıllardır neredeyse tamamen sayısal göstergelerle ölçülmeye çalışılmasının yol açtığı sonuçları ve “yan etkilerini” biliyoruz.^[34]Tonta, Y. ve Al, U. (2022, 15 Mart). Üniversitelerde rant kollama. Sarkaç. https://sarkac.org/2022/03/universitelerde-rant-kollama/ Artık bizim de sayıların diktatörlüğüne dayanan, kaliteyi ölçmeyen, herhangi bir etkisi olmayan gereksiz yayınları ödüllendiren mevcut kalite sistemini kullanmaya ivedilikle son vermemiz gerekiyor. Bu zamana kadar yaptığımız gibi niceliği ödüllendirerek niteliğin artmasını ümit etmeye^[35]Civera, A. ve diğerleri. (2020). Higher education policy: Why hope for quality when rewarding quantity? Research Policy, 49(8). doi: 10.1016/j.respol.2020.104083 devam edersek sürekli hayal kırıklığına uğrayacağımız kesin. Paris Araştırma Değerlendirme Çağrısında^[36]Paris Call on Research Assessment. (2022, Şubat). https://osec2022.eu/paris-call/ da vurgulandığı gibi, “değer verdiğimiz şeylerle değerlendirdiklerimizi aynı hizaya” getiren ve kaliteyi önceleyen bir araştırma değerlendirme sistemine bir an önce geçmemiz gerekiyor. Türkiye’de yapılan araştırmaların bilimsel, teknolojik, ekonomik ve toplumsal etkilerini artırmaya değer veriyorsak o zaman sayılar yerine bu etkileri değerlendirmek zorundayız. Daha sağlıklı ve zengin bir ülkede yaşamak konusunda hemfikirsek başka da bir seçeneğimiz yok.

Yaşar Tonta, Umut Al (Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü)

Bu eser Creative Commons Atıf-GayriTicari 4.0 Uluslararası Lisansı ile lisanslanmıştır. İçerik kullanım koşulları için tıklayınız.