Yıl 1902. Zamanın Fransız kolonisi Vietnam’ın Hanoi kentinde hıyarcıklı veba salgınının kanalizasyon sistemindeki büyük fareler aracılığıyla yayıldığı sonucuna varılır. Salgının kentin özellikle Fransız yöneticilerin oturduğu semte (le quartier européen) yayılmasını önlemek için öldürülen fare başına ödül konulur. Fare kuyruğu getiren herkese nakit ödeme yapılır. Bir süre sonra sağlık işlerinden sorumlu yöneticiler şehrin caddelerinde kuyruğu olmayan büyük farelerin cirit attığını gözler. Yapılan araştırma sonucu şehrin bazı semtlerinde fare yetiştirme çiftlikleri kurulduğu, yetiştirilen farelerin kesilen kuyruklarının yetkililere satıldığı, kuyruğu kesilen farelerin ise üremeye devam ettiği anlaşılır [1].
Yıl 2002. Kolombiya’nın seçimle gelen yeni devlet başkanı Álvaro Uribe solcu gerillalara karşı savaşı kazanmak niyetindedir. Uribe öldürülen her gerilla başına “para ikramiyeleri ve tatiller gibi çeşitli ödüller” koyar. Uribe’nin bu kararı “ordunun yaklaşık 3000 sivili öldürüp onlara gerilla kıyafetleri giydir”mesiyle sonuçlanır [2, s. 396].
İlk bakışta bu girişin performansa dayalı akademik teşvik sistemleriyle ilgisini kurmak belki pek kolay olmayabilir. Ama ödül sistemlerinin kişilerin ve örgütlerin davranışlarını değiştirmesi nedeniyle etik ihlallerle sonuçlanması günümüzde de devam eden bir sorun. Eğitim, sağlık, güvenlik gibi sektörlerde kullanılan performansa dayalı ödül/destek sistemlerinin sebep olduğu pek çok etik ihlal örneği Jerry Muller’in Sayıların Diktatörlüğü: Başarıyı Rakamlarla Ölçme Saplantısı ve Çözüm Yolları adlı kitabında veriliyor [3] [4]. Her ne pahasına olursa olsun konulan ödülü almak isteyen kişiler bazı “yaratıcı” yöntemler geliştirerek bir süre sonra performans göstergelerinin ölçmeyi amaçladığı davranışları ölçülemez hale getiriyor. Tıpkı yukarıdaki fare yetiştirme çiftlikleri örneğinde olduğu gibi bir grup yazar birbirlerinin makalelerine gereksiz ve aşırı ölçüde atıf yapmak için “atıf çiftlikleri” (citation farms) kurabiliyorlar [5]. “Goodhart Yasası” [6] olarak anılan bu yasanın sonuçları özellikle nicel ölçütlere dayanan performans destek sistemlerinde daha belirgin bir biçimde gözleniyor.
Bilimsel bir yayının değeri sadece yayımlandığı derginin etki faktörüyle ölçülebilir mi?
Teşvik sistemlerinin en yaygın olarak kullanıldığı kurumlardan birisi de üniversiteler. Doçentliğe atama ve yükseltmelerde, YÖK’ün Akademik Teşvik Ödeneği Yönetmeliğinde, TÜBİTAK’ın Uluslararası Bilimsel Yayınları Teşvik (UBYT) Programında, üniversitelerin kendi destek programlarında çoğu zaman nicel ölçütler kullanılıyor. Bunlardan en yaygın olarak kullanılanı da dergi etki faktörüdür. Dergi etki faktörü bir dergide belirli bir sürede (2-5 yıl) yayımlanan makalelerin “ortalama” atıf etkisidir. Aslında yarım yüzyıl önce kütüphanelere koleksiyon geliştirmede yardımcı olmak amacıyla geliştirilmiş dergi düzeyi bir ölçev (metrics) olan dergi etki faktörü (journal impact factor) [7] günümüzde tek tek makalelerin, araştırmacıların, araştırma birimlerinin niteliğini ölçmek, fon sağlamak ve atama/yükseltme kararları vermek için kullanılıyor.
San Francisco Araştırma Değerlendirme [8] [9] ve Leiden Araştırma Ölçevleri [10] bildirgeleri ise yöneticilere bunun tam tersini, yani dergi etki faktörü “saplantısı”na kapılmamalarını salık veriyor. Çünkü dergilerin etki faktörleri bilimsel alanlara göre büyük değişiklikler gösteriyor. Sosyal bilimler dergilerinin etki faktörleri fen bilimlerininkinden daha düşük. Sanat ve insan bilimlerininkiler ise hesaplanmıyor bile. Bu alanlardaki araştırmacı sayıları, yayın mecraları (dergi makalesinden çok kitap), yayın örüntüleri de birbirinden oldukça farklı [11].
Öte yandan dergi atıf verilerinin dağılımı çarpık. Bir dergide yayımlanan az sayıda makaleye nispeten daha çok atıf yapılıyor, ama hatırı sayılır oranda makaleye ise hiç atıf yapılmıyor. Hatta Science, Nature gibi en yüksek etki faktörlü dergilerde bile yayımlanan makalelerin %75-%80’i bu dergilerin ilan edilen ortalama etki faktörü kadar atıf almıyor [12]. Bütün bunlara rağmen akademik teşvik sistemlerindeki puanlamalar ya da destek miktarları genellikle dergilerin etki faktörlerine (ya da makale etki puanı, dergi çeyreklikleri, h indeksi gibi dergi etki faktörünün de dayandığı atıf sayılarından türetilen ölçevlere) göre hesaplanıyor ve her yayının ortalama olarak derginin etki faktörü kadar atıf alacağı varsayılıyor.
Dergi etki faktörüne dayanan teşvikler yayınların etkisini ve verimliliğini artırmıyor
Peki, dergi etki faktörüyle ilgili bu bulgular pek fazla dikkate alınmadan çeyrek asırdır kullanılan akademik teşvik sistemleri yayın sayısını, kalitesini ve verimliliği olumlu etkiliyor mu? Hayır. Türkiye (TR) adresli yayın sayıları artsa da araştırmacıların verimliliği artmıyor, yayınlar etki faktörleri daha yüksek dergilerde yayımlanmıyor [13] [14]. Aksine, giderek daha düşük etki faktörlü dergilerde yayımlanıyor. 1997-2016 yılları arasında Web of Science’ta (WoS) dizinlenen dergilerin ortalama etki faktörü bir kat artarak 1,1’den 2,2’ye yükselmiş [15]. Oysaki 2006-2015 yılları arasında yayımlanan TR adresli makalelerin yarısına yakını etki faktörü 1’den düşük dergilerde yayımlanmış. Aynı dönemde UBYT Programı tarafından desteklenen yayınlar için de durum pek farklı değil. Programın yayın sayısının artmasında ve TR adresli yayınların etki faktörü daha yüksek dergilerde yayımlanmasında pek katkısı olmamış [16] [17]. Benzer destek sistemlerini kullanan ülkelerde de durum pek farklı değil [18].
Peki, neden hâlâ akademik teşvik sistemlerinde dergi etki faktörü başat gösterge olarak kullanılmaya devam ediyor? Bunun bir nedeni bu tür bibliyometrik ölçevlerin tam olarak neyi ölçtüğü üzerinde yeterince araştırma yapılmaması ve deyim yerindeyse işin kolayına kaçılması. Bilgiyi üreten esas kurumlar olan üniversitelerin, ürettikleri bilgiyi ve çıktıları (yayınlar vs.) değerlendirmeye sıra gelince ticari şirketlerin nicel verilerine güvenmeleri ise “ironik” bir durum [7]. Bir-iki örnek verelim: YÖK’ün Akademik Teşvik Ödeneği (ATÖ) Yönetmeliği 2015 yılının sonunda yayımlandı [19] ve o yıldan bu yana üç kez değiştirildi [20] [21] [22].
Yönetmelik ilk çıktığında bilim dalına ve dergilerin etki faktörüne bakılmaksızın WoS’ta dizinlenen bütün makalelere eşit puan veriliyordu. Sonra (2018) dört ana grup (kabaca fen, sosyal, mimarlık ve güzel sanatlar diyebiliriz) belirlenerek puanlamada UBYT Programında kullanılan ve atıf sayılarına dayanan makale etki puanından türetilen dergi puanı esas alınmaya ve bazı bilim dallarındaki makalelere daha yüksek puan verilmeye başlandı. UBYT Programında kullanılan destek algoritması 2019’da değiştirilince 2020’de ATÖ Yönetmeliği de değiştirildi ve bu sefer puanlama için dergilerin çeyreklik değerleri (Q1 en yüksek, Q4 en düşük) kullanılmaya başlandı.
Üzerinde yeterince araştırma yapılmadığı izlenimi veren bu değişikliklerin verilere, sağlam ve somut gerekçelere dayandığını söylemek de zor. Örneğin, son yönetmelikte (2020) sanat ve insani bilimler dergilerinin etki faktörleri ticari şirketler tarafından hesaplanmadığından bu alanlardaki makaleler otomatik olarak Q3 dergilerinde yayımlanmış varsayılıyor ve Q1 dergilerinde yayımlanmış olanların yarısı kadar puan alabiliyor. UBYT Programında ise sanat ve insani bilimler makalelerine maksimum ödeme miktarının ancak %13’ü kadar bir sabit ödeme yapılıyor [23]. Yani, örneğin, bilişimsel dilbilim konusunda insan bilimleri dergisinde yayımlanmış bir makale aynı konuda fen bilimleri ya da sosyal bilimler dergisinde yayımlanmış bir makaleden çok daha az desteklenmeye değer görülüyor. Halen devam eden bu uygulamaları farklı disiplinlerin birbirinin içine geçtiği (“yakınsadığı”), disiplinler arası/çok disiplinli işbirliğinin giderek arttığı günümüzde makul göstermek pek kolay olmasa gerek. Ama bize göre akademik teşvik sistemlerinin hangi konudaki makalelere ne kadar puan ya da destek verileceğinden çok daha önemli sorunları var. Puanlama ve ödeme miktarlarına takılıp kalarak işin bu boyutunu gözden kaçırmamak, akademik teşvik sistemlerinin esas sorunları üzerinde yoğunlaşmak gerekir.
Akademik teşvik sistemleri aşılması gereken bir engel mi?
Yaklaşık yarım yüzyıl önce Steven Kerr “B’yi Ümit Ederken A’nın Ahmaklığı Üzerine” [24] başlığıyla bir makale yayımlamış ve çeşitli sektörlerden örnekler vererek ödül sistemlerinin işlememesini dört etmene bağlamış:
- İnsanların “nesnel” ölçütlerle büyülenmesi;
- görünürlüğü yüksek davranışların aşırı vurgulanması;
- riyakârlık; ve
- verimlilikten/etkililikten ziyade ahlakın ya da hakkaniyetin vurgulanması.
Ödül sistemleri için geçerli olan bu gözlemler akademik teşvik sistemleri için de geçerli. Dergi etki faktörü, dergi çeyreklikleri, h indeksi gibi ölçevlerin “nesnel” olduğunu varsayıyor ve bu ölçevleri her fırsatta öne çıkarıyoruz. Akademik teşvik sistemleri yayınların etkisinin ve araştırmacıların verimliliğinin artması gibi esas arzu edilen davranışlardan çok yayın sayısı gibi niceliğe yönelik işlevleri yerine getiriyor (ilk iki etmen) ve ödül verenlerin görmek istedikleri davranışları ödüllendiriyor (son iki etmen). Örneğin, yöneticiler (ya da ilgili kurul üyeleri) akademik yükseltmelerde adayların çalıştıkları disiplinlere, yaptıkları yayın türlerine ve diğer akademik etkinliklerine bakmadan, sırf bir adayın atıf sayısı diğer adayınkinden daha yüksek diye etik ve hakkaniyetli davrandıklarını düşünebilirler.
Bu sistemler ancak ödül verenlerin resmi beyanlarına (şu kadar fare öldürdük, şu kadar hasta baktık, yayın sayısı şu kadar arttı, sıralamada şu kadar yükseldik, vs.) inananların bakış açısına göre mi (3. etmen) yoksa diğer çıktılardan ziyade verimliliği/etkililiği en üst düzeye çıkarmak (to maximize efficiency) isteyenlerin bakış açısına göre mi (4. etmen) değerlendirilmesi gerektiği sorgulandığında işlememeye başlıyor. Kerr, ödül sistemlerinin değiştirilerek, örneğin, doktorların baktıkları hasta sayısına göre değil de, yaptıkları Tür 1 (sağlıklı insanlara hasta tanısı konması) ve Tür 2 (hasta insanlara sağlıklı tanısı konulması) hatalarına göre bir komite tarafından düzenli olarak değerlendirildiklerinde sonuç ne olurdu diye düşünmemizi istiyor [24, s. 781].
Kerr resmi ödül sistemleri “istenen davranışları olumlu bir şekilde pekiştirmeli, aşılması gereken bir engel oluşturmamalıdır” diyor. Bizce akademik teşvik sistemleri için de böyle olmalı. Nedir istenen davranışlar? Daha çok yayın yapılması mı yoksa daha etkili/nitelikli yayın yapılması ve daha verimli olunması mı? Türkiye’de de akademik teşvik sistemleri istenen davranışları olumlu bir şekilde pekiştiriyor mu yoksa bu sistemler aşılması gereken bir engel olarak mı görülüyor? Eğer ilkiyse o zaman ülkemizde bazıları yayın garantisi (!) de veren onlarca makale ve tez yazma şirketinin varlığını, çakma uluslararası konferanslar düzenlemeyi ve Türkiye’nin dünyada (Hindistan ve Nijerya’dan sonra) yağmacı dergilerde en çok yayın yapan üçüncü ülke olmasını nasıl açıklayacağız? [25] [26] [27] YÖK’ün akademik teşvik başvurularında yapılan birçok etik ihlalin sıralandığı bir resmi yazıyı tüm devlet üniversitelerinin rektörlüklerine gönderme gereği duymasını nasıl açıklayacağız? Bu yazı “YÖK’ten ‘utandıran’ uyarı! Akademisyenler de bunu yaparsa” başlığıyla basına da yansıdı [28]. Üstelik bu yazıda bu tür etik ihlallerin “akademik camiaya ve bilime katkı sağlayacağı yerde akademinin yozlaşmasına sebep olma ihtimali barındırdığı” uyarısı da yer alıyor. Ve, daha da önemlisi, bu uyarıyı üstüne alınan ya da gereğini yapan kimse ya da kurum olmamasını nasıl açıklayacağız?
Rant arama kuramı
Aslında “rant arama kuramı” bu tür davranışların nedenlerini açıklıyor. Ekonomide rant arama “yeni zenginlik (servet) yaratmadan kişinin var olan zenginlikten aldığı payı artırmaya çalışması” olarak tanımlanıyor. Rant arama, kaynakların yanlış yerlere harcanmasına, gelir eşitsizliğine ve ekonomik verimliliğin azalmasına neden oluyor [29]. Akademik teşvik sistemleri rant arama kuramına göre kavramsallaştırıldığında, YÖK’ün akademik yozlaşmayla ilgili uyarısının bireysel ya da kurumsal düzeyde etkili olması pek mümkün değil. Çünkü bu tür sistemler uyardığı etkinliklere karşı doğrudan etik uygulama kültürlerinin altını oyan teşvikler yaratıyor [30, s. 64].
Rant arama kuramı performansa dayalı akademik teşvik sistemlerinin neden istenen sonuçları vermediğini de açıklıyor olabilir. İstisnaları olsa da dünyada akademisyenlik yaparak “zengin olmak” genellikle mümkün değil. Ama rant arayan bazı akademisyenler yeni zenginlik yaratmak yerine var olan zenginlikten aldıkları payı artırmak istiyor olabilirler. Performansa dayalı akademik teşvik sistemlerinin “yan etkilerine” akademisyenlerin gelir düzeylerinin nispeten daha düşük olduğu ülkelerde daha sık rastlandığı yönünde bulgular var [17]. Üniversitelerimizdeki ek ders ücreti uygulamasını ve akademik teşvik sistemlerini bir de rant arama kuramına göre kapsamlı bir biçimde incelemekte yarar var. Kıt kaynaklarımızı verimliliği artırmadığı bilinen uygulamalara ayırmanın pek bir anlamı olmasa gerek. Ayrıca bu tür uygulamaların yol açtığı daha uzun süreli bilimsel (bir an için “çöp yayın” [31] yapmanın bilim yapmak olduğuna inanan yeni bir akademisyen kuşağı yetiştirdiğimizi düşünün) ve toplumsal (“akademisyenler de bunu yaparsa”) etkilerini de hesaba katmakta yarar var.
Akademik teşvik sistemlerinin “fırsat maliyeti”
Akademik teşvik sistemlerinin maliyeti de üzerinde durulması gereken bir başka nokta. Bu konuda sağlıklı rakamlar bulmak zor ama muhtemelen maliyetler pek düşük değil. Gerçek maliyetlerden belki de daha da önemlisi teşvik sistemlerinin “fırsat maliyeti” olsa gerek. Fırsat maliyeti zamanın ve paranın başka bir şekilde daha iyi kullanılabilme olasılığıdır. Bu açıdan düşünüldüğünde sadece ATÖ Yönetmeliğinin yarattığı kırtasiyecilik bile üniversiteleri her yıl en az iki ay en küçük biriminden en büyüğüne kadar yoğun bir biçimde meşgul ediyor. Anabilim dalı, bölüm, fakülte, üniversite, YÖK düzeyinde kurullar, komiteler kuruluyor ve deyim yerindeyse “fasulye sayılıyor”. Bu tür uygulamalar (ek ders ücreti, akademik teşvik ödeneği, vd.) akademisyenlerin ders yükleri nedeniyle araştırma için ayırabilecekleri zaten kısıtlı olan zamanlarını daha da kısıtlıyor ve ülkenin bilimsel, teknolojik ve sosyo-ekonomik gelişmesine ket vuruyor. Belki de çok daha değerli fırsatlar kaçırıyoruz. Niceliğe dayalı akademik teşvik sistemlerini seçtiğimiz için vazgeçtiğimiz fırsatların maliyetini de hesaba katmak gerekiyor. Kaçırılan fırsatların ülkeye maliyeti teşvik uygulamalarının gerçek maliyetlerinin muhtemelen çok çok üzerinde. Gidişata bakılırsa akademiyayı bu çıkmazdan nasıl kurtarabileceğimizi, üniversitelerin araştırma altyapısı ve kapasitelerini nasıl artırabileceğimizi sorgulama gereğini henüz duymuyoruz.
Niceliği ödüllendirirken niteliğin artmasını ümit etmek
Belki de niceliği öne çıkaran bu tür teşvik sistemlerinin de etkisiyle yayın sayısında ABD’yi geçen Çin yakın zamanda bu sorgulamayı yaptı [32] [33] [34]. WoS’ta dizinlenen dergilerde yayımlanan makalelere nakit ödeme yapılmasını yasakladı. Ki Çin’in teşviklerle ilgili deneyimi oldukça “ilginç”ti. İndeksli dergilerde yayın yapan akademisyenlere derginin etki faktörüne göre bazı restoranlarda indirim yapılıyor, akademik yükseltmelerde çok önemli olduğu için ilk yazarlıklar satışa çıkarılıyor, Nature ve Science gibi etki değeri yüksek dergilerde yayımlanan bir makale için 165 bin dolar (bir profesörün 20 yıllık maaşı) ödeniyordu. Bu teşvik politikasını gözden geçiren Çin, yerel araştırmaları daha güçlü bir biçimde destekleyen ve nicel ve nitel değerlendirmenin dengeli bir bileşiminden oluşan bir teşvik sistemine geçmeyi planlıyor [17].
Türkiye’nin de daha fazla gecikmeden bu “muhasebe”yi yapması gerekiyor. Tam olarak ne elde ettiğimizi ve ne kaybettiğimizi bilmek bizleri daha bilinçli araştırma değerlendirme sistemleri inşa etmeye yöneltebilir. Farklı araştırmacıların, farklı alanların, farklı yayın türlerinin etkisini dergi etki faktörünü (ve türevlerini) kullanarak algoritmik olarak değerlendiremeyiz, ancak sayabiliriz. Sadece saymak “araştırma değerlendirme” değil. Araştırma değerlendirmenin nasıl yapılması gerektiği yukarıda andığımız bildirgelerde ve çeşitli yayınlarda var [35]. YÖK’ün “ihtimal” olarak gördüğü ve fakat her geçen gün giderek hızlanan “akademinin yozlaşmasına” dur demenin zamanı gelmedi mi? Niceliği ödüllendirirken (A) niteliğin artmasını (B) ümit etmeye daha ne kadar süreyle devam edeceğiz? [36].
Yaşar Tonta (Hacettepe Üniversitesi Edebiyat Fakültesi Bilgi ve Belge Yönetimi Bölümü)
Müge Akbulut (Ankara Yıldırım Beyazıt Üniversitesi Bilgi ve Belge Yönetimi Bölümü)
Bu eser Creative Commons Atıf-GayriTicari 4.0 Uluslararası Lisansı ile lisanslanmıştır. İçerik kullanım koşulları için tıklayınız.
Kaynaklar
[1] Vann, M.G. (2003). Of rats, rice, and race: The Great Hanoi Rat Massacre, an episode in French colonial history. French Colonial History, 4: 191-203.http://muse.jhu.edu/article/42110.
[2] Acemoğlu, D. ve Robinson, J.A. (2019). Dar Koridor: Devletler, Toplumlar ve Özgürlüğün Geleceği. (Çev. Y. Taşkın). İstanbul: Doğan Kitap.
[3] Muller, J.Z. (2019). Sayıların Diktatörlüğü: Başarıyı Rakamlarla Ölçme Saplantısı ve Çözüm Yolları. (Çev. A. Kamacıoğlu). İstanbul: The Kitap.
[4] Tonta, Y. (2018, 5 Aralık). Araştırma değerlendirme üzerine. Sarkaç. https://sarkac.org/2018/12/arastirma-degerlendirme-uzerine/.
[5] Ioannidis, J.P.A., Baas, J., Klavans, R. ve Boyack, K.W. (2019). A standardized citation metrics author database annotated for scientific field. PLoS Biology, 17(8): e3000384. https://doi.org/10.1371/journal.pbio.3000384.
[6] Yurtsever, E. (2018, 4 Nisan). Goodhart Yasası ve akademideki ölçütlerin ölçebilirliği üzerine. Sarkaç. https://sarkac.org/2018/04/goodhart-yasasi-akademik-olcutler/.
[7] Tonta, Y. (2014, 3 Temmuz). Akademik performans, öğretim üyeliğine yükseltme ve yayın destekleme ölçütleriyle ilgili bir değerlendirme. http://yunus.hacettepe.edu.tr/~tonta/yayinlar/tonta-yukseltme-kriterlerihakkinda-degerlendirme-11-Temmuz-2014.pdf.
[8] San Francisco Declaration on Research Assessment. (2012, 16 Aralık). http://ascb.org/dora.
[9] Yurtsever, E. (2018, 25 Eylül). Bilimsel yayınlar nasıl değerlendirilmeli? San Francisco Bildirisi. Sarkaç. https://sarkac.org/2018/09/bilimsel-yayinlar-nasil-degerlendirilmeli/.
[10] Hicks, D. ve diğerleri. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520, 429-431. http://nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351.
[11] Taşkın, Z. ve Doğan, G. (2019, 2 Temmuz). Akademik performans ölçümünde sanat ve insan bilimleri. Sarkaç. https://sarkac.org/2019/07/akademik-performans-olcumunde-sanat-ve-insan-bilimleri/.
[12] Larivière, V. ve diğerleri. (2016, 11 Eylül). A simple proposal for the publication of journal citation distributions. https://doi.org/10.1101/062109.
[13] Akçiğit, U. (2020, 24 Ağustos). Regülasyonlar ve akademik yayınlar (blog yazısı). ART Notları. https://www.artnotlari.com/blog/akademik-yayinlar.
[14] Tonta, Y. (2017). TÜBİTAK Türkiye Adresli Uluslararası Bilimsel Yayınları Teşvik (UBYT) Programının Değerlendirilmesi. Ankara: TÜBİTAK ULAKBİM. http://yunus.hacettepe.edu.tr/~tonta/yayinlar/tonta-tubitak-ubyt-programinin-degerlendirilmesi.pdf.
[15] Fischer, I. ve Steiger, H-J. (2018). Dynamics of Journal Impact Factors and limits to their inflation. Journal of Scholarly Publishing, 50(1): 26-36. doi: 10.3138/jsp.50.1.06.
[16] Tonta, Y. (2018). Does monetary support increase the number of scientific papers? An interrupted time series analysis. Journal of Data and Information Science, 3(1): 19-39. doi: 10.2478/jdis-2018-0002.
[17] Tonta, Y. ve Akbulut, M. (2020). Does monetary support increase citation impact of scholarly papers? Scientometrics, doi: 1007/s11192-020-03688-y. http://yunus.hacettepe.edu.tr/~tonta/Yayinlar/Tonta-Akbulut_2020_scientometrics.pdf
[18] Checchi, D., Malgarini, M. ve Sarlo, S. (2019). Do performance-based research funding systems affect research production and impact? Higher Education Quarterly, 73: 45-69. doi: 10.1111/hequ.12185.
[19] Akademik Teşvik Ödeneği Yönetmeliği. (2015, 14 Aralık). Resmî Gazete. https://www.resmigazete.gov.tr/eskiler/2015/12/20151218-4.pdf.
[20] Akademik Teşvik Ödeneği Yönetmeliği. (2016, 31 Aralık). Resmî Gazete. https://www.resmigazete.gov.tr/eskiler/2016/12/20161231M3-2.pdf.
[21] Akademik Teşvik Ödeneği Yönetmeliği. (2018, 20 Haziran). Resmî Gazete. https://www.resmigazete.gov.tr/eskiler/2018/06/20180627-6.pdf.
[22] Akademik Teşvik Ödeneği Yönetmeliği. (2020, 17 Ocak). Resmî Gazete. https://www.resmigazete.gov.tr/eskiler/2020/01/20200117-9.pdf.
[23] TÜBİTAK Türkı̇ye Adreslı̇ Uluslararası Bı̇lı̇msel Yayınları Teşvı̇k (UBYT) Programı Uygulama Usul ve Esasları. (2019). https://cabim.ulakbim.gov.tr/wp-content/uploads/sites/4/2019/05/2019_UBYT_Uygulama_Usul_ve_Esasları.pdf.
[24] Kerr, S. (1975). On the folly of A, while hoping for B. Academy of Management Journal, 9(1): 769-783. http://web.mit.edu/curhan/www/docs/Articles/15341_Readings/Motivation/Kerr_Folly_of_rewarding_A_while_hoping_for_B.pdf.
[25] Demir, S.B. (2018). Pros and cons of the new financial support policy for Turkish researchers. Scientometrics,116: 2053–2068. https://doi.org/10.1007/s11192-018-2833-4.
[26] Demir, S.B. (2018). Predatory journals: Who publishes in them and why? Journal of Informetrics, 12: 1296-1311. https://doi.org/10.1016/j.joi.2018.10.008.
[27] Koçak, Z. (2019). Predatory publishing and Turkey (editoryal). Balkan Medical Journal,36(4), 199–201. https://doi.org/10.4274/balkanmedj.galenos.2019.2019.4.001.
[28] YÖK’ten “utandıran” uyarı! Akademisyenler de bunu yaparsa. (2018, Ocak). SGK Rehberi Haber ve Bilgi Portalı. https://www.sgkrehberi.com/haber/143842/.
[29] (2020). Rent-seeking. https://en.wikipedia.org/wiki/Rent-seeking.
[30] Muller, S.M. (2017). Academics as rent seekers: Distorted incentives in higher education, with reference to the South African case. International Journal of Education Development, 52: 58-67. doi: https://doi.org/10.1016/j.ijedudev.2016.11.004.
[31] Taşkın, Z. (2018, 20 Nisan). Çöp yayınlar başarıyı ölçmemeli! Herkese Bilim Teknoloji, no. 108. http://zehrataskin.com/wp-content/uploads/2019/09/HBT_ZT_.pdf.
[32] Zhang, L. ve Sivertsen, G. (2020). The new research assessment reform in China and its implementation. Scholarly Assessment Reports, 2(1): 3. https://www.scholarlyassessmentreports.org/articles/10.29024/sar.15/#:~:text=A%20radical%20reform%20of%20research,relevance%20of%20research%20in%20China.
[33] Yurtsever, E. (2020, 3 Mart). Çin “Sayıların Diktatörlüğü”ne karşı. Sarkaç. https://sarkac.org/2020/03/cinden-sayilarin-diktatorlugune-darbe/
[34] Kurtoğlu, M. (2020, 16 Mayıs). Çin SCI yayına dayalı akademik değerlendirmeden vaz mı geçiyor? (blog yazısı). Yükseköğretim Araştırmaları. https://yuksekogretimarastirmalari.wordpress.com/2020/05/16/cin-sci-yayina-dayali-akademik-degerlendirmeden-vaz-mi-geciyor/
[35] Sugimoto, C. ve Larivière, V. (2018). Measuring Research: What Everyone Needs To Know. New York: Oxford University Press.
[36] Civera, A., Lehmann, E.E., Paleari, S. ve Stockinger, S.A.E. (2020). Higher education policy: Why hope for quality when rewarding quantity? Research Policy, 49(8). https://doi.org/10.1016/j.respol.2020.104083.
