Araştırmacılar, bilimsel dergilerin yayın basma ve atıf alma sayılarını yöneten etki faktörleri gibi indekslere bağlı olarak değerlendiriliyor. 9 ülkeden 14 araştırmacının oluşturduğu bir ekip, bu uygulamaya isyan ediyor ve indekslerin saplantılı bir şekilde kullanılmasının bilim kalitesine zarar verdiğini öne sürüyor.
Washington’daki George Washington Üniversitesi’nde Antropoloji Bölümü’nden Profesör Colin Chapman; “Mesajımız açıktır: Akademik personelin indeksler hakkında çok endişe etmeyi durdurması gerekir. Bunun yerine, ilim ve irfan üzerine çalışmalı ve yayın kalitelerimizi artırmalıyız”. diyor.
İndeksler üzerinde aşırı durulması dikkati bilimin kalitesinden ayırıyor. Oslo Üniversitesi’nden Profesör Nils Chr. Stenseth, şöyle devam ediyor: “Colin Chapman ve benim gibi deneyimli araştırmacılar için sistem gayet iyi işliyor, ancak indekslerin bugünkü kullanımından ötürü daha genç araştırmacılar ve kariyerleri zarar görüyor”.
İndeksler kaliteyi ölçmez
Chapman ve Stenseth, Proceedings of the Royal Society B isimli bilimsel dergide dikkat çeken makalenin yazarlarından ikisi, konu “akademik personelin oynadığı oyunlar” ve akademinin geleceği için sonuçları. Makaleye göre, indekslerle olan sorunlardan birincisi insanların skorlarını iyileştirmek için bunlarla oyun oynayabilmesi imiş.
İsyanın temelinde araştırmanın son derece rekabetçi bir meslek olması ve değerlendirmenin önemli bir yer alması yatıyor. Bir araştırmacı ekibi – araştırmacılar genellikle bugünlerde yalnız çalışmıyor – yeni bir buluş yaptığında yöntem ve sonuçlar hakkında ayrıntılı bir akademik makale kaleme alıyor. Sonraki adım da makaleyi bilimsel bir dergiye yollamak ve bu derginin kabul veya ret vermesini izlemek. Derginin editörleri genellikle makaleyi küçük, özgür bir bilimsel uzman grubuna gönderir. Değerlendirmelerine göre editörler makalenin kabul veya ret edilmesine karar verir. Hakemler ve editörler, makale kabul edilmezden önce gözden geçirme talep edebilir.
Bilimsel makale sonunda basıldığı zaman, yakın alanlardaki diğer araştırmacılar kendi çalışmalarında bu makaleye atıf vermeye başlayabilir. Yüksek atıf sayısı, sıklıkla bilimsel kalitenin bir ölçüsü olarak görülür.
Süreç hiç de iyi değil
Dışarıdan bakıldığında, bu süreç iyi gözüküyor. Ancak son 10-15 yıllık süreçte, olay kötüye gitmeye başladı. Chapman, Stenseth ve arkadaşlarına göre bilimin kalitesi daha az önemli oldu. Bunun yerine, genel dikkat, kolayca ölçülebilen küçük indekslere çok fazla odaklandı: etki faktörleri ve bireysel h indeksleri ve atıf sayıları.
Dışarıda çok sayıda bilimsel dergi var ve bunların bazıları o kadar ünlü ki isimleri genel toplum tarafından biliniyor. Nature, Science ve The Lancet en meşhurlarından bazıları. Doğa bilimleri veya tıp bilimlerinde genç bir bilim insanı bu dergilerden birinde bir yayın yapabilirse kariyeri büyük bir itme gücü kazanabiliyor.
En prestijli dergiler aynı zamanda yüksek etki faktörlerine sahip, bu terim, son iki yılda yayınlanan makale sayısı başına atıfların ortalama sayısı olarak hesaplanıyor. Bireysel araştırmacının h indeksi, araştırmacının en çok atıf alan makalelerinin ve aldığı atıfların dikkate alınması ile bulunuyor.
Proceedings of the Royal Society makalesine göre, “Bu indeksler için skorların büyük sonuçları var. Örneğin bazı ülkelerde ve disiplinlerde, etki faktörleri 5.0’dan düşük olan dergilerde yayın yapmanın resmi olarak değersiz olduğu düşünülür” deniyor. Etki faktörü keyfi bir değerin üzerinde olan dergilerde yayınlanan makaleler dışındakileri saymamak gibi bir tasarrufun görüldüğü de makalede belirtiliyor. Ya da daha kötüsü olarak düşük dergilerde yayın yapmanın özgeçmişi zayıflatacağı düşünülüyor.
Küçük bir hata bile atıf üretebiliyor
Genel sorun, indekslerin bilimsel ilerleme veya kalite bakımından değersize yakın bir hale getirecek şekilde manipüle edilebilmesidir. Profesör Stenseth Avrupa Araştırma Konseyi’nde bir değerlendirme komisyonunda on yıl kadar önce görev almış ve hâlâ bu deneyiminden dolayı şaşkınlık içinde olduğunu söylüyor. “İndekslerin kullanımını tartıştık ve çabucak iki gruba ayrıldık. O zaman atıf sayısını hesaplamak için elle çok miktarda hesap yapmamız gerekiyordu. Atıfların sayısının çok önemli olmadığını düşünen grup makaleleri okumayı tercih etti” diyor.
Bu Prof. Stenseth için önemli bir dönüm noktası olmuş, çünkü atıf konusunda şüpheci araştırmacılar yakın zamanda en çok atıf alan makalelerin bazılarının yorum olduğunu keşfetmişler. Bir yorumda, “Kural olarak elbette yeni keşifler olmaz. Ama en kötüsü, bazı makalelerin içlerinde bir hata olduğu için yüksek atıf aldığını keşfetmemiz oldu! Çok sayıda makale bu makaledeki hatayı tanımlamış, ancak bunlar hâlâ atıf olarak değerlendiriliyor! Bu sebepten ötürü, yüksek atıf sayısının mükemmel bilimsel kalitenin kanıtı olmadığı konusunda israr ediyorum” diyor.
Prof. Chapman Washington’dan Oslo’daki Prof. Stenseth ile Skype aracılığı ile görüşmüş ve benzer deneyimleri yaşadığını aktarmış. Chapman şöyle diyor: “Sistem böyle işliyor. Bunun gibi gözlemler komik gibi görünebilir, ancak bunlar berbat ve acıklı”.
Vekil ölçekler yerine indeksler
Yeni makalenin yazarları, eleştirilerinde yalnız değiller. San Francisco Araştırma Değerlendirme Deklerasyonu (DORA) 2012 yılında Amerikan Hücre Biyolojisi derneğinin bir toplantısından doğmuş olup dergilerin etki faktörlerinin bireysel araştırma makalesinin yerine geçecek, kiralama, terfi ettirme veya fonlama kararlarında bilim insanının katkısını değerlendirmek için bir ölçek olarak kullanılmaması gerektiğini tavsiye olarak sunmuş. Bu harekete dünya çapında 15 bin birey ve 1.550 organizasyon imza koymuş, ancak değişimin olması henüz gerçekleşmemiş.
Colin Chapman, “Bu indeksleri ve kullanımlarını eleştiren büyük bir literatür olsa da önemli ve kariyer belirleyen yollarda hâlâ geniş bir kullanım mevcut. Bunun durması gerek” diyor.
Bilim yücedir
Colin Chapman ve Nils Chr. Stenseth bilim ve irfanın modern toplumda son derece önemli olduğu vurgusunu yapıyor.
“Biz bu işe yeni şeyler keşfetmek için girdik. Ama ne oldu, sistem tarafından ezilip duruyoruz”. Sistem diyor ki, bilimimizi geliştirmekle uğraşmayıp indekslerimizi artırmak üzerine uğraşmalıyız. Chapman, “mükemmel bilimi yaratmak için özendirici bir unsur değil” diye israrını sürdürüyor.
Makalede, akademik personelin oynayabileceği – ve oynamak zorunda kalabileceği – ve indekslerini geliştirebileceği oyunların bir listesi verilmiş.
“En yaygın oyunlardan biri uzun yazar listesine sahip bir makale yazmak, yani bir tür lütuf gösterisi yapmak.”
Gerçek bir katkıda bulunmamış olsam bile sen benim makalemde yer alırsın, belki sonraki makalende de ben yer alırım, mantık böyle. Chapman şöyle diyor: “sen benim sırtımı kaşı, ben de senin sırtını kaşırım”.
Araştırmacıların oynayabileceği bir diğer oyun da birbirlerine atıf yapmak: “benim makaleme atıf yaparsan ben de senin makalene yaparım”. Yayıncılar “atıf kartelleri” bile oluştumuş durumda; yazarların karteldeki başka dergilere atıf yapması tavsiye ediliyor.
“Uygulamalı ekoloji alanında faaliyet gösteren bir dergiye birkaç sene önce bir makale gönderdim. Makale kabul edildi, editör hepsi bu dergiden olmak üzere dört veya beş makaleye daha atıf vermemizi istedi. Bu elbette derginin etki faktörünü artırıyor, çünkü bu dergideki yayınların atıf sayısını artırıyor. Bu pek çok dergide böyle ve artık kötü bir uygulama olarak nitelendiriliyor” diyor Stenseth.
Colin Chapman ve Nils Chr. Stenseth, makalelerine oldukça fazla destek tepkisi almış.
Meslektaşlarımdan biri bir günlük kaydında bizi eleştirmiş, genç bilim insanları için cesaret kırıcı olabilecek şeyler yazdığımızı söylemiş. Chapman bu görüşe şöyle karşı çıkıyor: “Ancak gerçekten yapmak istediğimiz şey genç araştırmacılara bu sistemin hatalı olduğunu ve tamir edilmesi gerektiğini söylemek”.
Bu konudaki fikrim, indekslerin ve kullanılma biçimlerinin dikkati bilimden dışarıya çektiği yönünde. Stenseth şöyle diyor: “Bazı küçük alanlarda gereklilik dolayısıyla indeksler çok düşük oluyor, araştırma mükemmel ve önemli olsa bile çok yüksek atıf sayıları almak neredeyse imkânsızlaşıyor”.
Şöyle devam ediyor: “bunun yerine, dikkatimizi makalenin nerede basıldığına, kaç atıf ürettiğine ve derginin etki faktörüne yöneltiyoruz”.
Yazarlar, sistemin nasıl geliştirileceği konusunda öneriler de sunmuş.
Chapman şöyle diyor: “Kısa cevap, akademik personelin indekslere bakmaktan vazgeçmesi ve makaleleri okuması”. Ancak, fonlamada karar verme unsuru olarak araştırma konseyleri ve diğer fonlama araçları indeksleri baz alırsa akademik personel bunu yalnız yapamaz. Sistemi geliştirmenin basit bir yolu, araştırmacılar bir araştırma önerisi sunduğunda araştırma konseylerinin onlara atıf sayılarını sormamasıdır.”
“Teşvik sistemlerinde değişikliğe gitmek, kaliteli araştırmaları ödüllendirmek ve şeffaflığı garantilemek istiyoruz. Chapman ve Stenseth şu konuda israr ediyor: “Tecrübeli fakülte üyeleri etik standartları ortaya koymalı, uygulamalara mentörlük etmeli ve gerekli değişimleri oluşturmak üzere kurumsal değerlendirme kriterlerini yenilemeli”.
“Akademinin geleceğini şekillendirecek bir tartışmanın kıvılcımını ateşlemeyi ve daha olumlu bir yöne sevketmeyi umuyoruz. Bilim insanları toplumsal ihtiyaçlara cevap verebilecek en yaratıcı fikirlere sahip kişiler. Makaleyi yazan on dört yazar sözlerini şöyle bitiriyor: “İstediğimiz geleceği şekillendirmenin zamanı geldi”.
Daha fazla bilgi için: Colin A. Chapman et al. Games academics play and their consequences: how authorship, h -index and journal impact factors are shaping the future of academia, Proceedings of the Royal Society B: Biological Sciences (2019). DOI: 10.1098/rspb.2019.2047