Araştırmacılar Bulgularının Güven Endeksini Dahil Etmeli mi?
Süregelen yeniden üretilebilirlik problemi, deneylerin raporlanma yöntemine dikkat çekmektedir. Endişe uyandırıcı bir şekilde, bir Nitelik araştırması , bilim adamlarının %70’inin başka bir bilim adamının deneylerini yeniden üretemediğini ve bilim adamlarını %50’sinin de kendi deneylerini yeniden üretemediğini ortaya koydu. Sonuçlarınızı istatistiksel olarak p-değeri ile desteklemek yaygın bir bilimsel uygulamadır. Yine de yeniden üretilebilirlik krizi bu uygulamanın yeterli olmadığını göstermektedir. Verilerin yorumlanmasına açıklık getirmenin bir yolu, sonuçlarınızın doğruluk ihtimalini gösteren bir güven endeksi kullanmak olabilir .
Güven Endeksi nedir?
Bilimsel deneylerde, bir tedaviyi bir araştırma evreni örneği üzerinde test etmektesiniz. Araştırma evreninden rastgele bir temsilci örnek (örneğin klinik deney katılımcıları) seçtiğinizden emin olursunuz. Güven endeksi, tedavinizin tüm araştırma evreni üzerinde (deneylerinizde olduğu gibi) aynı etkiye sahip olacağından ne kadar emin olabileceğinizi size söyleyecektir.
Verileri bir p-değeri ile raporlamak bilim adamları arasında yaygın bir uygulamadır ve güven endeksine benzese de aynısı değildir. Aralarındaki fark; p-değeri bulgularınızın %95 oranında bir doğruluğu olduğunu ileri sürerken, güven endeksinin bulgularınızın doğruluğu konusundaki ihtimalini göstermesidir.
P-değeri hesaplamaları şunlara bağlıdır :
• Örnek büyüklüğü daha büyük örnek boyutları daha doğru sonuçlar verecektir.
• Cevap sıklığı- belirli bir yanıt ne kadar çok alınırsa, sonuçlar o kadar doğru olur.
• Araştırma evreni büyüklüğü- bu durum sadece araştırma evreniniz küçük olduğunda önemlidir.
Bayes olasılığını temel alabilecek bir güven endeksi, aşağıdaki etkenleri içerir:
• Rastgele değişkenler- bilgi eksikliğinden kaynaklanan bilinmeyen faktörler.
• Önsel olasılık- mevcut bilginin dikkate alınması.
• Hipotez doğruluğu- hipotezinizin doğru veya yanlış olması olasılığı.
Klinik deneyler benzeri ileri deneyler hakkında karar verirken güven endeksi önem arz etmektedir. Güven endeksi ayrıca çalışmaların kısıtlılıkları hakkında fikir vermelidir.
P-Değeri İle Bulguların Doğrulanması
Yaygın olarak, bilim adamları bulgularını yayınlanabilir olarak değerlendirmek için p<0,05 değerine itimat etmektedir. Diğer araştırmacılara bulgularınızın geçerli olduğunu gösterir. P-değeriniz 0,05’ten büyükse, verileri büyük ihtimalle yayınlamazsınız. Bazıları bu durumun literatürde bulunmayan değerli araştırmalara sebep olduğunu söylemektedir.
Veriler genel olarak aşağıdaki şekilde raporlanır. “Moderatör analizleri, uyku vaktinde yüksek sıcaklığın düşük uyku verimliliği (UV) ile ilişkili olduğunu gösterdi “(b = – 11,6 pp; p = 0,020).”
P değerinin 0,05’ten az olduğunu görebiliriz, ancak bu durum, bu ifadenin doğru olduğu anlamına mı geliyor?
Amerikan İstatistik Kurumu (ASA) 2016 yılında, p-değeri kullanma kılavuzları yayınladı ve p değerinin tek başına “bir model veya hipotezle ilgili iyi bir kanıt sağlamadığını” belirtti.
Bunun nedeni, p-değeri size:
1. Örneğinizin araştırma evreninizin bir temsilcisi olup olmadığını
2. Çalışılan hipotezin doğru veya yanlış olup olmadığını
3. Verilerin tesadüfen üretilip üretilmediğini
göstermez.
Güven Endeksi’nin Dahil Edilmesi
Yukarıdakiler göz önüne alındığında, ASA, p değerinin “bilimsel mantığın yerine geçmemesi” gerektiği ve “iyi çalışma tasarımı ve davranışı” gibi diğer birçok faktörün önemli olduğu konusunda uyarmaktadır.
Evet, p-değeri ile ilgili herhangi bir problem, deneysel yöntemlerin şeffaflığı ve verilerin önceki literatür bağlamında analiz edilmesiyle ele alınmalıdır. Ne de olsa, araştırmacılar, bir araştırmanın sonuçlarının geçerliliğini, ilgili tüm faktörleri dikkate alarak değerlendirmek üzere eğitilir.
Yine de Steven Goodman, araştırmanın bulguların bir güven endeksi ile ölçülmesi durumunda araştırmanın netleştirilebileceğini düşünmektedir. Bu, sözde p-hacking (p<0,05 değerinin elde edilmesi için verilerle oynanması) riskini azaltabilir ve bunun yerine gerçek olasılık değerlerini verebilir. Bu netliğin yeniden üretilebilirlik sorununun çözülmesinde yardımcı olabileceğini düşünüyor musunuz? Aşağıdaki yorumlar bölümünde düşüncelerinizi bize bildirin.