Denetim paradoksu, muhtemelen hiç duymadığınız istatistiksel bir yanılsamadır. Bu yaygın bir kafa karışıklığı kaynağı, ara sıra oluşan bir hata nedeni ve akıllı deneysel tasarım için bir fırsattır.
Ve bir kez öğrendiğinizde, onu her yerde görürsünüz.
En sevdiğim örneklerden biri, sınıf büyüklüklerinin bariz paradoksudur. Üniversite öğrencilerine sınıflarının ne kadar büyük olduğunu sorduğunuzu ve yanıtların ortalamasını aldığınızı varsayalım. Sonuç 90 olabilir. Ancak, koleje ortalama sınıf mevcudu sorarsanız, 35 diyebilirler. Birisi yalan söylüyor gibi görünüyor, ama ikisi de haklı olabilir.
Öğrencilerle anket yaptığınızda, büyük sınıfları örnek alırsınız: Bir sınıfta 10 öğrenci varsa, o sınıfı örneklemek için 10 şansınız vardır; 100 öğrenci varsa, 100 şansın var. Genel olarak, sınıf büyüklüğü x ise, örneklemde x faktörü ile fazla temsil edilecektir.
Bu mutlaka bir hata değil. Öğrenci deneyimini ölçmek istiyorsanız, öğrenciler arasındaki ortalama, sınıflar arasındaki ortalamadan daha anlamlı bir istatistik olabilir. Ancak neyi ölçtüğünüz ve bunu nasıl bildirdiğiniz konusunda net olmalısınız.
Bu arada, bu örnekteki sayıları ben uydurmadım. Purdue Üniversitesi tarafından 2013-14 akademik yılında lisans sınıfları için bildirilen verilerden alınmıştır .
Raporlarından sınıf büyüklüklerinin gerçek dağılımını tahmin ediyorum (eksik verileri dolduracak tahminlerle). Sonra öğrencilerden örnek alarak elde edeceğiniz “önyargılı” dağılımı hesaplıyorum. Şekil 1 sonuçları göstermektedir.
Öğrenci örnekleminin 40'tan küçük sınıfları içermesi ve daha büyük sınıfları içermesi daha olasıdır.
Diğer tarafa gidersek, önyargılı dağıtım size verilirse, gerçek dağılımı tahmin etmek için süreci tersine çevirebilirsiniz. Bu stratejiyi, gerçek dağıtım mevcut değilse veya önyargılı örnekleme sürecini yürütmek daha kolaysa kullanabilirsiniz.
Aynı etki yolcu uçakları için de geçerlidir. Havayolları, birçok uçuş neredeyse boş olduğu için para kaybettiklerinden şikayet ediyor. Aynı zamanda yolcular, uçaklar çok dolu olduğu için uçmanın berbat olduğundan şikayet ederler. İkisi de haklı olabilir. Bir uçuş neredeyse boş olduğunda, yalnızca birkaç yolcu ekstra alanın keyfini çıkarır. Ancak bir uçuş dolduğunda, birçok yolcu gevrekliği hisseder.
Denetim paradoksu, toplu taşıma araçlarını beklerken de ortaya çıkar. Otobüslerin ve trenlerin sabit aralıklarla varması beklenir, ancak pratikte bazı aralıklar diğerlerinden daha uzundur.
Şansınız varsa, uzun bir aralıkta varma olasılığınızın daha yüksek olduğunu düşünebilirsiniz. Ve haklısın: Rastgele bir gelişin uzun bir aralıkta düşmesi daha olasıdır çünkü, daha uzun.
Bu etkiyi ölçmek için Boston'daki Red Line'dan veri topladım. MBTA'nın gerçek zamanlı veri hizmetini kullanarak, birkaç gün içinde 16: 00-17: 00 arasında 70 trenin varış sürelerini kaydettim.
Trenler arasındaki en kısa boşluk 3 dakikadan azdı; en uzun olanı 15'ten fazlaydı. Şekil 2, trenler arasındaki gerçek zaman dağılımını ve yolcuların gözlemleyeceği yanlı dağılımı göstermektedir.
Trenler arasındaki ortalama süre 7,8 dakika, ancak taraflı dağılımın ortalaması 9,2 dakika, neredeyse% 20 daha uzun.
Bu durumda iki dağılım arasındaki fark orta düzeydedir çünkü gerçek dağılımın varyansı orta düzeydedir. Bir sonraki örnekte olduğu gibi varyans daha yüksek olduğunda, inceleme paradoksunun etkisi çok daha büyük olabilir.
1991'de Scott Feld “arkadaşlık paradoksu” nu sundu: çoğu insanın arkadaşlarından daha az arkadaşı olduğu gözlemi. Gerçek hayattaki sosyal ağları inceledi, ancak aynı etki çevrimiçi ağlarda da görülüyor: rastgele bir Facebook kullanıcısı seçerseniz ve ardından rastgele birini seçerseniz, arkadaşın daha fazla arkadaşı olma şansı yaklaşık% 80'dir.
Dostluk paradoksu, teftiş paradoksunun bir biçimidir. Rastgele bir kullanıcı seçtiğinizde, her kullanıcı eşit derecede olasıdır. Ancak arkadaşlarından birini seçtiğinizde, birçok arkadaşı olan birini seçme olasılığınız daha yüksektir. Özellikle, x arkadaşı olan biri, x çarpanıyla fazla temsil edilir.
Etkiyi göstermek için , yaklaşık 4000 Facebook kullanıcısının bir örneğini içeren Stanford Büyük Ağ Veri Kümesi Koleksiyonundaki verileri kullanıyorum . Her kullanıcının sahip olduğu arkadaş sayısını ve arkadaşlarının sahip olduğu arkadaş sayısını hesaplarım. Şekil 3 her iki dağılımı da göstermektedir.
Aradaki fark önemli: Bu veri setinde ortalama bir kullanıcının 44 arkadaşı var; ortalama bir arkadaşta 104, yani iki katından fazla. Ve arkadaşınızın sizden daha popüler olma olasılığı% 76'dır.
Denetim paradoksunun bazı örnekleri daha inceliklidir. New Hampshire'da 209 millik bayrak yarışı yaptığımda bunlardan biri aklıma geldi. Takımım için altıncı ayağı koştum, koşmaya başladığımda yarışın ortasına atladım. Birkaç mil sonra olağandışı bir şey fark ettim: Daha yavaş koşanları geçtiğimde, genellikle çok daha yavaşlardı; ve daha hızlı koşucular beni geçtiklerinde, genellikle çok daha hızlıydılar.
İlk başta koşucu dağılımının iki modlu olduğunu düşündüm, birçok yavaş koşucu, birçok hızlı koşucu ve ortada benim gibi birkaç koşucu vardı. Sonra teftiş paradoksu tarafından kandırıldığımı fark ettim.
Uzun bayrak yarışlarında, farklı hızlardaki koşucular parkur boyunca dağılır; Rastgele bir noktada durursanız ve koşucuların geçişini izlerseniz, temsili bir hız örneği görürsünüz. Ancak ortadaki yarışa atlarsanız, gördüğünüz örnek hızınıza bağlıdır.
Hangi hızda koşarsanız koşun, yavaş koşucuları geçme olasılığınız daha yüksektir, hızlı koşucular tarafından geçilme olasılığınız daha yüksektir ve sizinle aynı hızda koşan birini görme olasılığınız düşüktür. Spesifik olarak, başka bir koşucu görme şansı, sizin hızınızla onlarınki arasındaki farkla orantılıdır.
Bu etkiyi geleneksel bir yol yarışından elde edilen verileri kullanarak simüle edebiliriz. Şekil 4, Massachusetts'teki bir 10K yarışı olan James Joyce Ramble'ın gerçek hız dağılımını göstermektedir. Aynı zamanda bir koşucu tarafından 7 mil hızla görülebilecek önyargılı dağılımı da gösterir.
Gerçek dağıtımda, 7 mil civarında birçok koşucu var. Ancak bu hızda koşarsanız, onları görme olasılığınız düşüktür. Gözlemlenen dağıtımın iki modu vardır; hızlı ve yavaş koşucular yüksek hızda örneklenir ve ortada daha az koşucu bulunur.
Koşucu olmasanız bile, otoyolda aynı etkiyi fark etmiş olabilirsiniz. Çok hızlı veya çok yavaş giden ve sizin gibi güvenli, makul sürücüleri görme olasılığınız daha düşük olan sürücüleri görme olasılığınız daha yüksektir.
Teftiş paradoksunun son bir örneği, federal bir hapishanede 13 ay geçiren Piper Kerman'ın bir anısı olan Orange is the New Black'i okuduğumda oldu . Kerman, mahkum arkadaşlarının verdiği cezaların uzunluğuna şaşırdığını ifade eder. Şaşırmakta haklı, ancak sadece insanlık dışı bir hapishane sisteminin değil, aynı zamanda teftiş paradoksunun da kurbanı olduğu ortaya çıktı.
Bir hapishaneye rastgele bir zamanda gelirseniz ve rastgele bir mahkum seçerseniz, uzun hapis cezası olan bir mahkum seçme olasılığınız daha yüksektir. Bir kez daha, x cümlesine sahip bir mahkum, bir x faktörü ile fazla örneklenir.
Peki 13 ay gibi bir süre boyunca bir hapishaneyi gözlemlerseniz ne olur? Cümleniz y ise, cümlesi x olan bir mahkumla örtüşme şansının x + y ile orantılı olduğu ortaya çıkar.
ABD Federal Hapishaneler Bürosundan alınan verileri kullanarak , bir yargıç tarafından görülebileceği gibi, federal mahkumlar için cezaların fiili dağılımını, tek seferlik bir ziyaretçinin gördüğü önyargılı dağılımı ve bir kişi tarafından görülen kısmen önyargılı dağılımı tahmin ediyorum. 13 ay hapis cezası almış mahkum. Şekil 5, üç dağılımı göstermektedir.
Tarafsız dağıtımda, mahpusların neredeyse% 50'si bir yıldan az hizmet veriyor. Ancak kısa süreli olanların, hayat kurtarıcılara göre gözlemlenmesi daha az olasıdır. Tek seferlik bir ziyaretçiye göre, tutukluların% 5'inden daha azının bir yıldan az hapis cezası var.
Kısa süreli bir mahkum tarafından görülen dağılım, tek seferlik bir ziyaretçinin görüşünden sadece biraz daha az önyargılıdır. Gerçek dağılımın ortalaması 3,6 yıldır; yanlı dağılımın ortalaması neredeyse 13 yıldır. 13 aylık bir gözlemci için ortalama 10 yıldır.
Bu örnek için kullandığım veri kümesi, Temmuz 2019'daki hapishane nüfusunun anlık görüntüsüdür. Dolayısıyla, bildirilen dağılım önyargılıdır; Gerçek dağılımı tahmin etmek için "unbias" etmem gerekiyordu.
Ayrıca, federal mahkumlar tipik olarak nominal cezalarının% 85'ini çeker. Bunu hesaplamalarda hesaba kattım.
Özetle, denetim paradoksu birçok alanda, bazen ince şekillerde ortaya çıkar. Bunun farkında değilseniz, istatistiksel hatalara neden olabilir ve geçersiz sonuçlara yol açabilir. Ancak çoğu durumda önlenebilir veya deneysel bir tasarımın parçası olarak kasıtlı olarak bile kullanılabilir.
Green Tea Press'ten ücretsiz PDF olarak temin edilebilen ve ayrıca O'Reilly Media tarafından yayınlanan kitaplarımda bu örnekler hakkında daha fazla bilgi bulabilirsiniz .
Ben rakamları bu örnekleri analiz etmek ve üretmek için kullanılan kod olduğu bu Jupyter notebook ise, GitHub'dan bu depo . Ve kodu Binder'da kendiniz çalıştırabilirsiniz .
Bu makaledeki rakamlar ve sayılar rastgele örneklemeye ve dağılımlar hakkında yapmam gereken bazı varsayımlara dayanmaktadır, bu yüzden yaklaşık olarak doğru kabul edilmelidir.
John Allen Paulos , 18 Ocak 2011 tarihinde Scientific American'da " Neden Muhtemelen Arkadaşlarınızdan Daha Az Popülersiniz" adlı arkadaşlık paradoksunu sunuyor .
Konuyla ilgili orijinal makale Scott Feld olabilir, " Arkadaşlarınızın Neden Senden Daha Fazla Arkadaşı Var ", American Journal of Sociology, Cilt. 96, №6 (Mayıs 1991), s. 1464–1477.
Amir Aczel , 4 Eylül 2013 tarihli " Kötü Şansın (ve İyinin) Kalıcılığı " başlıklı Discover Magazine blog makalesinde bu örneklerden bazılarını ve birkaç farklı örneğini tartışıyor .
In Pythonic perambulations Jake Vanderplas hediyeler Python kodu ebedi soruya “keşfetmeye Neden Is My Otobüs Daima Late? ”, Eylül 2018.
Allen Downey, Massachusetts'teki Olin Koleji'nde Bilgisayar Bilimi Profesörüdür. Maksimum 10K 8,7 mil hıza sahip bir koşucudur.
İlk olarak http://allendowney.blogspot.com adresinde yayınlanmıştır .
Cinsiyet önyargısı olarak fark edilmeyen ulaşım tasarımı, bir kadının günlük hayatını gezinmeyi zorlaştırabilir. Bloomberg'in CityLab'ı bize Almanya'da Frankfurt yakınlarındaki bir yoldan bahsediyor.
Endüstriyel çabamızdaki bazı engellerin üstesinden gelmenin mekanizmasına girmeden önce, neyle karşı karşıya olduğumuzun altını çizmek için bazı temel faktörleri açıklamalıyım. İki varsayımsal on beş araba operasyonuyla başlayalım.
MIT Seçim Laboratuvarı'nda yüksek lisans araştırmacısı ve doktora derecesi olan Jesse Clark tarafından yazılmıştır.
Oakland, CA'da halka açık verileri kullanarak hava kalitesini tahmin etmek Google ve EDF, Oakland'daki hava kirliliğini haritalama çalışmalarını yayınladığında, bu çalışmanın sonuçları büyük ilgi gördü. Yayınladıkları veriler, hava kalitesinin Doğu ve Batı Oakland'daki şehir bloklarına göre nasıl değiştiğini gösteren ilk veri kümelerinden biriydi.
Daniel Fleck ve David Lubert ile yazılmıştır Dizimizin ilk blogu, bir veri bilimi projesini uygun şekilde değerlendirmek için Net Şimdiki Değer (NPV), İç Getiri Oranı (IRR) ve Karlılık Endeksi'ni (PI) kullanmaya odaklanacaktır. Ayrıca, bir veri bilimi metodolojisinin kullanılmasının, bu aynı ekonomik ölçütlerin girdilerini daha yüksek kaliteli değerlendirmeler geliştirmek için nasıl daha da iyileştirebileceğini tartışacağız.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.