Editörün notu: Alex ve Matt, ODSC Doğu 2022'nin konuşmacılarıdır . Oradaki “ Model Validation Toolkit Tanıtımı ” başlıklı konuşmalarına mutlaka göz atın !
Bir makine öğrenimi ardışık düzeni sağlamak için kullanılan bir dizi araç ve kavram vardır. Model doğrulama araç setinde karşılaştığımız en yaygın sorunlardan bazıları için çözümler oluşturduk . Bu öğreticide, karşılaştığımız iki yaygın soruna ilişkin çözümlerimizi paylaşacağız: kavram sapmasını ölçmek ve örneklem boyutundan güvenilirliği değerlendirmek.
Bir modeli dağıttıktan sonra, eğitim veya doğrulama setinizin yolun sonraki yıllarında üretim verilerini temsil etmeye devam edeceğinin garantisi yoktur. Sonraki veri yığınlarındaki istatistiksel farklılıklar, kavram kayması olarak bilinir. Bir oyuncak örneği olarak, diyelim ki hisse senedi fiyatlarını alan bir model oluşturduk. Borsa aylar sonra çöküyor ve tüm fiyatlar ortalama olarak öncekinden önemli ölçüde düşük. Model iyi olabilir, ancak eğitim verileri üretim hattından geçenlerden kesinlikle ayırt edilebilir, bu nedenle modelin artık geçerli olmama olasılığı vardır.
Bu tür bir uyarı, temel gerçek belirlenmeden önce faydalı olabilir. Bu tür bir kaymayı saptamaya yönelik basit bir yaklaşım, fiyatların araçlarını karşılaştırmak olabilir, ancak bu, oynaklıkta mutlaka bir değişiklik yakalamaz. Daha genel bir yaklaşım, eğitim (veya doğrulama) seti ile üretim verileri arasındaki en büyük farkı yansıtan bir özet istatistik bulmaya çalışmaktır. Modelinizi farklı şekillerde sınırlayarak, farklı özet istatistik sınıflarını keşfedebilirsiniz.
Eğitimden sonra ölçülebilen en büyük fark, kavram kayması ölçümümüzdür. Bu tür bir ölçüm, integral olasılık ölçüsü olarak bilinir ve her birine uygulanan modelin ortalama (belki bir mini parti üzerinden) çıktısı arasındaki fark tarafından verilen bir kayıp fonksiyonu üzerinde öğrenilen özet istatistiği temsil eden bir modelin eğitilmesi anlamına gelir. karşılaştırmak istediğiniz veri kümeleri (yani eğitim ve doğrulama). Ne yazık ki, bu tür bir analiz koordinat değişmezi değildir. Yani, fiyat birimlerini dolardan avroya değiştirseydik, buna göre farklı bir kavram kayması ölçüsüne sahip olurduk. Birden fazla özelliği aynı anda değerlendiriyorsak (fiyat ve hacim gibi), bazı özellikler daha büyük değerlere sahip oldukları için sapma ölçümümüz üzerinde orantısız bir etkiye sahip olabilir.
Ayrıca, bu tür bir probleme de uygulanabilen, f - diverjansları olarak bilinen istatistiksel sapma ölçülerinin bir koordinat değişmeyen ölçüleri sınıfı da vardır . Bunlar, belirli bir örneğin iki veri kümenizin birinden veya diğerinden çekileceği olasılık oranını öğrenmek için bir modeli etkili bir şekilde eğitir. Özellikle yorumlanabilir bir örnek, karşılaştırmak istediğiniz iki veri kümesinin dağılımlarının pdf'leri arasındaki alandır (veya çoklu özellikler için hiper hacim).
Bu tipik olarak ikiye bölünür, bu nedenle 0 (mükemmel örtüşme) ile 1 (hiçbir ortak örnek alınmayacaktır) arasında değişir. Bu, toplam varyasyon olarak bilinir. Yoğun, tam bağlantılı bir sinir ağı üzerine inşa edilmiş model doğrulama araç setinde toplam varyasyonun basit ama hızlı bir uygulamasına sahibiz.
from mvtk.supervisor import calc_tv tv = calc_tv(dataframe1, dataframe2)
Gerçek bir hikayeye dayalıdır: Bir veri bilimcisi, %100 hatırlama olduğunu iddia eder, ancak veri setinde yalnızca 7 olumlu örneğe sahiptir. Örnek boyutunun çok küçük olduğunu söylüyorsunuz ama bir yönetmen kesin bir şey söylemek için örneğin ne kadar büyük olması gerektiğini soruyor. Daha büyük veri kümelerinin daha iyi olduğunu biliyorsunuz, ancak istatistiksel bir ölçümden asla %100 emin olamazsınız. Aynı şekilde, 7 numune üzerinde iyi bir performans ölçümü, hiç ölçüm yapmamakla tamamen eşdeğer değildir, ancak çok fazla ağırlık taşımadığı da açıktır. Sık görüşlü düşünce okulunun aksine, sahip olduğumuz doğrulama seti verilen modelin – ne kadar küçük olursa olsun – gerçek (sonsuz örnek limiti) performansı hakkında açıklamalar yapmaya odaklanacağız.
Performans ölçülerinin çoğu ortalamadır. Ve sınıflandırma problemlerinde, neredeyse kesinlikle bir miktar sayım oranıyla uğraşıyorsunuz. Örneğin, doğruluk, modelin kaç kez doğru olduğunu veri boyutuna bölerek ölçer ve geri çağırma, bir örneğin pozitif olması konusunda modelin doğru olma sayısını toplam pozitif örnek sayısına bölerek ölçer. Bu nedenle, bu performans ölçütlerini, bazı ikili sonuçların meydana gelme olasılığı olarak ele alabiliriz (bir madeni paranın tura gelmesi gibi). Model Validation Toolkit'in güvenilirlik alt modülü, bu tür performans ölçütleri hakkında açıklamalar yapmak için araçlarla birlikte gelir. Örneğin,
from mvtk.credibility import prob_below prob_below(7, 0, 0.9)
Alex Eftimiades, FINRA'da bir veri bilimcisidir. Anormal ve şüpheli ticareti belirlemek için makine öğrenimi ve istatistikler uygular ve model doğrulama prosedürleri ve araçlarının geliştirilmesine yardımcı olur. Alex başlangıçta fizik okudu ve gerçek dünyadaki problemleri çözmek için matematiği uygulama konusunda tutkulu. Daha önce veri mühendisi ve yazılım mühendisi olarak çalıştı.
Matthew Gillett, FINRA'da birden fazla projede Yazılım Geliştirme Mühendislerinden oluşan bir Testte (SDET) ekibini yöneten Yardımcı Direktördür. Yazılım geliştirme ve güvence mühendisliğindeki birincil odağına ek olarak, büyük veri işleme, makine öğrenimi ve blok zinciri gibi çeşitli diğer teknoloji konularına da ilgi duymaktadır.
Orijinal yazı burada.
OpenDataScience.com'da , başlangıç seviyesinden ileri seviyeye kadar öğreticiler ve kılavuzlar da dahil olmak üzere daha fazla veri bilimi makalesi okuyun ! Haftalık bültenimize buradan abone olun ve her Perşembe en son haberleri alın. Ai+ Eğitim platformumuzla , nerede olursanız olun, talep üzerine veri bilimi eğitimi alabilirsiniz . Hızla büyüyen Medium Yayınımız olan ODSC Journal'a da abone olun ve yazar olma hakkında bilgi alın.
Mars, Uranüs ve Kuzey Düğümü, 1 Ağustos 2022'de 18 derecede Boğa burcunda kavuşuyor. Yataklarımız yanarken nasıl uyuruz?-Gece yarısı yağı Yılın en önemli astrolojik yönlerinden biri olan Mars ve Uranüs'ün kaderin Kuzey Düğümü ile kavuşumu, gerçek bir aciliyet hissinin eşlik ettiği büyük bir uyandırma çağrısıdır.
"Bozulma" terimi, nedensel mekanizma bilinmediğinde kullanılır ve bireyin altta yatan bilişinde ve nörobiyolojisinde bir işlev bozukluğunu ima eder. 1952'de, DSM 1, klinik kullanım için zihinsel bozuklukları kategorize eden APA Adlandırma ve İstatistik Komitesi tarafından yayınlandı.
Angular uygulamanızın bazı bölümlerinin neden hala yavaş olduğunu merak ediyor musunuz? Bu makale, uygulama performansınızı nasıl artırabileceğinizi size gösterecek. Angular uygulamalarınızı gecikmeli ve yavaş buluyor ancak bunları nasıl geliştireceğiniz konusunda hiçbir fikriniz yok mu? Uygulamanızın performansını artırmanın yaklaşık 5 yolunu öğrenmek için doğrudan bu makaleye dalalım.
Bu blogda, İngilizce'ye yaklaşımımı nasıl ve neden değiştirmeye karar verdiğimi ve yaptığım bazı etkinliklerden para kazanarak bir yıldan kısa bir sürede fakir bir B1'den başlayarak B2 seviyesine nasıl geldiğimi tartışacağım. İçindekiler Okulda örnek bir öğrenci olmasam da İngilizce öğrenmek her zaman kültürel geçmişime eklemek istediğim bir şeydi.
Amerikalı koşucu Athing Mu, profesyonel kariyerinde ilk kez 800 metrelik bir yarışı kaybedebilirmiş gibi görünüyordu. Mu, tipik olarak, az kol hareketi ve görünüşte az enerji içeren benzersiz ve zahmetsiz bir adımla yarışlarına hükmeder.
Tarih boyunca insanlar yalnızlık veya ilham aramak ya da ruhsal farkındalıklarını derinleştirmek için vahşi doğaya yalnız gittiler. Yerli Amerikalılar genellikle genç erkekleri vizyonlarını aramak için haftalarca vahşi doğaya gönderirdi (Farb 1967).