Harvard Business Review'in ünlü makalesi “ Veri Bilimi 21. Yüzyılın En Seksi Mesleğidir” Ekim 2012 tarihlidir. Aradan neredeyse 10 yıl geçti ve deyim hala güncelliğini koruyor; belki artık "en seksi" değil, ancak veri bilimi pazarı hala sıcak.
İstihdam krizinin bu döneminde, bu fırsat vahası, yeni mezun olmuş veya kariyer geçişi yapmış olan birçok profesyoneli kendine çekmiştir.
Burada Datarisk'te sürekli olarak yeni veri bilimcileriyle görüşüyor ve işe alıyoruz ve sürecin aşamalarından birinde teknik bir durum var. Eğitim verileri üzerinde dönüşümler gerçekleştirirken boru hattı işlevini kullanmanın ve bunları sızdırmaktan kaçınmanın önemi hakkında bu makaleyi yazmaya karar verdiğim bu vakaları değerlendiriyordum .
Veri Bilimi başlangıç kursları ve materyallerindeki en yaygın kavramlardan bazıları şunlardır:
Her Veri Bilimi acemi, işlevi tabanı 2 rasgele kümeye bölmek olan train_test_split işleviyle zaten karşılaşmıştır; bunlardan biri modeli eğitmek için ve diğeri doğrulama için kullanılacaktır.
Modeller için tek doğrulama tekniği değil, kesinlikle en yaygın olanıdır. Tekniği ne olursa olsun, burada vurgulamak istediğim doğrulama kavramı:
Eğitim örneğinde hesaplanan metriklerdeki benzer değerleri, modelin üretimdeki uygulamasına mümkün olduğunca yakın bir senaryoda muhafaza ederek, eğitilen modelin beklenen performansı sunmasını sağlamak .
Ve bu, bu verilerin şu anlama geldiği anlamına gelir:
Listelenen konular arasında bu açık ara en kapsamlı olanıdır, ancak genel olarak konuşursak, verilerin biçimini, yapısını ve/veya değerlerini değiştiren herhangi bir süreçtir.
En yaygın dönüşümler şunlardır:
Hiperparametreler, eğitimden önce tanımlanan algoritma değişkenleridir . Sinir ağları için katman sayısı, öğrenme hızının değeri olabilir . Ağaç tabanlı modeller için ağaç sayısı ve derinliği olabilir. Uygulamak istediğiniz her model için belgelerde mevcut hiperparametreleri arayın.
Hiperparametreleri optimize etmek, farklı değerleri test etmek ve seçilen bir metriğe göre modelinizin performansını en üst düzeye çıkaranları bulmak için az çok kapsamlı bir yöntem kullanmaktan başka bir şey değildir.
Veri Bilimi derslerinde en çok öğretilen ikinci doğrulama yöntemidir . Buradaki fikir, verilerinizi tipik olarak 5-10 aralığında bir sayı olmak üzere K sayıda gruba bölmek ve her seferinde bir kümenin doğrulama kümesi olduğu ve diğerlerinin bir araya geldiği model eğitim ve doğrulama süreçlerinin K katı gerçekleştirmektir. eğitim seti olmak.
Daha yaygın yönteme göre en büyük avantaj, doğrulamak için yalnızca bir tane yerine seçilen metriklerin daha fazla ölçüsüne sahip olmanızdır. Bu, sonuçlarınıza daha fazla güven getirir.
Yeni bir projeye, örneğin bir seçim sürecine başlarken, tüm bu kavramları bir araya getirme ve uygulamaya koyma zamanıdır.
"Tehlikenin yaşadığı yer orası,
ben orada güzelleşiyorum..."
En yaygın tuzaklar, özellikle eğitim sürecinde etkileşimli teknikler kullanıldığında, örneğin grid araması gibi hiperparametre optimizasyon adımında veya sadece çapraz doğrulamada , dönüşümlerin verilere ve model doğrulama sürecine uygulanmasıyla ilgilidir .
Bu makalede , en yaygın hataları ve bunların nasıl çözüleceğini göstermek için hedef dengeleme sürecini, veri dönüştürme işlemini grid arama tekniği ile birlikte örnek olarak kullanacağım.
Bu gönderi için burada bulunan iyi bilinen bir veritabanı seçtim . Bu veritabanı, yalnızca 492'si sahte olan 284.807 kredi işlemi kaydı içerir.
Amacımız, olası sahtekarlığı belirlememize yardımcı olacak bir model oluşturmaktır ve en büyük zorluk, tabanın son derece dengesiz olmasıdır. Bu sorunu aşmak için bir dengeleme tekniği uygulayacağız ve modelimizin hiper parametrelerini optimize etmeye çalışacağız.
Tanımlar:
Bu metnin başında bahsedilen dördünün en önemli kavramı tam olarak iyi bir doğrulama yapmanın önemi ve nedenidir. Bu nedenle, dengesizlikle uğraşırken yapılacak en ciddi hata, doğrulama için orijinal oranda bir örnek ayırmadan hedef oranı değiştirmektir.
Aşağıdaki kodda bu hatanın bir örneği var, orijinal hedefin oranını doğrulama örneğiyle karşılaştırın.
Bu olduğunda, doğrulama örneğinizde modelinizin performansını bile ölçebileceksiniz, ancak bu sonuçlar kullanım senaryosunu yansıtmaz ve bu nedenle hiçbir faydası olmaz.
Aşağıdaki kodda, hedefi dengelemeden önce bir doğrulama örneğinin ayrılmasının nasıl doğru şekilde gerçekleştirileceğine dair bir örneğimiz var . Şimdi orijinal hedefin oranını doğrulama olanla karşılaştırın:
Bu, dengesizlikle ilgili olmayan bir hatadır, ancak sık sık meydana gelir ve veri sızıntısına neden olur. Yani , örneğin StandardScaler'a bir dönüşüm uygularken, eğitim ve doğrulamaya bölmeden önce tüm temel verilerle, bu veriler arasına bir “ilişki” katmanı eklenir. Bu nedenle, dolaylı olarak da olsa, modeli doğrulamak için yayınlanmamış verileri kullanma öncülü tehlikeye girer.
Aşağıdaki kodda bunun ne zaman gerçekleştiğine dair bir örneğimiz var.
Aşağıdaki kodda dönüşümün nasıl doğru şekilde gerçekleştirileceğine dair bir örneğimiz var: transformatörü yalnızca eğitim verilerine sığdırın ( .fit) ve ardından dönüşümü doğrulama verilerine uygulayın ( .transform ) .
Normalleştirme ( StandardScaler ) uygulamasının beklenen sonuçlarından biri , serinin (değişken) ortalamasının eğitilen dağılım için 0 olması ve yeni veri durumunda 0'a yaklaşmasıdır.
Örnek 2 Hata eğitiminde Tutar değişkeninin ortalamasının 0,0018 olduğunu, yakın ancak 0'a eşit olmadığını görebiliriz. Bu, dönüşüm uygulamasının yanlış olmasından dolayı olmuştur. Zaten Örnek 2'de doğru, beklenen davranışa sahibiz.
Belli bir tutsaklık söz konusu olduğundan, bu yazının yazılmasını motive eden bunun gibi tekrarlanan durumlar oldu. Genel olarak, kodun yazarı zaten daha olgun bir doğrulama konseptine sahiptir ve yukarıdaki iki hatayı yapmaz, ancak bu fişi görmez.
Aşağıdaki kodda, hedef ve StandardScaler'ı zaten doğru şekilde dengeleyerek daha önce uygulanan işlemleri tekrarlıyoruz .
Yukarıdaki noktaya kadar, görünüşe göre, her şey yolunda gidiyor. Bir sonraki adım, hiperparametreleri optimize etmek için bir ızgara aramasının kullanılacağı modelin eğitimidir.
Yukarıdaki kodda, X_train3_balanced veri kümeniz , çapraz doğrulama örneğinde olduğu gibi 5 kata bölünecektir - bu nedenle model eğitimi için 4 ve doğrulama için 1 kullanılacaktır. Params sözlüğünde yer alan parametreler tüm olası kombinasyonlarda ve en iyi kombinasyonun AUC olacağını ölçmek için seçilen metrikte test edilecektir .
X_train3_balanced veri kümesini 5 kata bölerken , 4 eğitim katının hedef dengeli olduğu, ki bu doğrudur, ancak en iyi parametreler olan doğrulamak için kullanılacak kalan kat da hedef dengelidir. Yani temelde Örnek 1'deki probleme geri döndük.
Yeterli değil, örnek 2'deki veri sızıntısı da meydana geliyor, çünkü dönüşüm 5 kata bölünmeden önce tüm sete uygulandı .
İşlem hattı , verilerin nihai sonuca, yani model tahminine kadar geçmesi gereken çeşitli adımları zincirlemek için kullanılır. Bu, örneğin normalleştirme ( StandardScaler ), hedef dengeleme ve son olarak model eğitimi gibi verilerin işlenmesinde genellikle sabit bir adımlar dizisi olduğu için yararlıdır .
Başlıca avantajları şunlardır:
scikit - öğrenme kitaplığı veri bilimi dünyasındaki en ünlü ardışık düzen işlevine sahiptir , ancak özel durumumuz için imblearn kitaplığının sürümünü kullanacağız çünkü akışımızdaki adımlardan biri hedefin dengelenmesidir ve hala scikit-learn'den entegrasyon .
Yukarıdaki kodda, veri kümeniz 5 kata bölünecek , 4'ü tüm ardışık düzen adımlarının eğitimi (.fit) için ve 1'i doğrulama için kullanılacak, önceki örnekten farklı olarak, dönüşümler 5 kata bölünmeden önce gerçekleşti .
Ayrıca, params sözlüğünde yer alan parametreler tüm olası kombinasyonlarda test edilecek ve en iyi kombinasyonu ölçmek için seçilen metrik AUC olacaktır . Bu durumda her zaman tüm iyi doğrulama uygulamalarına saygı duymak.
Umarım bu ipuçları yardımcı olmuştur ve makaleyi beğenmişsinizdir. Şüpheniz varsa, LinkedIn'de müsaitim .
Veri Bilimi veya Datarisk'in şirketiniz için nasıl değer üretebileceği hakkında daha fazla bilgi edinmek ister misiniz? Web sitemizi ziyaret edin ve Medium'daki diğer gönderilerimize de göz atın .
Bir sonrakine!
"Tren kazası" kelimesinden nefret ediyorum. İnsanlar kendi ahlaki pusulalarında teselli bulur ve bunu yaparken kendilerini yargıda bulunurken bulurlar.
AI eskiden parti hilesiydi, şimdi etkinlik organizatörü, MC ve baş çekicilik AI'nın akla gelebilecek her ürün ve emtia alanına sıkıca gömülü olduğu çağa doğru ilerlerken, tasarım daha da ön plana çıkıyor. Bu kılavuz yalnızca tasarımcılar için değil, yazılım mühendisleri, ürün yöneticileri ve AI/ML tabanlı yazılım üzerinde çalışan veya üzerinde çalışacak olan herkes için hazırlanmıştır.
Kedi Felix'in 9. doğum gününde, yetişkin hayatımın en büyük kayıplarından birini hatırlıyorum - 2013'teki Sophie'm. Bu makaleyi yazdım ve 2013'te bu platformda kısaca paylaştım.
"Bozulma" terimi, nedensel mekanizma bilinmediğinde kullanılır ve bireyin altta yatan bilişinde ve nörobiyolojisinde bir işlev bozukluğunu ima eder. 1952'de, DSM 1, klinik kullanım için zihinsel bozuklukları kategorize eden APA Adlandırma ve İstatistik Komitesi tarafından yayınlandı.
Sathya Krishnan Suresh, Shunmupapriya P Bu yazıda, stili ve içeriği iki ayrı görüntüden gelen yeni görüntüler oluşturmak için kullanılabilecek bir yöntem olan “Nöral Stil Transferi” adlı ilginç bir konuyu tartışacağız. Bu makale Leon A Gatys ve arkadaşlarının A Neural Algorithm of Artistic Style (Sanatsal Stilin Sinirsel Algoritması) temel alınarak hazırlanmıştır; burada yazar, Evrişimsel Sinir Ağı (CNN) katmanlarını kullanarak yeni bir görüntünün oluşturulması hakkında ayrıntılı bir açıklama sunar.
28 Temmuz 2022'de Güneş, Yeni Ay, Aslan'da Ceres kavuşumu Jüpiter RX'i üçgen yapacak, Merkür ise Uranüs'ü Merkür, Uranüs-Mars, Satürn'e T-karesinin bir parçası olarak veya düğümler ise sabit bir Büyük Haç ile kare yapacak. dahildir. Venüs, Kara Ay Lilith ve Yengeç burcundaki sabit yıldız Sirius ile kavuşum halindedir.